本文介绍了如何在集群环境下配置Java远程调试Spark，包括在Master和Worker节点设置`spark-env.sh`文件，以及如何通过`spark-submit`参数进行调试。在IDEA中创建Remote启动项，实现对Master和Worker的断点调试。
一.集群环境配置
#调试Master，在master节点的spark-env.sh中添加SPARK_MASTER_OPTS变量
export SPARK_MASTER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10000"
#调试Worker，在worker节点的spark-env.sh中添加SPARK_WORKER_OPTS变量
export SPARK_WORKER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10001"
#
#调试spark-submit + app
bin/spark-submit --class cn.daxin.spark.WordCount --master spark://node-1.daxin.cn:7077 --driver-java-options "-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10002" /root/wc.jar hdfs://node-1.daxin.cn:9000/words.txt hdfs://node-1.daxin.cn:9000/out2
#调试spark-submit + app + executor
bin/spark-submit --class cn.daxin.spark.WordCount --master spark://node-1.daxin.cn:7077 --conf "spark.executor.extraJavaOptions=-Xd
最低0.47元/天 解锁文章
229
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
