spark远程调试

Master

cd $SPARK_HOME/
在spark的Master节点，在conf/spark-env.sh文件中添加如下参数
export SPARK_MASTER_OPTS=”-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10000”

上面的suspend=y表示挂起，address=10000是远程客户端的链接端口

执行
sbin/start-master.sh

执行jps
8341 Jps
8303 – main class information unavailable
可以看到Master被挂起，等待远程连接来启动

在客户端IDE 建立一个remote application
host: 192.168.198.128 port: 10000
如图：
上传不了，擦

找到spark包下的Master.scala类
在main方法里打断点
按debug开始调试

服务端执行jps
8382 Jps
8303 Master

Worker

在Worker所在节点的配置文件在conf/spark-env.sh文件中添加如下参数
export SPARK_WORKER_OPTS=”-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10001”

启动Worker:
start-slave.sh spark://node01:7077

执行jps
2209 – main class information unavailable
2239 Jps

在客户端IDE 建立一个remote application
host: 192.168.198.129 port: 10001
如图：
上传不了，擦

找到spark包下的Worker.scala类
在main方法里打断点
按debug开始调试

服务端执行jps
2209 Worker
2254 Jps

Application

待更新…

Executor

待更新…