Master
cd $SPARK_HOME/
在spark的Master节点,在conf/spark-env.sh文件中添加如下参数
export SPARK_MASTER_OPTS=”-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10000”
上面的suspend=y表示挂起,address=10000是远程客户端的链接端口
执行
sbin/start-master.sh
执行jps
8341 Jps
8303 – main class information unavailable
可以看到Master被挂起,等待远程连接来启动
在客户端IDE 建立一个remote application
host: 192.168.198.128 port: 10000
如图:
上传不了,擦
找到spark包下的Master.scala类
在main方法里打断点
按debug开始调试
服务端执行jps
8382 Jps
8303 Master
Worker
在Worker所在节点的配置文件在conf/spark-env.sh文件中添加如下参数
export SPARK_WORKER_OPTS=”-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10001”
启动Worker:
start-slave.sh spark://node01:7077
执行jps
2209 – main class information unavailable
2239 Jps
在客户端IDE 建立一个remote application
host: 192.168.198.129 port: 10001
如图:
上传不了,擦
找到spark包下的Worker.scala类
在main方法里打断点
按debug开始调试
服务端执行jps
2209 Worker
2254 Jps
Application
待更新…
Executor
待更新…