Spark远程调试
本例子介绍简单介绍spark一种远程调试方法,使用的IDE是IntelliJ IDEA。
1、了解jvm一些参数属性
-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888
这里对上面的几个参数进行说明:
- -Xdebug 启用调试特性
- -Xrunjdwp 启用JDWP实现,包含若干子选项: transport=dt_socket,JPDA ,front-end和back-end之间的传输方法。dt_socket表示使用套接字传输。
- address=8888 JVM在8888端口上监听请求,这个设定为一个不冲突的端口即可。
- server=y y表示启动的JVM是被调试者。如果为n,则表示启动的JVM是调试器。
- suspend=y y表示启动的JVM会暂停等待,直到调试器连接上才继续执行。如果为n,则JVM不会暂停等待。
2、编译打包,正常打包即可。
a、放到spark服务器上跑之,执行:
bin/spark-submit
--supervise
--class cn.huorong.SampleTaskScan
--name "testkdl1"
--executor-memory 8192M
--num-executors 6
--executor-cores 2
--master yarn
--deploy-mode cluster
--driver-java-options "-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888" testusdphive-2.0.jar \
b、也可在conf/spark-env.sh这个文件最后加入
export SPARK_JAVA_OPTS+="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888"
不过没有进行实际测试
执行结果会显示如下,监听8888端口,暂停等待调试器连接,如下
3,配置idea一些参数
host:服务器地址(ps:不清楚就去服务器上看一下那台机器有你配置的端口)port:提交参数配置的端口
4,打个断点,run debug
链接成功,此时spark服务器和idea状态