spark java 调试_远程调试spark源码（基于java的调试工具）

开发人员在进行程序编码的过程中，不可避免的需要对代码进行调试，其目的是能精确定位程序的运行状况。本文对spark源码进行调试，此调试方式可以调试任何JVM相关的程序，如：普通的命令行程序、web程序等。

1、实验环境

IPhostnamemasterworker

192.168.56.101master是否

192.168.56.102node1否是

192.168.56.103node2否是

192.168.56.104node3否是

2、spark-submit命令启动spark应用程序，并打开调试监听bin/spark-submit --class sparksql.HiveOnSQL scalastudy.jar --driver-java-options -agentlib:jdwp=transport=dt_socket,address=9904,server=y,suspend=y

说明：

这里spark-submit命令不做具体介绍，需要注意的是--driver-java-options参数，此参数是增加jvm相关参数这里使用"-agentlib:jdwp=transport=dt_socket,address=9904,server=y,suspend=y",启动监听程序，此命令执行后，控制台打印如下：

此监听已启动，此时就可以通过本地代码