Spark Streaming job 远程debug方法

编写spark streaming job时，需要打包后提交到spark cluster运行。记录下spark job的运程调试方法。

job提交

在submit job时添加配置项：
--conf "spark.driver.extraJavaOptions=-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5005"
address=5005为连接端口，可以修改。
完整的命令：
bin/spark-submit --conf "spark.driver.extraJavaOptions=-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5005" --master spark://sparkCluster:7077 --deploy-mode client example.jar

idea配置

打开提交的job代码（如果需要debug spark 的源码，请使用maven 下载spark 源码包）
配置远端连接参数：

在需要的地方设置断点，提交job，然后点击debug。