spark关联源码及远程调试设置

一。spark 关联源码

1.程序导入spark-assembly-1.6.1-hadoop2.6.0-cdh5.6.0 jar包后，

进入找到org-apache-spark,随便找到一个子类点开，

右上角attach sources 加载spark源码即可

二、spark远程调试

1.多窗口调试

 spark-submit --master spark://bihdp01:7077 --class SparkWordCount --executor-memory 1g --driver-java-options "-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10080" /data/cpp/testcpp1.jar （要打jar包）

显示：Listening for transport dt_socket at address: 10080

2> run-edit configurations-

3>.点击debug进行调试（ip和端口都要可以访问）

2.单窗口调试

在spark bin 文件下的spark-class文件中配置

添加：

export JAVA_OPTS="$JAVA_OPTS -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10000"