现在越来越多的人加入到了学习 Spark 源码的队伍中来。但是如果只是单纯阅读代码,不动手亲自去跟踪和调试,往往无法很连贯地学习和理解,经常会出现无法看清代码的上下文跳转,无法理解代码含义等问题。这篇文章为大家介绍如何在真实环境中远程调试 Spark 的源码,为大家能够深入理解 Spark 核心原理铺平道路。
环境
先介绍一下这篇文章的环境。
-
调试工具: IntelliJ IDEA CE + Scala 插件;
-
Hadoop 版本: hadoop-cdh5.1.0 版本;
-
Spark: spark-1.4.1 源码;
-
Spark 的集群部署采用 yarn-cluster 的模式;
准备工作
关于 Hadoop 的安装部署和 Spark 的安装部署,我假定大家已经完成了。如果有困难,可以到网上搜索。环境部署好后,在 IDEA 中安装 Scala 插件,并下载 Spark 源码导入到 IDEA 中。
整体介绍
先通过下图来看下 Spark on Yarn 的整体流程及各部分介绍。本文是以 yarn-cluster 模式为前提进行介绍,对于 yarn-client 模式,下图内容会稍有变化。而 yarn-client 模式的调试方法其实大同小异,读者可根据本文内容自行探寻。
图1: yarn-cluster 流程图
Spark on Yarn 的原理并非本篇文章的重点,这里就不做过多解释了。想深入了解更多细节的同学,可以后台留言给我们,后续我们可以根据需要安排更多文章进行讲解。
图中的实线代表的是 Spark 各模块的启动和执行流程的方向;虚线及虚线上的参数是我们今天重点介绍的东西。
由图中可以看出,Spark 的各执行模块,可以分为 3 个部分:
-
提交模块 spark-submit,我们称作 Client 端,在 Client 提交机上运行;
-
Spark Driver 模块,我们称为 Driver 端,在 App Master 中运行;
-
Executor 模块,我们称为 Executor 端,在 NodeManager 上的 Container 中运行;
一般网上介绍调试 Spark 源码的文章,只会告诉你如何调试提交模块的代码,而真正重要的 Drvier 程序以及 Executor 中运行的 Task 程序,很少有文章涉及。看完这篇文章后,相信你想调试哪个模块,都可以轻松办到!
调试方法
Client 端调试方法
正常提交 Spark 任务时,都是使用 spark-submit脚 本进行提交,该脚本内部执行时实际调用了 spark-class 脚本。spark-class 脚本是提交程序的必经入口 (spark-shell, pyspark-shell, sparkr-shell 等都会通过这个脚本执行),而这个脚本最终会使用下面这行命令返回的结果,来提交执行命令:
$RUNNER -cp $LAUNCH_CLASSPATH org.apache.spark.launcher.Main $@
在 spark-submit 脚本中,增加如下配置:
export JAVA_OPTS="${JAVA_OPTS} -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8440"
然后将前述命令修改为
$RUNNER -cp "$LAUNCH_CLASSPATH" org.apache.spark.launcher.Main$JAVA_OPTS "$@"
即可(红色字为修改内容)。
Driver 端调试方法
yarn-cluster 模式下,Spark Driver 程序是运行在 ApplicationMaster 进程中的。所以对 Driver 进行调试,就转化为了对 App Master 进程的调试。
从 Client 端提交程序到执行 ApplicationMaster 程序的路径为:
Client --提交申请--> ResourceManager --启动--> ApplicationMaster
而 ApplicationMaster 的启动参数是 Client 传递给 ResourceManager 的,控制 ApplicationMaster 的 JVM 参数为:spark.driver.extraJavaOptions。
所以调试模式的提交命令为:
spark-submit--conf spark.driver.extraJavaOptions='-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8441' --master yarn-cluster ./cuiyang_test.jar
使用这个参数的源码在 Client 端的 org.apache.spark.deploy.yarn.Client.scala 源文件中,如下图。
另外也可从源码中看到,对于 yarn-cluster 模式,spark.yarn.am.extraJavaOptions 参数是不管用的。
Executor 端调试方法
Executor 端有一个和 ApplicationMaster 端对应的控制 JVM 的参数,为 spark.executor.extraJavaOptions。这个参数也由 Client 端提交程序时,通过命令行参数传入。
所以提交命令为:
spark-submit--conf spark.executor.extraJavaOptions="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8442" --master yarn-cluster ./cuiyang_test.jar
使用这个参数的源码在 Driver 端的 org.apache.spark.deploy.yarn.ExecutorRunnable.scala 源文件中,如下图。
调试参数的转换及传递流程
参数的传递看起来比较绕,不容易一目了然地看清楚。我画了一幅参数传递的流程图,可以让大家比较直观的理解整个的逻辑流程,如下图。
解释一下各种参数形式:
-
Spark 参数:就是我们提交程序时,使用 --conf 来定义的参数;
-
系统属性:就是 Java 程序用 -D 来定义的参数;
-
JVM 参数:就是 JVM 直接识别的,用 -X 来定义的参数;
spark.driver.extraJavaOptions 和 spark.executor.extraJavaOptions 参数由于书写较长,在图中分别用 "-d" 和 "-e" 来简写了。
spark-shell 的调试方法
spark-shell 虽然也是通过调用 spark-class 脚本来执行的,但是不能简单地使用文中提到的修改 spark-class 脚本的方法来实现调试。其实如下变换一下修改的内容,就可以实现 spark-shell 的调试,至于为什么这么修改的原因,这里就不做解释了,有兴趣的同学可以自行研究一下 org.apache.spark.launcher.Main 类的实现。
debug_flag="1"
CMD=()while IFS= read -d '' -r ARG; do if [ ${ARG:0:3} = "org" ] && [ ${debug_flag} = "1" ]; then CMD+=($JAVA_OPTS) debug_flag="0" fi CMD+=("$ARG")done <<("$RUNNER" -cp "$LAUNCH_CLASSPATH" org.apache.spark.launcher.Main "$@")
使用 IDEA 远程连接调试
IDEA 远端调试代码的方法网上有很多资料,这里就不细说了。其实使用 Eclipse 也是完全可以的,不过个人认为 Eclipse 对 Scala 的支持不如 IDEA,而且 Scala 官方出的 Eclipse 导入 Spark 源码后,也慢的要命。
附一幅我调试 Driver 程序的截图吧:
总结
本文介绍了比较全的调试 Spark 各模块的方法。调试源码、跟踪源码的执行流程、查看程序当时的执行环境及变量,可以让我们更高效、透彻地了解 Spark 的框架及核心原理。希望能通过此文帮助到大家。