如果想更深入的理解Spark,那么就需要深入去研究下源码实现。关于Spark源码下载可以到官方网站或者github进行下载,而阅读源码的最好方式就是调试,Spark源码调试有很多种办法,本文介绍一种我常用的调试方法。
在调试Spark代码之前,可以先找一台linux主机安装Spark,这里最简单的方式用local方式即可,只需要下载官网编译好的Spark安装包即可,当然也可以部署一套Standalone模式的SPark集群,或者使用Spark on Yarn模式(推荐这种方法,不过需要搭建一套Hadoop集群,使用YARN调度,HDFS作为文件存储,搭建可以使用Ambari),然后下载对应安装版本的Spark源码即可开始进行调试。
在开始调试源码之前,先对Spark源码整体做个梳理,源码主要包括以下几个方面:
-
Spark的初始化
SparkSession
SparkContext
SparkEnv
SparkConf
RpcEnv
SparkStatus
Tracker
SecurityManager
SparkUI
MetricsSystem
TaskScheduler
-
Spark的存储体系
SerializerManager
BroadcastManager
ShuffleManager
MemoryManager
NettyBlockTransferService
BlockManagerMaster
BlockManager
CacheManager
-
Spark的内存管理
MemoryManager
MemoryPool
ExecutionMemoryPool
StorageMemoryPool
MemoryStore
UnifiedMemoryManager
-
Spark的运算体系
LiveListenerBus
MapOutputTracker
DAGScheduler
TaskScheduler
ExecutorAllocationManager
OutputCommitCoordinator
ContextClearner
-
Spark的部署模式
LocalSparkCluster
Standalone
Mater/Executor/Worker的容错
Spark Streaming
StreamingContext
Receiver
Dstream
窗口操作
-
Spark SQL
Catalog
TreeNode
词法解析器
ParserRule
Executor
Analyzer与Optimizer
Hive SQL相关
了解清楚源码的大概脉络之后,就可以开始源码调试了。调试过程可以用最简单的测试代码,比如SparkPi或者WordCount程序,Spark源码自带了example,咱们直接通过命令行启动即可,只需要在driver或executor的JVM参数中加入debug参数,如下是我本地一条调试命令
spark-submit --master local
--class org.apache.spark.examples.SparkPi
--conf spark.driver.extraJavaOptions=-agentlib:jdwp=transport=dt_socket,server=y,sspend=y,address=5055
spark-examples.jar
如需要调试YARN模式下代码,那么把--master参数设置为yarn即可,需要调试executor则设置
spark.executor.extraJavaOptions=-agentlib:jdwp=transport=dt_socket,server=y,sspend=y,address=5055
同时在Eclispe或Idea中打开Spark源码,然后设置Remote debug,修改debug的host地址即可