spark源码编译

1、前沿

学习spark这一计算框架，有非常多的地方值得大家深入的地方。看别人写的blog是一种方式，听各位大神的讲解是一种方式，但这都不如自己将它的源码过一遍来的痛快。现在我将向大家介绍一下如何搭建跟踪源码的环境！

2、环境

win10、idea、maven3.5.0、jdk1.8、git、scala2.11

3、下载源码

目前spark源码在github有维护，我这里下载的是spark2.3.0版本。

4、编译源码

跟其他maven项目一样，用idea导入。可能会有导入失败的情况，这个时候大多是因为maven依赖不全导致，可以打开pom 文件。
这里通常会有以下两种异常出现：

1. 未定义变量
<session.executionRootDirectory>D:\xx\xxx\spark-2.3.0\executionRootDirectory</session.executionRootDirectory>
<test_classpath>D:\xx\xxx\spark-2.3.0\test_classpath</test_classpath>

2.缺少plugin依赖
缺什么补什么就好

3.修改组件版本
例如maven版本、hadoop版本等等。

之后设定maven编译环境
MAVEN_OPTS:-Xms2g -Xmx2g -XX:ReservedCodeCacheSize=1024M

进入到D:\xx\xxx\spark-2.3.0\ 项目根目录下，打开gi