spark源码编译

• 源码下载两种方式

1. 通过官网下载源码
   相对简单的方式下载spark-2.4.0.tgz

2. 通过github进行源码下载
   采用这种方式方便后续的跟踪
   git clone https://github.com/apache/spark.git
   git branch -v
   git checkout 指定版本
   之后就可以通过git pull将代码更新下来

• 源码编译过程
  
  1、选择building spark
  
  这里要注意，spark2.4.0需要的编译环境为maven3.5.4与jdk1.8
  2、building的两种方式
  
  上面这种方式用来做测试
  
  上面这种方式用于生产环境中

./dev/make-distribution.sh --name custom-spark --pip --r --tgz -Psparkr -Phadoop-2.7 -Phive -Phive-thriftserver -Pmesos -Pyarn -Pkubernetes

–name 最终编译tgz包的名字
–tgz 打成tgz压缩包
–Phadoop-2.7 把hadoop加进来
–Phive 把hive加进来
…
-P是怎么回事儿呢？
需要找到github上spark的pom.xml文件，然后搜索profiles

会找到-P与pom中的对应关系（如hadoop2.7）

make-distribution.sh存储于spark源码的dev目录下

./dev/make-distribution.sh --name 2.6.0-cdh5.7.0 --tgz  -Phadoop-2.6 -Phive -Phive-thriftserver  -Pyarn -Dhadoop.version = 2.6.0-cdh5.7.0

hadoop采用chd5.7.0版本，pom文件中给出的hadoop.version是2.6.5，需要指定我们所需要的hadoop版本
那么需要修改spark源码中的pom文件
在repositories中加入：

<repository>
      <id>cloudera</id>
      <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
</repository>
cdh的依赖

以后做好就可以编译了！！！！！！！
当执行命令是，在编译过程中，会卡住不往下继续执行
这时需要删除make-distribution.sh中的128-146行

VERSION=$("$MVN" help:evaluate -Dexpression=project.version $@ 2>/dev/null\
    | grep -v "INFO"\
    | grep -v "WARNING"\
    | tail -n 1)
SCALA_VERSION=$("$MVN" help:evaluate -Dexpression=scala.binary.version $@ 2>/dev/null\
    | grep -v "INFO"\
    | grep -v "WARNING"\
    | tail -n 1)
SPARK_HADOOP_VERSION=$("$MVN" help:evaluate -Dexpression=hadoop.version $@ 2>/dev/null\
    | grep -v "INFO"\
    | grep -v "WARNING"\
    | tail -n 1)
SPARK_HIVE=$("$MVN" help:evaluate -Dexpression=project.activeProfiles -pl sql/hive $@ 2>/dev/null\
    | grep -v "INFO"\
    | grep -v "WARNING"\
    | fgrep --count "<id>hive</id>";\
    # Reset exit status to 0, otherwise the script stops here if the last grep finds nothing\
    # because we use "set -o pipefail"
    echo -n)

同时在下面增加

VERSION=2.4.0,CALA_VERSION=2.11,SPARK_HADOOP_VERSION=2.6.0-cdh5.7.0,SPARK_HIVE=1