- 源码下载两种方式
- 通过官网下载源码
相对简单的方式下载spark-2.4.0.tgz
- 通过github进行源码下载
采用这种方式方便后续的跟踪
git clone https://github.com/apache/spark.git
git branch -v
git checkout 指定版本
之后就可以通过git pull将代码更新下来
- 源码编译过程
1、选择building spark
这里要注意,spark2.4.0需要的编译环境为maven3.5.4与jdk1.8
2、building的两种方式
上面这种方式用来做测试
上面这种方式用于生产环境中
./dev/make-distribution.sh --name custom-spark --pip --r --tgz -Psparkr -Phadoop-2.7 -Phive -Phive-thriftserver -Pmesos -Pyarn -Pkubernetes
–name 最终编译tgz包的名字
–tgz 打成tgz压缩包
–Phadoop-2.7 把hadoop加进来
–Phive 把hive加进来
…
-P是怎么回事儿呢?
需要找到github上spark的pom.xml文件,然后搜索profiles
会找到-P与pom中的对应关系(如hadoop2.7)
make-distribution.sh存储于spark源码的dev目录下
./dev/make-distribution.sh --name 2.6.0-cdh5.7.0 --tgz -Phadoop-2.6 -Phive -Phive-thriftserver -Pyarn -Dhadoop.version = 2.6.0-cdh5.7.0
hadoop采用chd5.7.0版本,pom文件中给出的hadoop.version是2.6.5,需要指定我们所需要的hadoop版本
那么需要修改spark源码中的pom文件
在repositories中加入:
<repository>
<id>cloudera</id>
<url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
</repository>
cdh的依赖
以后做好就可以编译了!!!!!!!
当执行命令是,在编译过程中,会卡住不往下继续执行
这时需要删除make-distribution.sh中的128-146行
VERSION=$("$MVN" help:evaluate -Dexpression=project.version $@ 2>/dev/null\
| grep -v "INFO"\
| grep -v "WARNING"\
| tail -n 1)
SCALA_VERSION=$("$MVN" help:evaluate -Dexpression=scala.binary.version $@ 2>/dev/null\
| grep -v "INFO"\
| grep -v "WARNING"\
| tail -n 1)
SPARK_HADOOP_VERSION=$("$MVN" help:evaluate -Dexpression=hadoop.version $@ 2>/dev/null\
| grep -v "INFO"\
| grep -v "WARNING"\
| tail -n 1)
SPARK_HIVE=$("$MVN" help:evaluate -Dexpression=project.activeProfiles -pl sql/hive $@ 2>/dev/null\
| grep -v "INFO"\
| grep -v "WARNING"\
| fgrep --count "<id>hive</id>";\
# Reset exit status to 0, otherwise the script stops here if the last grep finds nothing\
# because we use "set -o pipefail"
echo -n)
同时在下面增加
VERSION=2.4.0,CALA_VERSION=2.11,SPARK_HADOOP_VERSION=2.6.0-cdh5.7.0,SPARK_HIVE=1