本文介绍了如何下载Spark 1.3.0源码并使用maven编译，重点在于设置环境、修改make-distribution.sh脚本以指定Hadoop 2.5.0-cdh5.3.6版本，并通过参数-Pyarn、-Phive0.13.1和-Phive-thriftserver确保兼容Yarn和Hive。通过这种方式，可以加速编译过程并创建tgz包。
一、下载spark源码
1、下载源码
官网为：http://spark.apache.org/downloads.html
选择对应的spark发行版本，包类型选源码，点击download spark右侧的tgz即可下载；
由于练习需要，下载的是 spark-1.3.0.tgz；
2、安装依赖的环境
spark-1.3.0 依赖的环境有：
maven版本：apache-maven-3.0.5
jdk版本1.7及以上：jdk1.7.0_79
scala版本：scala-2.10.4
二：spark 编译
1、spark1.x编译方式有
SBT编译：针对scala
Maven编译：针对java；但编译完后没有tgz包
打包编译make-distribution.sh：通过脚本编译，常用这种方法；本质上也是指定参数通过maven编译；
2、把源码包spark-1.3.0.tgz 通过filezilla发送到虚拟机，保存在/opt/softwares 目录；
最低0.47元/天 解锁文章
扫一扫
852
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
