生产环境下,不能直接使用从官网下载的预编译好的包,因为,生产环境下的hadoop版本各不相同。而在我们自己编译的时候可以自行指定hadoop版本。
1、spark版本
- apache
- CDH
- PDH
- 本次使用apache 版本下的spark.v2.1.0
2、下载源码(git)
- 安装maven (3.3.9以上 )
wget http://mirrors.shuosc.org/apache/maven/maven-3/3.5.2/binaries/apache-maven-3.5.2-bin.tar.gz
- 设置maven目录下conf/settings的mirror加快下载速度:
<mirror>
<id>nexus-uk</id>
<mirrorOf>central</mirrorOf>
<name>nexus uk</name>
<url>http://uk.maven.org/maven2/</url>
</mirror>
- 设置maven的环境变量
- 安装git
sudo yum install git
- git clone 下载源码
git clone https://github.com/apache/spark.git
3、编译
- 参考官方文档:http://spark.apache.org/docs/2.1.0/building-spark.html
- 对2.1.0版本进行编译
因为我本地jdk是1.7的,无法支持最新版本,所以要先进到v2.1.0版本下:
git checkout v2.1.0
- 可能遇到的问题
- 需要安装R
R没有在centos的软件库中:
$sudo yum install R
Loaded plugins: fastestmirror
Setting up Install Process
Loading mirror speeds from cached hostfile</li>
<li>base: mirrors.163.com</li>
<li>extras: mirrors.163.com</li>
<li>updates: mirrors.163.com
No package R available.
Error: Nothing to do
这时我们可以先安装下扩展的软件库,epelxxx,先查看下扩展软件库的名字,然后安装它:
- 需要安装R
[hadoop@hadoop01 spark]$ yum list epel*
Loaded plugins: fastestmirror
Determining fastest mirrors
* base: mirrors.aliyun.com
* extras: mirrors.aliyun.com
* updates: mirrors.sohu.com
Available Packages
epel-release.noarch
[hadoop@hadoop01 spark]$ yum install epel-release
#这时再yum list R就能找到了,安装R
[hadoop@hadoop01 spark]$ yum install R
- 有些依赖的组件下载不下来
- 可以直接在公开的maven仓库或者mirror中搜索组件,手动下载并install到本地
- 如果网上搜不到,可以查看下spark的pom.xml,看它的repository有哪些,然后我们直接在它所给的url中找
- 第一次打包时需要跳过测试
- 最后,可以多试几次,有时候只是网速问题
- BUILD FAILURE
[ERROR] Java heap space -> [Help 1]
[ERROR] PermGen space -> [Help 1]
这些错误都是由于mvn的内存设的不够,加大内存即可。