spark 编译安装

生产环境下，不能直接使用从官网下载的预编译好的包，因为，生产环境下的hadoop版本各不相同。而在我们自己编译的时候可以自行指定hadoop版本。

1、spark版本

• apache
• CDH
• PDH
• 本次使用apache 版本下的spark.v2.1.0

2、下载源码（git）

• 安装maven (3.3.9以上 )

wget http://mirrors.shuosc.org/apache/maven/maven-3/3.5.2/binaries/apache-maven-3.5.2-bin.tar.gz

• 设置maven目录下conf/settings的mirror加快下载速度：

<mirror>
    <id>nexus-uk</id>
    <mirrorOf>central</mirrorOf>
    <name>nexus uk</name>
    <url>http://uk.maven.org/maven2/</url>
</mirror>

• 设置maven的环境变量
• 安装git

sudo yum install git

• git clone 下载源码

git clone https://github.com/apache/spark.git

3、编译

1. 参考官方文档:http://spark.apache.org/docs/2.1.0/building-spark.html
2. 对2.1.0版本进行编译
   因为我本地jdk是1.7的，无法支持最新版本，所以要先进到v2.1.0版本下：
   git checkout v2.1.0

3. 可能遇到的问题
   
   • 需要安装R
     R没有在centos的软件库中：
     $sudo yum install R
Loaded plugins: fastestmirror
Setting up Install Process
Loading mirror speeds from cached hostfile</li>
<li>base: mirrors.163.com</li>
<li>extras: mirrors.163.com</li>
<li>updates: mirrors.163.com
No package R available.
Error: Nothing to do

     这时我们可以先安装下扩展的软件库,epelxxx,先查看下扩展软件库的名字，然后安装它：

[hadoop@hadoop01 spark]$ yum list epel*
Loaded plugins: fastestmirror
Determining fastest mirrors
 * base: mirrors.aliyun.com
 * extras: mirrors.aliyun.com
 * updates: mirrors.sohu.com
Available Packages
epel-release.noarch
[hadoop@hadoop01 spark]$ yum install epel-release
#这时再yum list R就能找到了，安装R
[hadoop@hadoop01 spark]$ yum install R

• 有些依赖的组件下载不下来
  
  • 可以直接在公开的maven仓库或者mirror中搜索组件，手动下载并install到本地
  • 如果网上搜不到，可以查看下spark的pom.xml，看它的repository有哪些，然后我们直接在它所给的url中找
  • 第一次打包时需要跳过测试
  • 最后，可以多试几次，有时候只是网速问题
• BUILD FAILURE
  [ERROR] Java heap space -> [Help 1]
  [ERROR] PermGen space -> [Help 1]
  这些错误都是由于mvn的内存设的不够，加大内存即可。