spark-1.6.0源码编译安装

环境准备

spark是scala语言写的，scala运行需要jdk,如果通过maven编译，还需要maven环境，因此spark源码编译需要安装jdk,scala,apache-maven这三样环境。这里选择的是spark1.6.0，他需要的scala是2.10+,jdk7+，我的环境配置如下：

验证环境：

相关文件地址：链接: http://pan.baidu.com/s/1eS1j07S 密码: cjqt

下载spark1.6.0源码,并解压，然后进入spark-1.6.0目录，执行编译。为了编译更快，我们可以配置maven仓库为阿里云的maven仓库，只需修改/path/to/maven/conf/settings.xml文件，增加镜像地址。

<mirrors>
        <mirror>
                    <id>nexus-aliyun</id>
                    <mirrorOf>*</mirrorOf>
                    <name>Nexus aliyun</name>
                    <url>http://maven.aliyun.com/nexus/content/groups/public</url>
        </mirror>
</mirrors>

这样配置了之后，编译下载jar包速度非常快，提高编译速度和成功率。

编译命令

$ mvn -Pyarn -Phadoop2.6 -Dhadoop.version=2.6.0 -DskipTests clean package

编译成功

运行spark-shell命令查看编译的结果

编译过程中如果遇到编译mqtt缺少依赖可以通过直接下载jar包，放入repository对应目录，重新编译即可

具体的jar包可以到https://repo.eclipse.org/content/repositories/paho-releases/org/eclipse/paho

/org.eclipse.paho.client.mqttv3/1.0.1/该处下载