spark-1.6.0源码编译安装

环境准备

spark是scala语言写的,scala运行需要jdk,如果通过maven编译,还需要maven环境,因此spark源码编译需要安装jdk,scala,apache-maven这三样环境。这里选择的是spark1.6.0,他需要的scala是2.10+,jdk7+,我的环境配置如下:


验证环境:


相关文件地址:链接: http://pan.baidu.com/s/1eS1j07S 密码: cjqt

下载spark1.6.0源码,并解压,然后进入spark-1.6.0目录,执行编译。为了编译更快,我们可以配置maven仓库为阿里云的maven仓库,只需修改/path/to/maven/conf/settings.xml文件,增加镜像地址。

<mirrors>
        <mirror>
                    <id>nexus-aliyun</id>
                    <mirrorOf>*</mirrorOf>
                    <name>Nexus aliyun</name>
                    <url>http://maven.aliyun.com/nexus/content/groups/public</url>
        </mirror>
</mirrors>
这样配置了之后,编译下载jar包速度非常快,提高编译速度和成功率。

编译命令

$ mvn -Pyarn -Phadoop2.6 -Dhadoop.version=2.6.0 -DskipTests clean package

编译成功


运行spark-shell命令查看编译的结果


编译过程中如果遇到编译mqtt缺少依赖可以通过直接下载jar包,放入repository对应目录,重新编译即可

具体的jar包可以到https://repo.eclipse.org/content/repositories/paho-releases/org/eclipse/paho

/org.eclipse.paho.client.mqttv3/1.0.1/该处下载

评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

luffy5459

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值