编译Spark2.1.2源码

源码编译的shell脚本为 /dev/make-distribution.sh ,下载源码包解压就能找到。不同版本使用的参数有差异。可以直接查看make-distribution.sh文件。

下载spark源码包,解压缩 ,执行以下脚本

第一种:不支持R,python版本

./dev/make-distribution.sh --name spark-2.1.2-hadoop-2.7 --tgz -Dscala-2.11 -Phadoop-2.7 -Phive -Phive-thriftserver -Pyarn

第二种:支持R,python版本,由于我服务未安装R包,所以用下面的脚本虽然编译成功,但是未生产最终的文件.

./dev/make-distribution.sh --name spark-2.1.2-hadoop-2.7 --pip --r --tgz -Dscala-2.11 -PR -Phadoop-2.7 -Phive -Phive-thriftserver -Pyarn

 编译成功。

注意:

如果要支持SparkR, 必须安装R。

使用第一种方法编译成功后生成的最终文件。 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值