CDH5.5自行编译支持sparkSQL,sparkR

本文档介绍了如何在CDH5.5环境下自行编译Spark以支持SparkSQL和SparkR。通过两步操作,包括使Cloudera Manager安装的Spark支持HQL,并手动拷贝相关命令文件并设置环境变量,来实现对SparkSQL和SparkR的支持。
摘要由CSDN通过智能技术生成
第一步:编译支持hive的spark assembly

http://blog.csdn.net/xiao_jun_0820/article/details/44178169


第二步:让cloudera manager装的spark支持hql 

http://blog.csdn.net/xiao_jun_0820/article/details/44680925


发现CDH5.5竟然把spark-sql,sparkR命令文件都没有放。R文件夹也没有。


第三步:拷贝文件和设置环境


把社区版的spark文件夹中R文件夹拷贝到CDH/lib/spark目录下,并把sbin和bin目录拷贝到CDH/lib/spark的bin和sbin。


sparkR --master yarn --executor-memory 1g


提示找不到hadoop的配置


IllegalArgumentException: requiremen
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值