编译spark源码使sparksql支持hive(cdh的)

原创 2016年08月31日 14:37:22

一:首先设置maven的内存
export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
二:在spark的目录下执行该命令(cd spark-1.3.0)
mvn -Pyarn -Dhadoop.version=2.6.0-cdh5.4.1 -Phive -Phive-thriftserver   -DskipTests clean package
三:编译完成之后,执行以下命令生成bin包
./make-distribution.sh --name custom-spark --skip-java-test --tgz -Pyarn -Dhadoop.version=2.6.0-cdh5.4.1  -Phive -Phive-thriftserver
备注:
        要注意相应的版本,Scala的版本,Hadoop hive cdh版本对应等。

相关文章推荐

Spark-2.1.0-hadooop-2.6.0-cdh5.7.0源码编译

目前 Spark 编译脚本已经将Maven 集成进来了,以方便编译以及部署。这个脚本将会在它本地 build/ 编译目录自动下载和安装所有编译过程中所必需的( Maven,Scala 和 Zinc )...

CDH5.4.7 环境下spark 1.3 源码包编译步骤及错误解决办法

参考链接:http://blog.csdn.net/zhong_han_jun/article/details/50358745 由于CDH5.4.7不支持SPARK-SQL, 因此,需要手动编译sp...

Spark1.4.0-SparkSQL与Hive整合-支持窗口分析函数

关键字: Spark读取HBase、SparkSQL读取HBase、SparkSQL整合Hive读取HBase表、Spark任务本地化调度机制 这里的SparkSQL是指整合了Hive的spar...
  • jarth
  • jarth
  • 2016年09月29日 11:16
  • 520

CDH5.5自行编译支持sparkSQL,sparkR

第一步:编译支持hive的spark assembly http://blog.csdn.net/xiao_jun_0820/article/details/44178169 第二步:...
  • oufuji
  • oufuji
  • 2015年12月15日 13:32
  • 2710

cdh5.9添加sparksql cli直接操作hive

由于项目需要,需要在cloudera的spark中直接用sparksql操作hive,但是cloudera的spark中没有sparksql cli(也就是没有spark-sql命令),有关解决方案网...

spark操作hive表源码

  • 2017年11月03日 12:49
  • 13KB
  • 下载

Spark2.0.1 on yarn with hue 集群安装部署(六)hue+hive+sparksql

hue+hive+sparksql hue bug,spark bug hive metastore spark默认访问derby数据库
  • dockj
  • dockj
  • 2016年11月28日 22:55
  • 1142

SparkSQL与Hive on Spark的比较

转载自:http://blog.csdn.net/yeruby/article/details/51448188 简要介绍了SparkSQL与Hive on Spark的区别与联系 ...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:编译spark源码使sparksql支持hive(cdh的)
举报原因:
原因补充:

(最多只允许输入30个字)