编译spark源码使sparksql支持hive(cdh的)

原创 2016年08月31日 14:37:22

一:首先设置maven的内存

export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
二:在spark的目录下执行该命令(cd spark-1.3.0)
mvn -Pyarn -Dhadoop.version=2.6.0-cdh5.4.1 -Phive -Phive-thriftserver   -DskipTests clean package
三:编译完成之后,执行以下命令生成bin包
./make-distribution.sh --name custom-spark --skip-java-test --tgz -Pyarn -Dhadoop.version=2.6.0-cdh5.4.1  -Phive -Phive-thriftserver
备注:
        要注意相应的版本,Scala的版本,Hadoop hive cdh版本对应等。

搭建Hive On Spark 编译Hive源码错误解决方法(spark2.1.0,hadoop2.7.2)

Hive On Spark 的搭建需要自行编译Spark 源码  without Hive 然后部署。 编译成功之后部署Spark集群,此处不描述如何部署集群了。 然后本人自行从Hive官网下载Hi...
  • Dax1n
  • Dax1n
  • 2017年02月28日 14:24
  • 1436

重新编译spark源码,使CDH支持spark sql

1、编辑$MAVEN_HOME/bin/mvn文件,增加配置: MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=51...
  • kanaka10
  • kanaka10
  • 2016年12月28日 15:12
  • 404

CDH5.5自行编译支持sparkSQL,sparkR

第一步:编译支持hive的spark assembly http://blog.csdn.net/xiao_jun_0820/article/details/44178169 第二步:...
  • oufuji
  • oufuji
  • 2015年12月15日 13:32
  • 3005

重新编译、安装spark assembly,使CDH5.5.1支持sparkSQL

重新编译、安装spark assembly,使CDH5.5.1支持sparkSQLCDH内嵌spark版本不支持spark-sql,sparkR,如果要使用,需要将hive的相关依赖包打进spark ...
  • zhenzhendeblog
  • zhenzhendeblog
  • 2016年07月27日 16:32
  • 3093

cdh5.9添加sparksql cli直接操作hive

由于项目需要,需要在cloudera的spark中直接用sparksql操作hive,但是cloudera的spark中没有sparksql cli(也就是没有spark-sql命令),有关解决方案网...
  • tianjun2012
  • tianjun2012
  • 2017年07月12日 18:39
  • 1078

重新编译spark 增加spark-sql适配CDH

spark-sql
  • zhong_han_jun
  • zhong_han_jun
  • 2015年12月19日 16:15
  • 4945

Spark-2.1.0-hadooop-2.6.0-cdh5.7.0源码编译

目前 Spark 编译脚本已经将Maven 集成进来了,以方便编译以及部署。这个脚本将会在它本地 build/ 编译目录自动下载和安装所有编译过程中所必需的( Maven,Scala 和 Zinc )...
  • panguoyuan
  • panguoyuan
  • 2017年07月04日 15:04
  • 987

CDH5.1.0编译spark-assembly包来支持hive

原生的spark assembly jar是不依赖hive的,如果要使用spark hql必须将hive相关的依赖包打到spark assembly jar中来。打包方法: 假设已经装好了maven...
  • aaa1117a8w5s6d
  • aaa1117a8w5s6d
  • 2015年03月16日 15:47
  • 2851

如何源码编译对应CDH版本的Spark2.X

前置要求: 1)Building Spark using Maven requires Maven 3.3.9 or newer and Java 7+ 2)export MAVEN_OPTS="...
  • qq_21246073
  • qq_21246073
  • 2017年10月10日 19:52
  • 321

hive on spark 编译

前置条件说明Hive on Spark是Hive跑在Spark上,用的是Spark执行引擎,而不是MapReduce,和Hive on Tez的道理一样。 从Hive 1.1版本开始,Hive on...
  • stark_summer
  • stark_summer
  • 2015年09月15日 14:02
  • 31382
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:编译spark源码使sparksql支持hive(cdh的)
举报原因:
原因补充:

(最多只允许输入30个字)