cloudera cdh编译carbondata

原创 2017年10月12日 21:52:18

carbondata 编译,官方的git文档上只说明了如何使用原生spark编译,我们使用的是cdh版,所以编译命令是:


mvn -DskipTests -Pspark-1.6 -Dspark.version=1.6.0-cdh5.10.2 clean package


遇到一个坑是spark-hive-thriftserver,因为spark版本是1.6.0-cdh5.10.2,所以所有和spark相关的版本都是这个版本,然而spark-hive-thriftserver没有cdh版本(在mvn官网上没有),导致编译不通过。把pom里的spark-hive-thriftserver的版本换成1.6.0成功编译。

关于CarbonData+Spark SQL的一些应用实践和调优

大数据时代,中大型企业数据的爆发式增长,几乎每天都能产生约 100GB 到 10TB 的数据。而企业数据分系统构建与扩张,导致不同应用场景下大数据冗余严重。行业亟需一个高效、统一的融合数仓,从海量数据...

cdh上使用spark-thriftserver操作carbondata

carbondata 是一种新型的适用于分布式计算的列式文件格式,本次使用spark-thrift方式来操作carbondata,简略介绍如何启动spark-carbondata-thriftserv...

华为开源存储框架Carbondata在Cent.OS7.2下的编译到使用

1 介绍 Apache CarbonData是一个面向大数据平台的基于索引的列式数据格式,由华为大数据团队贡献给Apache社区,目前最新版本是1.0.0版,官网地址: http://carbond...

CarbonData初体验与性能测试

Apache CarbonData是由华为开发并贡献至Apache基金会的开源项目,目前处于孵化阶段。据其官网称,CarbonData是基于一系列先进的列式存储、索引、压缩及编码技术而设计的大数据文件...

自己编译的cloudera cdh3u2 eclipse plugin

操作系统:ubuntu10.10 32bit用户:xcloudHadoop:hadoop-0.20.2-cdh3u2 (安装目录:/home/xcloud/cdh3/hadoop-0.20.2-cdh...
  • i5secs
  • i5secs
  • 2011年12月30日 15:41
  • 2673

cloudera CDH4 installation guide 4.0(pdf)

  • 2012年11月26日 16:50
  • 3.27MB
  • 下载

cloudera CDH(5)开发方式及CDH eclipse插件编译总结

最近捣鼓cdh云存储,由于与eclipse端不兼容,各种神奇,把cdh4降成cdh3u5,然后又降成cdh3u4,总之很烦,后来看到了篇文章关于如何自己编译eclipse plugin的jar包,然后...

cloudera CDH(5)开发方式及CDH eclipse插件编译总结

转 : http://www.aboutyun.com/thread-9159-1-1.html  问题导读 1.CDH有几种开发方式? 2.如何在CDH源码中,如何查找eclipse插件源码?...

Cloudera CDH搭建

  • 2013年08月10日 06:55
  • 2.92MB
  • 下载

Cloudera Manager(CDH5)内部结构、功能包括配置文件、目录位置等

1. 相关目录 /var/log/cloudera-scm-installer : 安装日志目录。 /var/log/* : 相关日志文件(相关服务的及CM的)。 /usr/share/cmf/ ...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:cloudera cdh编译carbondata
举报原因:
原因补充:

(最多只允许输入30个字)