cloudera cdh编译carbondata

原创 2017年10月12日 21:52:18

carbondata 编译,官方的git文档上只说明了如何使用原生spark编译,我们使用的是cdh版,所以编译命令是:


mvn -DskipTests -Pspark-1.6 -Dspark.version=1.6.0-cdh5.10.2 clean package


遇到一个坑是spark-hive-thriftserver,因为spark版本是1.6.0-cdh5.10.2,所以所有和spark相关的版本都是这个版本,然而spark-hive-thriftserver没有cdh版本(在mvn官网上没有),导致编译不通过。把pom里的spark-hive-thriftserver的版本换成1.6.0成功编译。

cdh上使用spark-thriftserver操作carbondata

carbondata 是一种新型的适用于分布式计算的列式文件格式,本次使用spark-thrift方式来操作carbondata,简略介绍如何启动spark-carbondata-thriftserv...
  • Sir_yuan
  • Sir_yuan
  • 2017年11月27日 18:48
  • 228

华为开源存储框架Carbondata在Cent.OS7.2下的编译到使用

1 介绍 Apache CarbonData是一个面向大数据平台的基于索引的列式数据格式,由华为大数据团队贡献给Apache社区,目前最新版本是1.0.0版,官网地址: http://carbond...
  • qq_15758463
  • qq_15758463
  • 2017年07月18日 14:58
  • 799

CarbonData编译、安装和集成Spark 2.2

carbandata官网地址  一、编译 1、获取源码 git clone https://github.com/apache/carbondata.git 编译需要安装maven和jdk 1.7或者...
  • wuzhilon88
  • wuzhilon88
  • 2017年12月21日 15:56
  • 109

关于CarbonData+Spark SQL的一些应用实践和调优

大数据时代,中大型企业数据的爆发式增长,几乎每天都能产生约 100GB 到 10TB 的数据。而企业数据分系统构建与扩张,导致不同应用场景下大数据冗余严重。行业亟需一个高效、统一的融合数仓,从海量数据...
  • fengyuruhui123
  • fengyuruhui123
  • 2017年09月20日 15:47
  • 434

CarbonData初体验与性能测试

Apache CarbonData是由华为开发并贡献至Apache基金会的开源项目,目前处于孵化阶段。据其官网称,CarbonData是基于一系列先进的列式存储、索引、压缩及编码技术而设计的大数据文件...
  • lionel061202
  • lionel061202
  • 2016年12月20日 14:07
  • 7417

CarbonData使用示例(java)

Apache CarbonData是一种新的大数据文件格式,使用先进柱状存储,索引,压缩和编码技术实现更快速的交互式查询,以提高计算效率,将有助于加速查询超过PetaBytes数量级数据的速度。查询性...
  • u013181284
  • u013181284
  • 2017年08月25日 14:51
  • 870

Carbondata经过maven编译后的jar

  • 2017年07月18日 15:12
  • 25.12MB
  • 下载

phoenix for cloudera

phoenix for cloudera软件版本:spark 2.0.2 cdh 5.9 phoenix 4.9 (phoenix-spark模块使用4.11)下载CDH版本的phoenix,最新版本...
  • lsshlsw
  • lsshlsw
  • 2017年07月17日 01:31
  • 1081

从源码编译Cloudera CDH 5.7.1的Spark2.1.1

参考:https://rui.sh/build_cloudera_spark_from_source.html$ ./make-distribution.sh -DskipTests \ -...
  • u011291159
  • u011291159
  • 2017年06月30日 13:43
  • 587

carbondata 介绍

1、为什么要使用carbondata? CarbonData支持完整的标准SQL支持,以及多种分析场景的支持,“一份数据支持多种使用场景”,例如大规模扫描和计算的批处理场景,OLAP多维交互式分析场...
  • u013181284
  • u013181284
  • 2017年08月25日 14:49
  • 480
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:cloudera cdh编译carbondata
举报原因:
原因补充:

(最多只允许输入30个字)