01 安装测试carbondata

下载carbondata源码

https://github.com/apache/carbondata/tree/master

编译

所需环境：
1. linux
2. jdk1.7或者1.8
3. maven 3.3+
4. thrift 0.93

thrift安装：http://blog.csdn.net/qq910894904/article/details/41132779

make出现Error：TNonblockingServer.h:41:33: error: event2/event_compat.h …
类似上面这样的错误，解决方法是从下面的地址：
http://libevent.org/

下载libevent，我直接下载的最新版本libevent-2.0.22-stable.tar.gz，这个版本可以解决上面的问题，其他版本没有尝试。

/usr/local/lib/libthriftnb.so: undefined reference to event_set'
/usr/local/lib/libthriftnb.so: undefined reference toevbuffer_new’
/usr/local/lib/libthriftnb.so: undefined reference to `evhttp_free’
–发现是系统中存在两个版本的libevent导致的，二编译thrift时连接到了旧版本的libevent
如下：
/usr/lib64/libevent.so -> libevent-1.4.so.2.1.3
/usr/lib64/libevent.so -> libevent-1.4.so.2.1.3
建立新版本的软连接即可。

mvn -Dmaven.test.skip=true -Pspark-1.6 -Dspark.version=1.6.3 -Phadoop-2.6.0-cdh5.8.0 clean package

mvn -Dmaven.test.skip=true -Pspark-2.2 -Dspark.version=2.2.0.cloudera1 -Phadoop-2.6.0-cdh5.8.0 clean package

然后按照官方提供的安装方法配置即可
http://carbondata.apache.org/installation-guide.html

/opt/cloudera/parcels/CDH-5.8.0-1.cdh5.8.0.p0.42/lib/spark/carbonlib/carbondata_2.10-1.2.0-shade-hadoop2.6.0-cdh5.8.0.jar

spark运行在yarn集群的情况下安装和配置carbondata

前提：

• Hadoop HDFS和yarn集群已经安装和运行
• spark已经安装和运行在所有客户端
• carborndata有足够的权限访问HDFS

安装过程

以下过程只在driver节点安装即可：
1. 编译构建carborndata，并且从目录./assembly/target/scala-2.1x/carbondata_xxx.jar获取构建好的包，拷贝到