下载carbondata源码
https://github.com/apache/carbondata/tree/master
编译
所需环境:
1. linux
2. jdk1.7或者1.8
3. maven 3.3+
4. thrift 0.93
thrift安装:http://blog.csdn.net/qq910894904/article/details/41132779
make出现Error:TNonblockingServer.h:41:33: error: event2/event_compat.h …
类似上面这样的错误,解决方法是从下面的地址:
http://libevent.org/
下载libevent,我直接下载的最新版本libevent-2.0.22-stable.tar.gz,这个版本可以解决上面的问题,其他版本没有尝试。
/usr/local/lib/libthriftnb.so: undefined reference to event_set'
evbuffer_new’
/usr/local/lib/libthriftnb.so: undefined reference to
/usr/local/lib/libthriftnb.so: undefined reference to `evhttp_free’
–发现是系统中存在两个版本的libevent导致的,二编译thrift时连接到了旧版本的libevent
如下:
/usr/lib64/libevent.so -> libevent-1.4.so.2.1.3
/usr/lib64/libevent.so -> libevent-1.4.so.2.1.3
建立新版本的软连接即可。
mvn -Dmaven.test.skip=true -Pspark-1.6 -Dspark.version=1.6.3 -Phadoop-2.6.0-cdh5.8.0 clean package
mvn -Dmaven.test.skip=true -Pspark-2.2 -Dspark.version=2.2.0.cloudera1 -Phadoop-2.6.0-cdh5.8.0 clean package
然后按照官方提供的安装方法配置即可
http://carbondata.apache.org/installation-guide.html
/opt/cloudera/parcels/CDH-5.8.0-1.cdh5.8.0.p0.42/lib/spark/carbonlib/carbondata_2.10-1.2.0-shade-hadoop2.6.0-cdh5.8.0.jar
spark运行在yarn集群的情况下安装和配置carbondata
前提:
- Hadoop HDFS和yarn集群已经安装和运行
- spark已经安装和运行在所有客户端
- carborndata有足够的权限访问HDFS
安装过程
以下过程只在driver节点安装即可:
1. 编译构建carborndata,并且从目录./assembly/target/scala-2.1x/carbondata_xxx.jar获取构建好的包,拷贝到