carbondata 安装文档

最新推荐文章于 2024-08-06 03:45:59 发布

微溪

最新推荐文章于 2024-08-06 03:45:59 发布

阅读量2.4k

点赞数

分类专栏： hadoop saprk CarbonData 文章标签： carbondata 安装

本文链接：https://blog.csdn.net/u013181284/article/details/73331170

版权

本文档详细介绍了Apache CarbonData的安装步骤。首先，确保具备centos、Maven、Java 7或8以及Thrift 0.9.3等前提条件。从官方仓库下载carbondata源码或发行版，使用特定构建命令生成jar包。接着，将生成的jar包复制到SPARK_HOME/carbonlib目录，并更新Spark的类路径和配置文件。在所有节点上执行相同步骤，并在carbon.properties中设置相关属性。最后，通过启动spark-shell验证安装。若遇到问题，可根据carbon.properties.filepath定位配置。

摘要由CSDN通过智能技术生成

carbondata 安装文档
一、build CarbonData
1、先决条件：
OS: centos（类unix OS）
Apache Maven（推荐版本3.3或更高版本）
Oracle Java 7或8
Apache Thrift 0.9.3
以上条件缺一不可
2、git 下载carbondata,或者直接从官网下载已经发行的版本。官方最新发行版目前是1.1.0版本
地址：https://dist.apache.org/repos/dist/release/carbondata/1.1.0/
3、构建命令
进入到cabondata 的目录下，运行构建命令
构建无需测试，默认情况下carbondata采用Spark 1.6.2进行构建

mvn -DskipTests clean package（默认）

carbondata也支持使用不同版本的Spark构建（目前支持的版本有一下几个）。

mvn -DskipTests -Pspark-1.5 -Dspark.version=1.5.1 clean package
mvn -DskipTests -Pspark-1.5 -Dspark.version=1.5.2 clean package
mvn -DskipTests -Pspark-1.6 -Dspark.version=1.6.1 clean package 
mvn -DskipTests -Pspark-1.6 -Dspark.version=1.6.2 clean package 
mvn -DskipTests -Pspark-