cdh6.3.2 集成 tez0.9.1
参考文章
https://blog.csdn.net/Shea1992/article/details/101041244
https://www.jianshu.com/p/9fb9f32e1f0f
https://www.jianshu.com/p/45c95a51a8c2
准备工作
- hadoop版本:3.0.0-cdh6.3.2
- hive版本:hive-2.1.1
- linux环境:centos7.6
- jdk1.8
- maven-3.6以上
- protobuf-2.5.0.tar.gz(只能是这个版本,用外网下载)
https://github.com/protocolbuffers/protobuf/releases
- tez-0.9.1源码
http://www.apache.org/dyn/closer.lua/tez/0.9.1/
安装
- jdk
- maven3.6.3
解压:
tar -zxvf apache-maven-3.6.3-bin.tar.gz
配置环境变量:
vim /etc/profile
export MVN_HOME=/usr/local/maven
export PATH=$MVN_HOME/bin:$PATH
source /etc/profile(别忘记)
验证:
mvn -v
- protobuf安装
解压:
tar -zxvf protobuf-2.5.0.tar.gz
编译:
cd protobuf-2.5.0
./configure
make
make install
验证:
protoc --version
注:当configure校验不通过的时候,缺少哪些包就安装,一般需要安装gcc
安装tez0.9.1
- 解压:
tar -zxvf apache-tez-0.9.1-src.tar.gz
- 修改pom.xml
第一处:
<hadoop.version>3.0.0-cdh6.3.2</hadoop.version>
第二处:
<repository>
<id>cloudera</id>
<