cdh6.3.2 集成 tez0.9.1,通过hive和hue使用tez引擎

本文档详细介绍了如何在CDH6.3.2环境中集成Tez0.9.1,并通过Hive和Hue使用Tez引擎。主要步骤包括参考相关文章、准备必要的软件版本(如Hadoop 3.0.0-cdh6.3.2,Hive 2.1.1等)、安装JDK、Maven和Protobuf,以及Tez的源码编译、整合和验证过程。在集成过程中可能会遇到的Hue使用Tez时的类找不到错误和Hive使用LZO压缩后的问题也进行了说明。
摘要由CSDN通过智能技术生成
cdh6.3.2 集成 tez0.9.1
参考文章

https://blog.csdn.net/Shea1992/article/details/101041244
https://www.jianshu.com/p/9fb9f32e1f0f
https://www.jianshu.com/p/45c95a51a8c2

准备工作
  • hadoop版本:3.0.0-cdh6.3.2
  • hive版本:hive-2.1.1
  • linux环境:centos7.6
  • jdk1.8
  • maven-3.6以上
  • protobuf-2.5.0.tar.gz(只能是这个版本,用外网下载)

https://github.com/protocolbuffers/protobuf/releases

  • tez-0.9.1源码

http://www.apache.org/dyn/closer.lua/tez/0.9.1/

安装
  • jdk
  • maven3.6.3
解压:
tar -zxvf apache-maven-3.6.3-bin.tar.gz
配置环境变量:
vim /etc/profile
export MVN_HOME=/usr/local/maven
export PATH=$MVN_HOME/bin:$PATH
source /etc/profile(别忘记)
验证:
mvn -v
  • protobuf安装
解压:
tar -zxvf protobuf-2.5.0.tar.gz
编译:
cd protobuf-2.5.0
./configure
make
make install
验证:
protoc --version
注:当configure校验不通过的时候,缺少哪些包就安装,一般需要安装gcc
安装tez0.9.1
  • 解压:
tar -zxvf apache-tez-0.9.1-src.tar.gz
  • 修改pom.xml
第一处:
<hadoop.version>3.0.0-cdh6.3.2</hadoop.version>
第二处:
<repository>
  <id>cloudera</id>
  <
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值