cdh6.3.2 集成 tez0.9.2，通过hive和hue使用tez引擎

准备工作

• hadoop版本：3.0.0-cdh6.3.2
• hive版本：hive-2.1.1
• linux环境:centos7.6
• jdk1.8
• maven-3.6以上
• protobuf-2.5.0.tar.gz(只能是这个版本,用外网下载)

  https://github.com/protocolbuffers/protobuf/releases
  直接拉到最后一页

  tez-0.9.2源码包

  https://dlcdn.apache.org/tez/0.9.2/

mvn安装就不提了

protobuf安装

解压:
tar -zxvf protobuf-2.5.0.tar.gz
编译:
cd protobuf-2.5.0
./configure
make
make install
验证:
protoc --version
注：当configure校验不通过的时候,缺少哪些包就安装,一般需要安装gcc

安装tez0.9.2

• 解压:

  tar -zxvf apache-tez-0.9.2-src.tar.gz
  

修改几处配置

 

第一处:
<hadoop.version>3.0.0-cdh6.3.2</hadoop.version>
找到clover.license 在这儿修改就行了
第二处:
<repository>
  <id>cloudera</id>
  <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
  <name>Cloudera Repositories</name>
  <snapshots>
    <enabled>false</enabled>
  </snapshots>
</repository>

这个找个   <repository> 类的插在下面就行了
第三处:
<pluginRepository>
  <id>cloudera</id>
  <name>Cloudera Repositories</name>
  <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
</pluginRepository>

这个插入到 <pluginRepositories> 类别下面就行
第四处:
<dependency>
  <groupId>com.sun.jersey</groupId>
  <artifactId>jersey-client</artifactId>
  <version>1.19</version>
</dependency>

这个插入到    <dependencies> 类别
第五处:
<!--<module>tez-ext-service-tests</module>
<module>tez-ui</module>-->
注:将这两个注释掉,如果有需要可以不用注释 

 

• 修改mapreduce的java文件

  报错:tez-mapreduce编译时，报ApplicationReport.newInstance() 89行异常，使用另一个方法newInstance()方法
  
  vim tez-mapreduce/src/main/java/org/apache/tez/mapreduce/client/NotRunningJob.java
  
  return ApplicationReport.newInstance(unknownAppId, unknownAttemptId, "N/A",
          "N/A", "N/A", "N/A", 0, null, YarnApplicationState.NEW, "N/A", "N/A",
          0, 0, 0, FinalApplicationStatus.UNDEFINED, null, "N/A", 0.0f, "TEZ_MRR", null);
  注:可以先进行编译,如果报这个错再进行修改这一步也行
  

• maven编译

  mvn clean package -Dmaven.javadoc.skip=true -Dmaven.test.skip=true
  注:这样会跳过test编译,很快就编译完成
  

  编译完之后到tez-dist/target 下查看

  drwxr-xr-x 2 root root       10 Mar 11 14:11 archive-tmp
  drwxr-xr-x 3 root root     4096 Mar 11 14:11 tez-0.9.2
  drwxr-xr-x 3 root root     4096 Mar 11 14:11 tez-0.9.2-minimal
  -rw-r--r-- 1 root root 13425197 Mar 11 14:11 tez-0.9.2-minimal.tar.gz
  -rw-r--r-- 1 root root 68027487 Mar 11 14:11 tez-0.9.2.tar.gz
  
  应该有这样几个包

• 整合到hdfs

  1.hadoop fs -mkdir /tez
  2.hadoop fs -put tez-0.9.2.tar.gz /tez
  

  1.创建tez-site.xml
  1.1 cd /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib
  1.2 mkdir tez
  1.3  vim tez-site.xml
  <configuration>
      <property>
          <name>tez.lib.uris</name>
          <value>${fs.defaultFS}/apps/tez-0.9.1/tez-0.9.1.tar.gz</value>
      </property>
      <property>
            <name>tez.use.cluster.hadoop-libs</name>
            <value>false</value>
      </property>
  </configuration>
  2.拷贝jar包
  tez-0.9.2-minimal文件夹下的jar及lib下的jar拷贝到tez中
  3.避免kryo的错误：
  java.lang.NoClassDefFoundError: com/esotericsoftware/shaded/org/objenesis/strategy/InstantiatorStrategy
  3.1 cd /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hive/auxlib
  3.2 mv hive-exec-2.1.1-cdh6.3.2-core.jar hive-exec-2.1.1-cdh6.3.2-core.jar.bck
  3.3 mv hive-exec-core.jar hive-exec-core.jar.bck
  注意这个一定要备份。因为这个是hive核心jar包，有可能别的地方也使用到了
  4.配置hive的env配置文件
  4.1 添加:HADOOP_CLASSPATH=/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/tez/conf:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/tez/*:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/tez/lib/*
  4.2 部署客户端配置
  4.3 重启需要组件
  5 将tez分配到hive所在的节点上
  

  set hive.tez.container.size=3020;(注:根据服务器的性能适当调节)
  set hive.execution.engine=tez;
  然后运行selcet 之类的就是走tez引擎了

  

   

• hue使用tez

  hue使用的是hive的远程连接窗口,所以在配置值得在hiveservice2的环境高级代码段配置
  HADOOP_CLASSPATH=/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/tez/conf:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/tez/*:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/tez/lib/*
  重启hive组件
  

  

   

   

• hue中oozie调度shell脚本,运行hive,找不到类报错Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/tez/runtime/api/Event

  分析:oozie在调度的时候运行的是nodemanager机器上的hive环境,如果你在resourcemanager的机器上配置了tez的环境,而这两者正好不在同一台机器上,就会报这个错,跟sqoop的oracle.jar找不到一样
  解决:1.在你的shell脚本的运行环境中添加你的HADOOP_CLASSPATH=/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/tez/conf:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/tez/*:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/tez/lib/*(下图1)
       2.将/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/tez文件夹整体发送到nodemanager所在的机器(全部,不然还是会找不到)
       3.为防止出现kryo的错误：
       java.lang.NoClassDefFoundError: com/esotericsoftware/shaded/org/objenesis/strategy/InstantiatorStrategy
       得提前将nodemanager所在节点中hive的两个jar文件删除或重命名:
         3.2 mv hive-exec-2.1.1-cdh6.3.2-core.jar hive-exec-2.1.1-cdh6.3.2-core.jar.bck
         3.3 mv hive-exec-core.jar hive-exec-core.jar.bck
       4.运行你的workflow
  

  

   hive使用lzo压缩后,解决tez和spark不能用的问题

  
  1.在cdh中hive的高级配置里面,声明辅助的文件地址(也可以直接声明lzo所在的文件夹)
  2.在声明的辅助文件夹的地址下,放lzo的jar包
  3.在hive-env.sh的高级环境代码段填写
    HIVE_AUX_JARS_PATH=你声明的文件夹的地址
  4.重启hive.