CDH6.2.0环境下安装Tez

CDH6.2.0环境下安装Tez

参考：
https://blog.csdn.net/weixin_43941899/article/details/105787688
https://my.oschina.net/shea1992/blog/3107972

一、安装环境

1、Linux版本： CentOS 7.4

2、Hadoop版本：3.0.0+cdh6.2.1

3、Hive版本：2.1.1+cdh6.2.1

4、JDK版本：JDK1.8

5、Maven版本：apache-maven-3.6.3(链接: https://pan.baidu.com/s/1OzlfAJ5owo0nEaswtLi-Rg 密码: o5jm)

6、protobuf-2.5.0.tar.gz(链接: https://pan.baidu.com/s/1RFPwxjtR2Xsxfcc-7nZIVA 密码: j4w5）

7、tez-0.9.1源码(链接: https://pan.baidu.com/s/1SCZX2NVPodCLpqML2XPceQ 密码: urec)

二、安装

maven3.6.3

解压:
tar -zxvf apache-maven-3.6.3-bin.tar.gz
配置环境变量:
vim /etc/profile
export MVN_HOME=/usr/local/maven
export PATH=$MVN_HOME/bin:$PATH
source /etc/profile

protobuf安装

解压:
tar -zxvf protobuf-2.5.0.tar.gz
编译:
cd protobuf-2.5.0
./configure
make && make install
验证:
protoc --version
注：当configure校验不通过的时候,缺少哪些包就安装,一般需要安装gcc

安装tez0.9.1

解压:
tar -zxvf apache-tez-0.9.1-src.tar.gz

修改pom.xml
第一处:

<hadoop.version>3.0.0-cdh6.3.2</hadoop.version>

第二处:

<repository>
  <id>cloudera</id>
  <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
  <name>Cloudera Repositories</name>
  <snapshots>
    <enabled>false</enabled>
  </snapshots>
</repository>

第三处:

<pluginRepository>
  <id>cloudera</id>
  <name>Cloudera Repositories</name>
  <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
</pluginRepository>

第四处:

<!--<module>tez-ext-service-tests</module>
<module>tez-ui</module>-->
注:将这两个注释掉,如果有需要可以不用注释

这两个包下载异常可以手动下载放到maven库中

 org.apache.hadoop:hadoop-yarn-api:jar:3.0.0-cdh6.2.0, 
 org.apache.hadoop:hadoop-common:jar:3.0.0-cdh6.2.0: 

修改mapreduce的java文件

报错:tez-mapreduce编译时，报ApplicationReport.newInstance() 89行异常，使用另一个方法newInstance()方法

vim tez-mapreduce/src/main/java/org/apache/tez/mapreduce/client/NotRunningJob.java

return ApplicationReport.newInstance(unknownAppId, unknownAttemptId, "N/A",
        "N/A", "N/A", "N/A", 0, null, YarnApplicationState.NEW, "N/A", "N/A",
        0, 0, 0, FinalApplicationStatus.UNDEFINED, null, "N/A", 0.0f, "TEZ_MRR", null);
注:可以先进行编译,如果报这个错再进行修改这一步也行

编译完成jar路径：

cd /tez-dist/target

整合hdfs

hadoop fs -mkdir /user/tez
hadoop fs -put tez-0.9.1.tar.gz /user/tez

整合到hive
1.创建tez-site.xml

cd /opt/cloudera/parcels/CDH/lib/
mkdir -p tez/conf
cd tez/conf/
vim tez-site.xml

<configuration>
    <property>
        <name>tez.lib.uris</name>
        <value>${fs.defaultFS}/user/tez/tez-0.9.1.tar.gz</value>
    </property>
    <property>
          <name>tez.use.cluster.hadoop-libs</name>
          <value>false</value>
    </property>
</configuration>

cp tez-site.xml ../../hive/conf/
vim ../../hive/conf/hive.site.xml

 <property>
     <name>hive.tez.container.size</name>
     <value>1024</value>
 </property>

2.拷贝jar包
tez-0.9.1-minimal文件夹下的jar及lib拷贝到tez中

3.避免kryo的错误：

java.lang.NoClassDefFoundError: com/esotericsoftware/shaded/org/objenesis/strategy/InstantiatorStrategy
cd /opt/cloudera/parcels/CDH/lib/hive/auxlib
mv hive-exec-2.1.1-cdh6.3.2-core.jar hive-exec-2.1.1-cdh6.3.2-core.jar.bck
mv hive-exec-core.jar hive-exec-core.jar.bck

4.配置hive的env配置文件

cdh:hive-env.sh 的 Gateway 客户端环境高级配置代码段（安全阀）
 添加:
 HADOOP_CLASSPATH=/opt/cloudera/parcels/CDH/lib/tez/conf:/opt/cloudera/parcels/CDH/lib/tez/*:/opt/cloudera/parcels/CDH\/lib/tez/lib/*

5 将tez分配到hive所在的节点上

在Hive中使用：

set hive.execution.engine=tez;

在hive-site.xml文件中添加如下配置以更改hive计算引擎为tez（默认为MR）

<property>
  <name>hive.execution.engine</name>
  <value>tez</value>
</property>

因为Tez需要基于内存计算，在启动任务前会进行内存检查（检查依据为map与reduce任务所需内存总和），若内存不够时会杀死执行进程。在内存资源预算有限时可以关闭虚拟机内存检查；修改yarn-site.xml如下：

<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>

减少tez日志输出：

/opt/cloudera/parcels/CDH/lib/tez/lib
rm slf4j-*