CDH环境下安装Tez(Hive on Tez )

CDH环境下安装Tez

一、安装环境

1、Linux版本： CentOS 6.5

2、Hadoop版本：CDH5.8.0

3、Hive版本：Hive-1.1.0-cdh5.8.0

4、JDK版本：JDK1.8

5、Maven版本：apache-maven-3.5.4 （必须安装Maven）

二、安装前准备

1、Tez版本选择：

对于Tez版本0.8.3及更高版本需要Apache Hadoop2.6.0或更高版本。对于Tez版本为0.9.0及更高版本则需要Apache Hadoop2.7或更高版本。在CDH集群中使用的Hadoop版本为2.6.0，所以这里选择Tez的版本为0.8.5。

2、下载Tez源码包：（二选一）

http://apache.claz.org/tez/0.8.5/apache-tez-0.8.5-src.tar.gz

https://github.com/apache/tez/archive/rel/release-0.8.5.tar.gz

3、Tez编译环境依赖的Protobuf：

Protobuf2.5.0 (注意：必须为这个版本)

https://github.com/protocolbuffers/protobuf/releases/download/v2.5.0/protobuf-2.5.0.tar.gz

三、安装步骤

1、安装编译环境依赖的OS包：

yum -y install gcc gcc-c++ libstdc++-devel make build

2、安装Protobuf2.5.0

（1）解压安装

tar -zxvf protobuf-2.5.0.tar.gz cd protobuf-2.5.0/

./configure make & make install

（2）验证是否安装成功

protoc --version

3、编译Tez0.8.5

（1）解压

tar -zxvf release-0.8.5.tar.gz

（2）修改解压后tez-rel-release-0.8.5文件夹下pom.xml文件，

<hadoop.version>修改为自己Hadoop版本。

因Hadoop环境版本为CDH版本，故需要添加Cloudera的Maven仓库地址：

<repositories>
  <repository>
    <id>cloudera</id>
    <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
    <name>Cloudera Repositories</name>
    <snapshots>
      <enabled>false</enabled>
    </snapshots>
  </repository>
</repositories>

<pluginRepositories>
  <pluginRepository>
    <id>cloudera</id>
    <name>Cloudera Repositories</name>
    <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
  </pluginRepository>
</pluginRepositories>

 

屏蔽pom.xml文件中tez-ext-service-tests、tez-ui、tez-ui2三个模块，若不屏蔽，则编译时会编译不通过。

（3）修改Tez源码

vi tez-mapreduce/src/main/java/org/apache/tez/mapreduce/hadoop/mapreduce/JobContextImpl.java

在JobContexImpl.java类最后增加如下方法：

/**
 * Get the boolean value for the property that specifies which classpath
 * takes precedence when tasks are launched. True - user's classes takes
 * precedence. False - system's classes takes precedence.
 * @return true if user's classes should take precedence
 */
 @Override
public boolean userClassesTakesPrecedence() {
  return getJobConf().getBoolean(MRJobConfig.MAPREDUCE_JOB_USER_CLASSPATH_FIRST, false);
}

（4）编译(解压目录下)

mvn clean package -DskipTests=true -Dmaven.javadoc.skip=true

若编译过程中出现错误，检查错误再执行编译即可。

4、安装

（1）将tez-dist/target/tez-0.8.5-minimal 目录上传到HDFS文件中

  cd tez-dist/target
  hadoop fs -mkdir -p /tez-dir
  hadoop fs -put  tez-dist/target/tez-0.8.5-minimal   /tez-dir
  hadoop fs -chmod -R 777 /tez-dir

（2）在{HIVE_HOME}/conf目录下创建tez-site.xml文件，内容如下：

<configuration>
    <property>
        <name>tez.lib.uris</name>
        <value>${fs.defaultFS}/tez-dir/tez-0.8.5-minimal,${fs.defaultFS}/tez-dir/tez-0.8.5-minimal/lib</value>
     </property>
     <property>
         <name>tez.use.cluster.hadoop-libs</name>
         <value>true</value>
    </property>
</configuration>

      修改Hive-site.xml配置：

    <property>
         <name>hive.tez.container.size</name>
         <value>1024</value>
     </property>

        在hive-site.xml配置中增加该参数，参数设置为Yarn容器yarn.scheduler.minimum-allocation-mb相同或1到2倍，但不能大于yarn.scheduler.maximum-allocation-mb。

（3）上传jar包解决Tez使用时出现的问题

将/opt/hadoop/hadoop-2.6.0-cdh5.8.0/share/hadoop/mapreduce1和/opt/hadoop/hadoop-2.6.0-cdh5.8.0/share/hadoop/mapreduce目录下的hadoop-core-2.6.0-mr1-cdh5.8.0.jar、hadoop-mapreduce-client-core-2.6.0-cdh5.8.0.jar、hadoop-mapreduce-client-common-2.6.0-cdh5.8.0.jar 等三个jar包上传到HDFS文件目录  tez-dist/target/tez-0.8.5-minimal下。

 

四、Tez使用

 

在Hive中使用：

set hive.execution.engine=tez;

若使用Mapreduce，则设置：

set hive.execution.engine=mr;