Tez安装配置

介绍：hive默认计算引擎为MR，而MR的特性决定了它的运算速度并不是太让人满意。在此将其运算引擎修改为Tez（当然在此需要先安装Tez），Tez基于内存的计算使得hive可以有更高的运算效率

对于 Tez 0.8.3 及更高版本，Tez 需要 Apache Hadoop 为 2.6.0 或更高版本。 对于 Tez 0.9.0 及更高版本，Tez 需要 Apache Hadoop 为 2.7.0 或更高版本。

一、下载tez的依赖包：http://tez.apache.org 然后解压apache-tez-0.9.1-bin.tar.gz

二、配置

1.在hive中配置Tez

在hive安装目录conf/hive-env.sh文件中确保有如下配置

HADOOP_HOME=/data/hadoop-2.9.2
export HIVE_CONF_DIR=/data/hive-2.3.4/conf

#一般只用追加下面的就行，上面的配置在安装hive时已经配置好
#自己的tez的解压目录
export TEZ_HOME=/data/tez-0.9.1
export TEZ_JARS=""
for jar in `ls $TEZ_HOME |grep jar`; do
export TEZ_JARS=$TEZ_JARS:$TEZ_HOME/$jar
done
for jar in `ls $TEZ_HOME/lib`; do
export TEZ_JARS=$TEZ_JARS:$TEZ_HOME/lib/$jar
done
export TEZ_JARS=${TEZ_JARS:1}
export HIVE_AUX_JARS_PATH=$TEZ_JARS

2.在hive-site.xml文件中添加如下配置以更改hive计算引擎为tez（默认为MR）

(也可在查询时通过参数set hive.execution.engine=tez指定)

<property>
     <name>hive.execution.engine</name>
     <value>tez</value>
</property>

3.配置Tez 在Hive的conf目录下创建tez-site.xml文件并添加如下内容

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
     <!--指定要读取的tez的jar包地址 -->
     <name>tez.lib.uris</name>
     <value>${fs.defaultFS}/tez/apache-tez-0.9.1-bin.tar.gz</value>
  </property>
  <property>
     <!-- tez可使用集群的jar包 -->
     <name>tez.use.cluster.hadoop-libs</name>
     <value>true</value>
  </property>
  <property>
     <name>tez.history.logging.service.class</name>
     <value>org.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService</value>
  </property>
</configuration>

4.上传Tez压缩包到集群

hdfs dfs -mkdir /tez
hdfs dfs -put /data/apache-tez-0.9.1-bin.tar.gz /tez

5.内存设置

 因为Tez需要基于内存计算，在启动任务前会进行内存检查（检查依据为map与reduce任务所需内存总和），若内存不够时会杀死执行进程。在内存资源预算有限时可以关闭虚拟机内存检查；修改yarn-site.xml如下：

<!--关闭虚拟内存检查-->
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>

下面配置可以不用加

<property>
   <name>yarn.scheduler.minimum-allocation-mb</name>
   <value>2048</value>
   <description>default value is 1024</description>
</property>
<property>
    <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>2.1</value>
    <description>default value is 2.1</description>
</property>

6.校验

启动hive

 

建表插入：

create table aaa(id bigint ,name string)

row format delimited fields terminated by '\t';

insert into table aaa values(4 ,'xiaoming');

 

web界面（8088）：

 

7.TEZ优化参考

缩短提交任务时间

hive：tez.session.am.dag.submit.timeout.secs