Hive更换计算引擎为Tez

Hive更换Tez计算引擎

下载并解压Tez安装包
下载地址
https://mirrors.bfsu.edu.cn/apache/tez/0.9.2/

解压

[root@hadoop102 software]$ tar -zvxf apache-tez-0.9.2-bin.tar.gz -C /opt/module/
# 对安装目录进行重命名(可选)
[root@hadoop102 module]$ mv apache-tez-0.9.2-bin/ tez-0.9.2/

1.2.2 将tez安装包上传到hdfs
为了使集群中的各个节点都能够使用Tez引擎进行计算,将下载好的tez安装包上次至HDFS

在HDFS创建/tez目录(目录自己任意指定)

[root@hadoop102 software]$ hdfs dfs -mkdir /tez

上传tez二进制包到HDFS

[root@hadoop102 software]$ hdfs dfs -put ./apache-tez-0.9.2-bin.tar.gz /tez

1.2.3 修改配置文件
进入$HIVE_HOME/conf目录,在该目录下创建一个tez-site.xml文件,并添加如下内容:

[root@hadoop102 conf]$ vim tez-site.xml

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
     <!--指定要读取的tez的jar包地址 -->
     <name>tez.lib.uris</name>
     <value>${fs.defaultFS}/tez/apache-tez-0.9.2-bin.tar.gz</value>
  </property>
  <property>
     <!-- tez可使用集群的jar包 -->
     <name>tez.use.cluster.hadoop-libs</name>
     <value>true</value>
  </property>
  <property>
     <name>tez.history.logging.service.class</name>
     <value>org.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService</value>
  </property>
</configuration>

在hive-env.sh配置文件的最后增加下面内容

[root@hadoop102 conf]$ vim hive-env.sh

#自己的tez的解压目录
export TEZ_HOME=/opt/module/tez-0.9.2 
export TEZ_JARS=""
for jar in `ls $TEZ_HOME |grep jar`; do
export TEZ_JARS=$TEZ_JARS:$TEZ_HOME/$jar
done
for jar in `ls $TEZ_HOME/lib`; do
export TEZ_JARS=$TEZ_JARS:$TEZ_HOME/lib/$jar
done
export TEZ_JARS=${TEZ_JARS:1}
export HIVE_AUX_JARS_PATH=$TEZ_JARS

在hive-site.xml文件中修改hive的默认计算引擎为tez(也可在查询时通过参数hive.execution.engine指定)

[root@hadoop102 conf]$ vim hive-site.xml

<property>
    <name>hive.execution.engine</name>
    <value>tez</value>
</property>

关闭虚拟内存检查(或调大虚拟内存比例)
在yarn-site.xml文件中加入如下配置:

[root@hadoop102 hadoop]$ vim yarn-site.xml

<!--关闭虚拟内存检查-->
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

将修改过的yarn-site.xml文件分发到其它节点
#rsync-script是自己写的集群文件同步脚本

[root@hadoop102 hadoop]$ rsync-script ./yarn-site.xml

重启yarn(在RM所在节点使用群起/停脚本)

[root@hadoop103 hadoop-2.7.2]$ sbin/stop-yarn.sh
[root@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh

1.启动hive

[root@hadoop102 ~]$ hive

2.创建一张测试表

hive (default)> create table ods_user(id int,name string);

3.往测试表插入数据

insert into ods_user values(1,“xiaoming”);

4.验证数据是否插入成功

hive (default)> select * from ods_user;

插入数据时,出现下面的执行界面,说明使用的是tez引擎:
tez执行界面截图