Hive 2.x集成Tez0.9.0引擎指南(Hive-on-Tez)

最新推荐文章于 2024-10-14 16:20:38 发布

gobitan

最新推荐文章于 2024-10-14 16:20:38 发布

阅读量3.9k

点赞数 1

分类专栏： 5. 大数据文章标签： Hive Tez Hive-On-Tez 配置

本文链接：https://blog.csdn.net/gobitan/article/details/85109644

版权

5. 大数据专栏收录该内容

43 篇文章 1 订阅

订阅专栏

Hive 2.x集成Tez0.9.0引擎指南(Hive-on-Tez)

作者：家辉日期：2018年12月19日 CSDN博客：https://blog.csdn.net/gobitan

Hive为什么集成Tez

Tez版本选择

Tez版本下载

Tez编译

Tez安装

配置tez-site.xml

环境变量配置/etc/profile

解决Hadoop版本兼容性问题

启动Hive执行

测试数据准备

Hive-on-MR与Hive-on-Tez性能对比

Hive日志

常见错误及解决办法

参考资料

Hive为什么要集成Tez？

Hive默认的执行引擎为MapReduce，此外它还支持Apache Tez™, Apache Spark™。

Tez是一个构建于YARN之上的支持复杂的DAG任务的数据处理框架。它由Hontonworks开源，它把mapreduce的过程拆分成若干个子过程，同时可以把多个mapreduce任务组合成一个较大的DAG任务，减少了mapreduce之间的文件存储，同时合理组合其子过程从而大幅提升MapReduce作业的性能。

MapReduce：离线计算

Spark：内存计算

Storm：流式计算

Tez：YARN之上支持DAG作业的计算框架

Tez版本选择

根据tez官网关于tez与Hadoop版本之间的关系，Hadoop2.7.3可以使用Tez0.9.0这个版本。三个框架的版本如下：

Hadoop 2.7.3

Hive 2.1.1

Tez 0.9.0

参考：http://tez.apache.org/install.html

Tez版本下载

http://tez.apache.org/releases/apache-tez-0-9-0.html，有二进制版本和源码版本可以选择，分别为 apache-tez-0.9.0-bin.tar.gz和apache-tez-0.9.0-src.tar.gz。可直接下载编译好的二进制版本，也可以下载源码自己编译。

源码编译比较耗时，这里直接使用二进制版本，大约58M。

编译Tez

这里采用二进制版本，因此无需编译，略

Tez安装

前提：集群已启动，将apache-tez-0.9.0-bin.tar.gz上传到服务器。

[root@hadoop01 ~]# cd /opt/

[root@hadoop01 opt]# tar zxf ~/apache-tez-0.9.0-bin.tar.gz

[root@hadoop01 opt]# mv apache-tez-0.9.0-bin/ tez-0.9.0

[root@hadoop01 ~]# hdfs dfs -mkdir -p /apps/tez-0.9.0

[root@hadoop01 ~]# cd /opt/tez-0.9.0/

[root@hadoop01 tez-0.9.0]# hdfs dfs -put share/tez.tar.gz /apps/tez-0.9.0

配置tez-site.xml

在hadoop的配置文件目录下创建tez-site.xml配置文件，如下：

[root@hadoop01 ~]# cd /opt/hadoop-2.7.3/etc/hadoop/

[root@hadoop01 hadoop]# vi tez-site.xml

<?xml version="1.0" encoding="UTF-8"?>

<value>${fs.defaultFS}/apps/tez-0.9.0/tez.tar.gz</value>

</property>

<name>tez.container.max.java.heap.fraction</name>

</property>

</configuration>

参考：/opt/tez-0.9.0/conf/tez-default-template.xml

环境变量配置/etc/profile

追加如下部分：

export TEZ_CONF_DIR=$HADOOP_CONF_DIR

export TEZ_JARS=/opt/tez-0.9.0/*:/opt/tez-0.9.0/lib/*

export HADOOP_CLASSPATH=$TEZ_CONF_DIR:$TEZ_JARS:$HADOOP_CLASSPATH

执行"source /etc/profile"让环境变量生效。

解决Hadoop版本兼容性问题

[root@hadoop01 ~]# cd /opt/tez-0.9.0/lib

[root@hadoop01 lib]# rm -rf hadoop-mapreduce-client-core-2.7.0.jar hadoop-mapreduce-client-common-2.7.0.jar

[root@hadoop01 lib]# cp /opt/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.7.3.jar /opt/tez-0.9.0/lib/

[root@hadoop01 lib]# cp /opt/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-client-common-2.7.3.jar /opt/tez-0.9.0/lib/

启动Hive执行

[root@hadoop01 ~]# hive

SET hive.execution.engine=tez;

测试数据准备

CREATE TABLE user_info(user_id BIGINT, firstname STRING, lastname STRING, country STRING);

insert into user_info values(1, 'Dennis', 'Hu', 'CN'),(2, 'Mike', 'Lu','USA'),(3, 'Json', 'Lv', 'JPN'),(4, 'Terry', 'Tang', 'CN'),(5, 'Avril', 'Dong', 'CN'),(6, 'Colin', 'Liu', 'CN'),(7, 'Carl', 'Mo', 'CN'),(8, 'Mike', 'Zhao', 'CN'),(9, 'Nancy', 'Xu', 'CN'),(10, 'Jady', 'Gao', 'CN'),(11, 'Jack', 'Ma', 'USA'),(12, 'David', 'Yang', 'USA');

CREATE TABLE user_info_bucketed(user_id BIGINT, firstname STRING, lastname STRING)

COMMENT 'A bucketed copy of user_info'

PARTITIONED BY(country STRING)

CLUSTERED BY(user_id) INTO 3 BUCKETS;

INSERT OVERWRITE TABLE user_info_bucketed

PARTITION (country='CN')

SELECT user_id, firstname, lastname FROM user_info

WHERE country='CN';

Hive-on-MR与Hive-on-Tez性能对比

Tez

第一次：48s

第二次：20s