Hive on Tez

Hive2.3.4 on Tez0.8.4  (Hadoop 2.7.7)

一.软件版本选择

    Hive on Tez 和Hive on Spark 对各自的版本匹配非常严格。本次选定Hadoop版本为2.7.7、Hive版本为2.3.4。

查看Hive源码：https://github.com/apache/hive/blob/rel/release-2.3.4/pom.xml下的pom文件

可以看到Hive2.3.4对应的Tez版本为：

二.下载软件安装

本次记录Hive on Tez ，假定Hadoop2.7.7版本已经安装成功，

     未安装可见https://blog.csdn.net/Simon_09010817/article/details/79698891

Hive:http://hive.apache.org/downloads.html

Tez：http://tez.apache.org/releases/apache-tez-0-8-4.html

有二进制版本和源码版本可以选择，可直接下载编译好的二进制版本，也可以下载源码自己编译。

源码编译比较耗时，这里直接使用二进制版本，大约57M。

三.Hive安装

可参考https://blog.csdn.net/Simon_09010817/article/details/79728691

四.Tez安装

1.创建文件目录   

mkdir  -r /app/tez

 2.上传gz文件到服务器之后解压：

tar -zxvf apache-tez-0.8.4-bin.tar.gz

3.更改文件夹名称：

mv apache-tez-0.8.4-bin  tez-0.8.4

4.进入tez安装目录下的share目录：

5.在hdfs创建存储路径，将该gz文件上传至目录下

hdfs dfs -mkdir -p /apps/tez/tez-0.8.4

hdfs dfs -put tez.tar.gz /apps/tez/tez-0.8.4

6.查看50070端口

五：配置Tez

1.在hadoop配置文件夹($HADOOP_HOME/etc/hadoop/)中创建tez-site.xml

将如下配置拷贝到该文件中：

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
 <property>
  <name>tez.lib.uris</name>
  <value>hdfs://hadoop01:9000/apps/tez/tez-0.8.4/tez.tar.gz</value>
 </property>

 <property>
  <name>tez.container.max.java.heap.fraction</name>
  <value>0.2</value>
 </property>
</configuration>

2.配置环境变量

vi  /etc/profile

export TEZ_CONF_DIR=/app/hadoop/hadoop-2.7.7/etc/hadoop
export TEZ_JARS=/app/tez/tez-0.8.4/*:/app/tez/tez-0.8.4/lib/*

export HADOOP_CLASSPATH=$TEZ_CONF_DIR:$TEZ_JARS:$HADOOP_CLASSPATH

六、启动hive

查询hive表：