前提,已经正确安装了hadoop和hive
1、版本选择
根据tez官网关于tez与Hadoop版本之间的关系,选择的这三个框架的版本分别如下
● Hadoop 2.6.0-cdh5.7.1
● Hive 2.1.0
● Tez-0.8.5
2、部署位置
Hive 2.1.0 和Tez-0.8.5均搭建在主节点上
3、安装步骤
①将apache-tez-0.8.5-bin.tar.gz上传到服务器,暂时放在一个文件夹下 ,这里放在/home下
②解压到指定文件下,这里放在/usr/local/ 下
tar -zvxf /home/apache-tez-0.8.5-bin.tar.gz -C /usr/local/
解压完成后,产生下面一个tez的一个解压文件,
可以自行将目录名称从apache-tez-0.8.5-src 改成 tez
mv apache-tez-0.8.5-src tez
③ 进入到/usr/local/tez/share 文件夹下
cd /usr/local/tez/share/
④ 在集群上新建一个tez文件夹,用于存放tez.tar.gz文件
hdfs dfs -mkdir /user/tez
⑤ 将tez.tar.gz 上传至集群tez文件夹下
share]$ hdfs dfs -put tez.tar.gz /user/tez/
⑥ 配置tez-site.xml
找到hadoop的配置文件目录(这里是/usr/local/hadoop/etc/hadoop)创建tez-site.xml配置文件并写入配置信息如下:
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<configuration>
<property>
<name>tez.lib.uris</name>
<value>${fs.defaultFS}/user/tez/tez.tar.gz</value>
</property>
</configuration>
⑦ 配置环境变量,进入~/.bash_profile(有些是在/etc/profile)文件中
[root@****01 ~]$ vi ~/.bash_profile
添加以下信息
export TEZ_CONF_DIR=/usr/local/hadoop/etc/hadoop
export TEZ_JARS=/usr/local/tez/*:/usr/local/tez/lib/*
export HADOOP_CLASSPATH=${TEZ_CONF_DIR}:${TEZ_JARS}:${HADOOP_CLASSPATH}
这里要根据自己的安装目录,做相应的变化,不要直接照抄,另外,如果复制我上面代码,最好结束之后cat一下,看有没有乱码产生,总之,要细心一点
⑧ source以下配置文件,使之生效
source ~/.bash_profile
⑨现在就可以启动hive 。
[root@*****01 ~]$ hive
⑩ 启动成功后,输入set hive.execution.engine=tez;此时就可以正常使用tez引擎了
hive默认引擎是mr,通过以上方式可以更改hive引擎。比如set hive.execution.engine=mr;或者set hive.execution.engine=spark;
也可以在hive的conf目录下修改hive-site.xml,添加以下信息
vi /usr/local/hive/conf/hive-site.xml
<property>
<name>hive.execution.engine</name>
<value>tez</value>
</property>