Hive2.X 整合执行引擎Tez （DAG）

最新推荐文章于 2024-08-01 08:58:44 发布

ho_ll_ow

最新推荐文章于 2024-08-01 08:58:44 发布

阅读量1.2k

点赞数

文章标签： hadoop hive Tez

本文链接：https://blog.csdn.net/ho_ll_ow/article/details/102510395

版权

本文介绍了如何在Hive2.X中整合Tez执行引擎，通过DAG优化查询性能。首先，解压并替换Tez的JAR包，然后配置环境变量，将Tez上传至HDFS，并创建tez-site.xml配置文件。在Hive shell中，可以动态切换执行引擎为Tez，执行查询任务后，在YARN的Web UI观察任务执行情况。实验结果显示，Tez相比MR在有迭代计算的任务中表现出显著的效率提升。

摘要由CSDN通过智能技术生成

Hive2.X 整合执行引擎Tez （DAG）

解压压缩包：
tar -zxvf apache-tez-0.9.2-bin.tar.gz
重命名：
mv apache-tez-0.9.2-bin tez

替换tez里的两个jar包
在这里插入图片描述
如上图，将/opt/mysoft/hadoop/share/hadoop/mapreduce 里的覆盖掉tez/lib里的对应JAR包。

配置环境变量：
vi /etc/profile
在这里插入图片描述
将tez.tar.gz上传到HDFS上:
创建：hdfs dfs -mkdir /mytez
上传：hdfs dfs -put /opt/mysoft/tez/share/tez.tar.gz /mytez
赋权：hdfs dfs -chmod 777 /mytez