将Hive的执行引擎更换为Tez

最新推荐文章于 2024-08-20 14:37:22 发布

enoughgood

最新推荐文章于 2024-08-20 14:37:22 发布

阅读量1.7k

点赞数

分类专栏：随笔文章标签： hive 大数据

本文链接：https://blog.csdn.net/enoughgood/article/details/109313914

版权

本文档详细介绍了如何在集群环境中将Hive的执行引擎从默认的MapReduce更换为Tez。首先，确认集群环境，包括CentOS、JDK、Hadoop和Hive的版本。然后，按照操作步骤进行：下载并解压Tez安装包，上传到HDFS，修改Hive和YARN的配置文件，设置Hive默认计算引擎为Tez，并关闭虚拟内存检查。最后，通过插入数据验证Tez引擎已成功启用。

摘要由CSDN通过智能技术生成

1.1 集群环境

CentOS7.x
JDK1.8
hadoop2.7.2
hive2.3.7
tez-0.9.2
hiveserver2,metastore和tez都安装在hadoop102上

1.2 操作步骤

1.2.1 下载并解压Tez安装包

下载地址

https://mirrors.bfsu.edu.cn/apache/tez/0.9.2/

解压

#HiveServer2在哪个节点就解压到哪个节点
[root@hadoop102 software]$ tar -zvxf apache-tez-0.9.2-bin.tar.gz -C /opt/module/
#对安装目录进行重命名(可选)
[root@hadoop102 module]$ mv apache-tez-0.9.2-bin/ tez-0.9.2/

1.2.2 将tez安装包上传到hdfs

为了使集群中的各个节点都能够使用Tez引擎进行计算,将下载好的tez安装包上次至HDFS

在HDFS创建/tez目录(目录自己任意指定)

[root@hadoop102 software]$ hdfs dfs -mkdir /tez

上传tez二进制包到HDFS

[root@hadoop102 software]$ hdfs dfs -put ./apache-tez-0.9.2-bin.tar.gz /tez

1.2.3 修改配置文件

进入$HIVE_HOME/conf目录,在该目录下创建一个tez-site.xml文件,并添加如下内容:

[root@hadoop102 conf]$ vim  tez-site.xml
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet typ

最低0.47元/天解锁文章