Hive 集成引擎 Tez

最新推荐文章于 2025-01-02 15:01:14 发布

原创

最新推荐文章于 2025-01-02 15:01:14 发布 · 872 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #hive

本文档详述了如何在Hadoop集群上配置Hive以使用Tez执行引擎，包括下载和安装Tez、配置Hive的tez-site.xml和hive-env.sh文件，以及解决可能遇到的内存限制问题。测试步骤中创建表并插入数据，成功运行Hive查询。注意事项提到当Container使用过多内存时，NodeManager会杀死进程，解决办法是关闭虚拟内存检查或调整内存设置。

文章目录

安装包准备
集成 Tez
测试
注意事项

安装包准备

1）下载 tez 的依赖包：http://tez.apache.org

2）拷贝 apache-tez-0.9.1-bin.tar.gz 到 Bigdata00 的/opt/software 目录

[luanhao@Bigdata00 software]$ ls apache-tez-0.9.1-bin.tar.gz

3）解压缩 apache-tez-0.9.1-bin.tar.gz

[luanhao@Bigdata00 software]$ tar -zxvf apache-tez-0.9.1-bin.tar.gz -C /opt/module

4）修改名称

[luanhao@Bigdata00 module]$ mv apache-tez-0.9.1-bin/ tez-0.9.1

5）将 tez-0.9.1 上传到 HDFS 的 /tez 目录下。

[luanhao@Bigdata00 module]$ hadoop fs -mkdir /tez
[luanhao@Bigdata00 module]$ hadoop fs -put /opt/module/ tez-0.9.1/ /tez

集成 Tez

1）进入到 Hive 的配置目录：/opt/module/hive/conf

[luanhao@Bigdata00 software]$ pwd /opt/module/hive/conf

2）在 Hive 的/opt/module/hive/conf 下面创建一个 tez-site.xml 文件

[luanhao@Bigdata00 conf]$ pwd 
/opt/module/hive/conf 
[luanhao@Bigdata00 conf]$ vim tez-site.xml

添加如下内容

<?xml version="1.0" encoding="UTF-8"?> 
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
<configuration> 
<!--#配置 Tez 中使用的 uris 的 jar 包路径--> 
<property> 
	<name>tez.lib.uris</name> 
	<val