Tez的简介以及安装配置

最新推荐文章于 2024-10-01 23:58:04 发布

hailunw

最新推荐文章于 2024-10-01 23:58:04 发布

阅读量1.8k

点赞数

分类专栏： # 数据仓库理论 # 大数据存储文章标签： hive hdfs mapreduce 大数据数据仓库

本文链接：https://blog.csdn.net/hailunw/article/details/118540120

版权

本文介绍了Tez作为Hive的高性能运行引擎，其通过避免中间存盘提高计算效率，将多个依赖作业整合为单个作业。详细讲述了Tez的安装步骤，包括在Hive中配置Tez，修改相关配置文件并将Tez安装包部署到HDFS。

摘要由CSDN通过智能技术生成

Tez简介

Tez是一个Hive的运行引擎，由于没有中间存盘的过程，性能优于MR。Tez可以将多个依赖作业转换成一个作业，这样只需要写一次HDFS，中间节点少，提高作业的计算性能。

Tez的安装步骤

1)下载安装包到hive所在的66服务器，然后解压缩。

wget https://mirrors.bfsu.edu.cn/apache/tez/0.10.0/apache-tez-0.10.0-bin.tar.gz
tar -xzvf apache-tez-0.10.0-bin.tar.gz

2）在HIVE中配置tez

2.1）修改hive-env.sh文件，添加如下配置,然后将tez的jar复制到hive 的lib目录下

[user@NewBieMaster conf]$ cat hive-env.sh

。。。。。。
export TEZ_HOME=/home/user/apache-tez    #tez解压目录
export TEZ_JARS=""
for jar in `ls $TEZ_HOME |grep jar`; do
    export TEZ_JARS=$TEZ_JARS:$TEZ_HOME/$jar
done
for jar in `ls $TEZ_HOME/lib`; do
    export TEZ_JARS=$TEZ_JARS:$TEZ_HOME/lib/$jar
done
export HIVE_AUX_JARS_PATH=/home/user/hadoop-3.2.2/share/hadoop/common/hadoop-lzo-0.4.21-SNAPSHOT.jar$TEZ_JARS
[user@NewBieSlave1 conf]$ 

[user@NewBieMaster apache-tez]$ cp -ri /home/user/apache-tez/*.jar /home/user/apache-hive/lib/
[user@NewBieMaster apache-tez]$ cp -ri /home/user/apache-tez/lib/*.jar /home/user/apache-hive/lib/

2.2）修改