HIVE-TEZ引擎配置安装

最新推荐文章于 2024-06-20 19:44:08 发布
最新推荐文章于 2024-06-20 19:44:08 发布
阅读量1.3k 收藏 6
点赞数
分类专栏： Hive学习 文章标签： hive hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32648939/article/details/125864711
版权

HIVE-TEZ引擎配置安装

基础环境准备

由于该文章主要关注TEZ引擎的安装，相关组件均只说明版本信息，配置TEZ过程中的部分组件还是会解释清楚的哈

组件版本下边有没？备注
JDK1.8.0_322无基础环境，无需多言
MAVEN3.8.6无编译TEZ等使用
GIT2.33.0无编译TEZ等使用
HADOOP3.1.0无HIVE安装的基础，无需多言
HIVE3.1.2无弄TEZ干啥，还不是为了他
PROTOBUF2.5.0有protobuf-2.5.0下载
LZO2.10有LZO-2.10下载&LZO-源码下载
TEZ0.10.1有TEZ-源码下载

参考安装流程

还是一样！感谢各位大神在互联网上的种种分享！

  1. 官方文档
  2. 非常详细有用的安装过程-1！
  3. 非常详细有用的安装过程-2！

1. TEZ环境准备

注：本想重新再装一次，后来发现时间不够了，就用了昨天安装好的，所以例图色调不太一样，另外，我把大致的路径都放出来了，之前看到的一些文章路径描述不清，导致安装软件过程中总是在想我是谁！？！我在哪？！？我在做什么？！？

1. 编译工具

为避免在安装过程中因为编译工具报错，如在编译安装protobuf时下二图，我们预先安装一些编译工具

### 安装编译工具

yum -y install autoconf automake libtool cmake ncurses-devel openssl-devel lzo-devel zlib-devel gcc gcc-c++

错误1
错误2

2. HADOOP

在这里插入图片描述

根据官网所属，我们如果安装TEZ版本0.8.3和更高版本，TEZ需要使用的Apache Hadoop版本为2.6.0或更高版本。对于Tez版本0.9.0和更高版本，Tez需要的Apache Hadoop版本为2.7.0或更高版本。
我这里使用的是HADOOP3.1.0，可以根据上述查看自己的版本是否匹配哈

3. PROTOBUF

ProtoBuf（protocol buffers）是一种灵活、高效、自动化机制、语言无关、平台无关、可扩展的序列化结构数据的方法－可类比 XML，但是比 XML 更小、更快、更为简单。可用于（数据）通信协议、数据存储等。
在TEZ编译过程中如果使用的不是2.5.0版本的protobuf则会报错停止MVN编译，为了避免在本就冗长的MVN编译过程中停止重来，预先安装哈
链接:
protobuf-2.5.0下载路径

安装流程
wget https://github.com/google/protobuf/releases/download/v2.5.0/protobuf-2.5.0.tar.gz

tar -zxvf protobuf-2.5.0.tar.gz

cd protobuf-2.5.0

ll
# 目录结构如下
# -rw-r--r--  1 109965 5000  36976 Feb 27  2013 aclocal.m4
# -rwxr-xr--  1 109965 5000   1519 Feb 27  2013 autogen.sh
# -rw-r--r--  1 109965 5000  25312 Feb 27  2013 CHANGES.txt
# -rwxr-xr--  1 109965 5000  44826 Feb 27  2013 config.guess
# -rw-r--r--  1 109965 5000   3709 Feb 27  2013 config.h.in
# -rwxr-xr--  1 109965 5000  35454 Feb 27  2013 config.sub
# -rwxr-xr--  1 109965 5000 599150 Feb 27  2013 configure
# -rw-r--r--  1 109965 5000   4829 Feb 27  2013 configure.ac
# -rw-r--r--  1 109965 5000   3527 Feb 27  2013 CONTRIBUTORS.txt
# -rw-r--r--  1 109965 5000   1732 Feb 27  2013 COPYING.txt
# -rwxr-xr--  1 109965 5000  20334 Feb 27  2013 depcomp
# drwxr-xr-x  2 109965 5000   4096 Feb 27  2013 editors
# drwxr-xr-x  2 109965 5000   4096 Feb 27  2013 examples
# -rwxr-xr--  1 109965 5000   1105 Feb 27  2013 generate_descriptor_proto.sh
# drwxr-xr-x 15 109965 5000   4096 Feb 27  2013 gtest
# -rwxr-xr--  1 109965 5000  13998 Feb 27  2013 install-sh
# -rw-r--r--  1 109965 5000   9537 Feb 27  2013 INSTALL.txt
# drwxr-xr-x  3 109965 5000   4096 Feb 27  2013 java
# -rw-r--r--  1 109965 5000 283680 Feb 27  2013 ltmain.sh
# drwxr-xr-x  2 109965 5000   4096 Feb 27  2013 m4
# -rw-r--r--  1 109965 5000  15189 Feb 27  2013 Makefile.am
# -rw-r--r--  1 109965 5000  41742 Feb 27  2013 Makefile.in
# -rwxr-xr--  1 109965 5000  10346 Feb 27  2013 missing
# -rw-r--r--  1 109965 5000    408 Feb 27  2013 protobuf-lite.pc.in
# -rw-r--r--  1 109965 5000    429 Feb 27  2013 protobuf.pc.in
# drwxr-xr-x  3 109965 5000   4096 Feb 27  2013 python
# -rw-r--r--  1 109965 5000   5312 Feb 27  2013 README.txt
# drwxr-xr-x  4 109965 5000   4096 Feb 27  2013 src
# drwxr-xr-x  2 109965 5000   4096 Feb 27  2013 vsprojects

./autogen.sh
# 结果如下图一

./configure

make install

protoc --version
#libprotoc 2.5.0

图一 autogen结果

4. LZO

由于在LZO的安装包中依赖HADOOP的对应版本，故直接下载LZO编译好的安装包可能会有不适配的问题导致报错，所以下载LZO源码包我们自己编译
链接:
LZO-2.10下载路径
LZO-源码下载路径

安装流程
#LZO插件部分

wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.10.tar.gz

tar -zxvf lzo-2.10.tar.gz

cd lzo-2.10/

./configure -prefix=/usr/local/lzo/

make

make install

#LZO源码部分（我没wget下来，sftp传到服务器上的）

unzip hadoop-lzo-master.zip

cd hadoop-lzo-master

vim pom.xml
#变更hadoop.current.version为自己的HADOOP版本号

#创建临时环境变量
export C_INCLUDE_PATH=/usr/local/lzo/include
export LIBRARY_PATH=/usr/local/lzo/lib

mvn package -Dmaven.test.skip=true

cd target

#将target中打好包的snapshot放在hadoop的对应位置下
cp /opt/software/install_packages/hadoop-lzo-master/target/hadoop-lzo-0.4.21-SNAPSHOT.jar /opt/software/hadoop3.1.0/share/hadoop/common/

在这里插入图片描述

5. TEZ

TEZ相关项目如上所述，最好针对不同版本的HADOOP重新进行编译，避免TEZ配置后HADOOP或HIVE无法正常启动等问题
链接:
TEZ-源码下载路径

安装流程
wget https://mirrors.bfsu.edu.cn/apache/tez/0.10.1/apache-tez-0.10.1-src.tar.gz

tar -zxvf apache-tez-0.10.1-src.tar.gz

cd apache-tez-0.10.1-src/

vim pom.xml
#变更hadoop.current.version为自己的HADOOP版本号
#可以选择在编译的module中把tez-ui去掉，我这个模块编译失败了。。。

#正式开始编译
#接下来就是极长时间的编译过程
#过程中如有问题可以遇问题杀问题，我在这一整套下来编译时就没啥问题了
mvn clean package -DskipTests=true -Dmaven.javadoc.skip=true

#编译完成！
cd tez-dist/

cd target/

#需要用到这个路径上传和放置文件
pwd
#/opt/software/install_packages/apache-tez-0.10.1-src/tez-dist/target/tez-0.10.1-minimal.tar.gz

cp /opt/software/install_packages/apache-tez-0.10.1-src/tez-dist/target/tez-0.10.1-minimal.tar.gz /opt/software/tez0.10.1

tar -zxvf tez-0.10.1-minimal.tar.gz

hadoop fs -mkdir /tez

hadoop fs -put /opt/software/install_packages/apache-tez-0.10.1-src/tez-dist/target/tez-0.10.1.tar.gz /tez

#基本准备的差不多了，接下来就是各种环境配置了

在这里插入图片描述
在这里插入图片描述

2. TEZ配置

1. HADOOP

tez-site.xml

在HADOOP安装目录下的$HADOOP_HOME/etc/hadoop/中新建tez-site.xml文件，如果是集群，记得同步

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- The location of the Tez libraries which will be localized for DAGs -->
    <!-- 就是之前上传到HDFS的TEZ函数库 -->
    <property>
        <name>tez.lib.uris</name>
        <value>${fs.defaultFS}/tez/tez-0.10.1.tar.gz</value>
    </property>
    <!-- Tez容器内最大Java堆内存占比（0~1或-1），设细d防止爆内存 -->
    <property>
        <name>tez.container.max.java.heap.fraction</name>
        <value>0.5</value>
    </property>
    <property>
         <name>tez.use.cluster.hadoop-libs</name>
         <value>true</value>
    </property>
    <property>
         <name>tez.history.logging.service.class</name>
         <value>org.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService</value>
    </property>
    <property>
         <name>tez.am.resource.memory.mb</name>
         <value>1024</value>
    </property>
    <property>
         <name>tez.am.resource.cpu.vcores</name>
         <value>1</value>
    </property>
    <property>
         <name>tez.task.resource.memory.mb</name>
         <value>1024</value>
    </property>
    <property>
         <name>tez.task.resource.cpu.vcores</name>
         <value>1</value>
    </property>
</configuration>
tez.sh

在$HADOOP_HOME/etc/hadoop/shellprofile.d中存在配置文件example.sh，可以直接使用该配置文件，也可以重新创建tez.sh的配置文件

<!-- 省略上述原始内容 -->
hadoop_add_profile tez
function _tez_hadoop_classpath
{
    hadoop_add_classpath "$HADOOP_HOME/etc/hadoop" after
    hadoop_add_classpath "/opt/software/tez0.10.1/*" after
    hadoop_add_classpath "/opt/software/tez0.10.1/lib/*" after
}

2. HIVE

hive-site.xml
<!-- 省略上述原始内容 -->
        <property>
                <name>hive.execution.engine</name>
                <value>tez</value>
        </property>
hive-env.sh
<!-- 省略上述原始内容 -->
export TEZ_HOME=/opt/software/tez0.10.1    #是你的tez的解压目录
export TEZ_JARS=""
#读取到tez下的jar包
for jar in `ls $TEZ_HOME |grep jar`; do
    export TEZ_JARS=$TEZ_JARS:$TEZ_HOME/$jar
done
for jar in `ls $TEZ_HOME/lib`; do
    export TEZ_JARS=$TEZ_JARS:$TEZ_HOME/lib/$jar
done
# 配置支持lzo压缩
#export HIVE_AUX_JARS_PATH=/opt/module/hadoop/share/hadoop/common/hadoop-lzo-0.4.20.jar$TEZ_JARS
export HIVE_AUX_JARS_PATH=/opt/software/hadoop3.1.0/share/hadoop/common/hadoop-lzo-0.4.21-SNAPSHOT.jar$TEZ_JARS
日志JAR包冲突
mv /opt/software/tez0.10.1/lib/slf4j-log4j12-1.7.30.jar /opt/software/tez0.10.1/lib/slf4j-log4j12-1.7.30.jar.back

END!

无语梦醒
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Tez - 安装
BlessingXRY的博客
09-21 1330
一、Tez 安装 1 下载地址 https://mirrors.tuna.tsinghua.edu.cn/apache/tez/0.9.0/ 2 二进制包安装 2.1 解压并重命名 [root@hadoop01 ~]# tar -zxvf /home/apache-tez-0.9.0-bin.tar.gz -C /usr/local/ [root@hadoop01 ~]# mv /usr/l...
Hadoop 3.3.6 + Tez 0.10.3 + Hive 4.0.0 安装指南
空影星辉的博客
05-18 1005
根据 Hive 官方发布说明，Hive 4.0.0 兼容 Hadoop 3.3.6 和 Tez 0.10.3，尝试搭建了一套单节点的环境用于学习。
hive-3.1.3（hive-3.0.0） on tez-0.10.2 详细操作步骤（附编译好的安装包）
2301_77356579的博客
04-15 1567
hive-3.1.3（hive-3.0.0） on tez-0.10.2 详细操作步骤（附编译好的安装包）
Hive怎么调整优化Tez引擎的查询？在Tez上优化Hive查询的指南
最新发布
编程代码，数据学习开发的日常总结。欢迎关注VX公众号：张飞的猪
06-20 1221
在Tez上优化Hive查询无法采用一刀切的方法。查询性能取决于数据的大小、文件类型、查询设计和查询模式。在性能测试过程中，应评估和验证配置参数及任何SQL修改。建议在工作负载的性能测试过程中一次只进行一项更改，并最好在开发环境中评估调优更改的影响，然后再在生产环境中使用。
安装Tez引擎
weixin_43558205的博客
01-30 433
Hive安装部署 一、Hive安装及配置 ❗️由于我打不出$符号在线面，统一用「」代替 ❗️附件包在本文最下方 把apache-hive-3.1.2-bin.tar.gz上传到linux的/opt/software目录下 解压apache-hive-3.1.2-bin.tar.gz到/opt/module/目录下面 tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt/module/ 修改apache-hive-3.1.2-bin.tar.gz的名称.
Hive2安装Tez计算引擎
weixin_38620636的博客
04-27 772
ApacheTEZ®项目旨在构建一个应用程序框架，该框架允许使用复杂的有向无环图来处理数据。它当前构建在Apache Hadoop YARN之上。Tez的2个主要设计主题是：通过以下方式增强最终用户的能力：富有表现力的数据流定义API灵活的输入-处理器-输出运行时模型不可知数据类型简化部署执行性能与Map Reduce相比性能提升最佳资源管理在运行时计划重新配置动态物理数据流决策。
Hive安装 Tez 引擎
扛麻袋的少年的博客
06-11 1870
十一、Hive安装 Tez 引擎
Hive的安装及集成Tez为执行引擎
cc__cc___的博客
11-29 1905
主要是yarn.nodemanager.vmem-check-enabled以及yarn.nodemanager.pmem-check-enabled这两项配置。切换Tez执行引擎后，hive启动以及HQL执行的日志较多，可参考前面第11步，将日志打印级别设为WARN或者ERROR。Tez介绍：https://www.infoq.cn/article/apache-tez-saha-murthy。3、hive.cli.tez.session.async：是否异步启动Tez会话，默认为true。
cdh继承tez引擎 cdh添加tez引擎 hive引擎增加
07-07
在CDH环境中集成Tez引擎以提升Hive的性能，主要涉及以下几个关键步骤和知识点： 1. **Hadoop版本匹配**： CDH版本需要与Tez版本相匹配。在这个例子中，CDH版本是6.2.0，而Tez版本是0.9.1。确保使用兼容的Hadoop...
apache-tez-0.8.5-bin.tar.gz
08-17
1. **安装与配置**：首先需要解压"apache-tez-0.8.5-bin"，并将Tez的库文件添加到Hadoop的类路径中。还需要在Hadoop的配置文件中启用Tez，并设置相关参数。 2. **DAG设计**：理解DAG的概念至关重要，因为它是Tez...
apache-hive-2.1.0-bin.tar.zip
05-04
2. **Tez Execution Engine**：Hive默认的执行引擎，提供更高效的数据处理能力，比MapReduce更快。 3. **Hive SerDes (Serializers/Deserializers)**：用于序列化和反序列化数据的组件，2.1.0版本可能包含了更多优化...
Hive_1.2.1_Tez_0.9.1安装包.rar
02-11
资源中包含了Hive1.2.1和Tez0.9.1安装包，安装配置说明可参考我的博客，如果安装过程中遇到问题可与我联系解决。
apache-hive-2.3.9-bin.tar大数据HIVE.zip
10-08
8. **Hive on Tez/Spark**：Hive 2.3.9 版本中，用户可以选择使用Tez或Spark作为执行引擎，以提高查询性能，尤其是对于交互式查询。 9. **ACID特性**：从Hive 2.0开始，Hive支持事务（Transactions）、原子性...
apache-hive-2.3.3-bin.tar.gz
04-02
7. **Hive Execution Engine**：负责将HQL转换为MapReduce任务或Tez任务（在Hive 2.x版本中，默认执行引擎是Tez，它提供了比MapReduce更高的性能）。 8. **Hive Web UI**：提供一个Web界面，用于监控Hive服务器的...
九、Hive--Tez安装
风子的博客
05-26 245
28 rows selected (33.484 seconds) 0: jdbc:hive2://hadoop202:10000> select * from emp order by sal desc; Time taken: 15.572 seconds, Fetched: 28 row(s) Caused by: java.lang.ClassNotFoundException: org.apache.tez.dag.api.SessionNotRunning Caused by:
Hive 安装 Tez
记录点点滴滴
03-16 610
Hive 安装 Tez将tez安装包拷贝到集群解压tar包解决日志 Jar 包冲突上传tez依赖到HDFS新建tez-site.xml修改Hadoop环境变量修改 Hive 的计算引擎启动 Hive 将tez安装包拷贝到集群 mkdir /opt/module/tez-0.10.1 解压tar包 tar -zxvf /opt/software/tez-0.10.1-SNAPSHOT-minimal.tar.gz -C /opt/module/tez-0.10.1 解决日志 Jar 包冲突 rm sl
Hive的Tez引擎安装与使用
sinat_30760385的博客
04-24 1337
Hive的Tez引擎安装与使用 #Tez引擎介绍 #Tez引擎jar包 #在hive中配置Tez #上传Tez到hadoop集群 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法...
Hive配置Tez引擎
SmallScorpion
03-14 1018
1. 解压hive 2. 导入mysql驱动包 前提是mysql已经安装完成了 3. 编写配置文件 <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <nam...
计算引擎Tez安装
m0_37135879的博客
01-02 1761
1.解压压缩包 tar -zxvf apache-tez-0.9.2-bin.tar.gz 2.将tez路径下的压缩包放到hdfs上 /opt/lagou/servers/tez/share/tez.tar.gz hdfs dfs -mkdir /user/tez hdfs dfs -put tez.tar.gz /user/tez/ 3.配置hadoop让其他地方知道该路径 该路径下新建配置文件tez-site.xml /opt/lagou/servers/hadoop-2.10.1/etc/had
hive-site。xml配置文件
07-08
`hive-site.xml`是Apache Hive的配置文件之一，用于配置Hive的运行时参数和属性。它位于Hive安装目录下的`conf`文件夹中。 `hive-site.xml`中包含了一些重要的配置参数，以下是一些常见的配置项： 1. 数据库连接配置： - `javax.jdo.option.ConnectionURL`: 数据库连接URL。 - `javax.jdo.option.ConnectionDriverName`: 数据库驱动程序名称。 - `javax.jdo.option.ConnectionUserName`: 数据库用户名。 - `javax.jdo.option.ConnectionPassword`: 数据库密码。 2. Hadoop配置： - `hive.metastore.uris`: Hive元数据存储的URI。 - `hive.exec.scratchdir`: Hive执行过程中的临时目录。 - `hive.querylog.location`: Hive查询日志的存储位置。 3. 权限和安全配置： - `hive.security.authorization.enabled`: 是否启用Hive的授权功能。 - `hive.security.authorization.manager`: 授权管理器类名。 - `hive.security.metastore.authorization.manager`: 元数据授权管理器类名。 4. 资源管理配置： - `hive.execution.engine`: Hive执行引擎（如MR、Tez）。 - `hive.tez.container.size`: Tez容器的内存大小。 这些只是一小部分可能出现在`hive-site.xml`中的配置项，具体取决于你的Hive版本和需求。你可以根据需要在`hive-site.xml`中添加、修改或删除这些配置项来定制Hive的行为和性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

无语梦醒

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值