Hive On Tez

最新推荐文章于 2024-05-19 15:04:31 发布
置顶 最新推荐文章于 2024-05-19 15:04:31 发布
阅读量454 收藏
点赞数
文章标签： hadoop hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43920040/article/details/104926662
版权
本文介绍了如何在不干扰集群中其他组件（如sqoop）的情况下，仅针对Hive部署Tez。详细步骤包括选择合适的Hadoop和Tez版本，下载安装Tez，配置Hive的Tez环境变量和tez-site.xml，将Tez上传到HDFS，并更改Hive默认执行引擎为Tez。完成这些步骤并进行测试，确保一切正常运行。
摘要由CSDN通过智能技术生成

官方的部署方式是全局的部署，会影响到集群中其他的一些组件的使用
经过各种尝试并做了一些配置修改，以下部署方式只用于hive不影响集群其他的MapReduce的使用，因为我这边的架构体系中有用到sqoop,全局设置为tez会影响到sqoop的运行，还要给sqoop做配置更改，此布置方式不影响其他组件的正常使用
站在巨人的肩膀，离天空更进一步

组件版本介绍
Hadoop：2.7.2
Hive：2.3.6
Tez:0.9.2
官方版本建议：对于0.8.3和更高版本的Tez，Tez需要Apache Hadoop的版本为2.6.0或更高。对于0.9.0及更高版本的Tez，Tez需要Apache Hadoop为2.7.0或更高版本。

部署tez

  1. 下载tez-0.9.2；
    tez-0.9.2安装包下载
    直接下载二进制，省去源码编译麻烦
    apache-tez-0.9.2-bin.tar.gz
  2. 解压并修改名称
[os@os1 soft]$ tar -zxvf apache-tez-0.9.2-bin.tar.gz –C  ../app
[os@os1 app]$ mv apache-tez-0.9.2-bin/  tez-0.9.2
[os@os1 app]$ cd tez-0.9.2/
[os@os1 tez-0.9.2]$ pwd
/opt/app/tez-0.9.2
  1. hive配置Tez
    修改hive-env.sh
    tez环境变量配置和依赖包环境变量配置
    增加以下配置
[os
最低0.47元/天 解锁文章
清风漾
关注
Hive on Tez
一名假的程序猿
08-13 2767
参考 http://tez.apache.org/install.html https://cwiki.apache.org/confluence/display/Hive/Hive+on+Tez https://cwiki.apache.org/confluence/display/Hive/Hive-Tez+Compatibility https://github.com/apache...
[Hive]四、Hive On Tez
最新发布
weixin_44428807的博客
08-26 1058
用Hive直接编写MR程序，假设有四个有依赖关系的MR作业，上图中，绿色是Reduce Task，云状表示写屏蔽，需要将中间结果持久化写到HDFS。2）拷贝apache-tez-0.9.1-bin.tar.gz到hadoop102的/opt/software目录。Tez可以将多个有依赖的作业转换为一个作业，这样只需写一次HDFS，且中间节点较少，从而大大提升作业的计算性能。3）将apache-tez-0.9.1-bin.tar.gz上传到HDFS的/tez目录下。下面创建一个tez-site.xml文件。
hive on tez
weixin_42073629的博客
11-01 844
Tez说明 将xyz替换为您正在使用的tez发行版号。例如0.5.0。对于Tez版本0.8.3和更高版本，Tez需要Apache Hadoop版本为2.6.0或更高版本。对于Tez版本0.9.0及更高版本，Tez需要Apache Hadoop版本为2.7.0或更高版本。 关于版本 1.Hadoop 2.7.0+（我的是2.7.1） 2.Tez还需要Protocol Buffers 2.5.0，包括protoc编译器。(如果你下载的是apache-tez-0.9.0-src.tar.gz包则需要编译，需
hive on tez 常见报错问题收集
01-26
这里我们将深入探讨五个在Hive on Tez中常见的报错问题及其解决方案。 1. 错误一：Failing because I am unlikely to write too。 这个问题是由于Hive中的一个已知bug，具体问题可以在Apache JIRA的HIVE-16398中...
Hive on Tez 性能优化
m0_46237405的博客
05-19 1242
Hive on Tez 性能优化 优化Hive on Tez查询永远不能以一种万能的方法来完成。查询的性能取决于数据的大小、文件类型、查询设计和查询模式。在性能测试期间，要评估和验证配置参数和任何SQL修改。建议在工作负载的性能测试期间一次进行一项更改，并且最好在生产环境中使用它们之前评估调整更改在您的开发和测试环境中的影响。
Hive on Tez配置过程
m0_45847655的博客
08-25 820
此时的hive已经配置完成，可以使用mapreduce引擎进行操作，前提是集群的hdfs,yarn开启，并且启动hive前，要先启动metastore和hiveserver2这两个服务。也可以直接把log4j-slf4j-impl-2.10.0.jar 删了，我就是这么搞的，也没有问题。以上命令启动后会在后台运行，启动之后jps所在的shell命令行，会显示两个runjar,即为启动成功。因为MySQL的密码策略，需要设置一个比较复杂的密码（此处先随便设置一个复杂的密码）是在hadoop的目录下创建。
HIVE学习二：hive on tez
patrick_big_data的博客
03-02 1027
文章目录环境介绍下载、安装、配置TEZ测试hive on tez参考网址 环境介绍 组件 版本 hadoop 2.6.5 hive 2.3.6 tez 0.8.5 tez对hadoop版本是有要求的。tez 0.8及以上需要hadoop 2.6及以上。tez 0.9及以上需要hadoop 2.7及以上。 下载、安装、配置TEZ 从清华镜像站下载对应版本的tez如apa...
Hive 运行在 Tez 上
Sunshine.wz的博客
03-14 401
更换 Hive 默认的计算引擎 MR 改为 Tez， 提高 Hive 处理数据的速度
hive on tez搭建
qq_39518915的博客
08-24 916
Hive on tez 下载编译后的组件 链接：wget http://www-us.apache.org/dist/tez/0.8.5/apache-tez-0.8.5-bin.tar.gz 上传${TEZ_HOME}/share/tez.tar.gz到HDFS目录:${fs.defaultFS}/jar目录 在${HADOOP_HOME}/etc/hadoop目录下创建tez-site....
Hive on Tez 采坑记
千里之行，始于足下
10-29 1608
一、安装部署 1、版本说明 Hadoop Hive Tez 2.9.2 2.3.7 0.9.2 2、Tez配置 1）下载tar包： wget https://mirror.bit.edu.cn/apache/tez/0.9.2/apache-tez-0.9.2-bin.tar.gz 2）解压缩： # 解压缩到指定目录下（如/opt） tar -zxvf apache-tez-0.9.2-bin.tar.gz -C /opt/ 3）将Tez的压缩包上传到HDFS集群上： # 事先在HD
Hive on Tez性能优化
大数据杂货铺的博客
07-13 4153
升级到 CDP 后Hive on Tez 性能调整和故障排除指南 优化Hive on Tez查询永远不能以一种万能的方法来完成。查询的性能取决于数据的大小、文件类型、查询设计和查询模式。在性能测试期间，要评估和验证配置参数和任何 SQL 修改。建议在工作负载的性能测试期间一次进行一项更改，并且最好在生产环境中使用它们之前评估调整更改在您的开发和 QA 环境中的影响。Cloudera WXM可以帮助评估性能测试期间查询更改的好处。 1. 调优指南 在从 CDH 发行版到 CDP 私有云的多次迁移中观察到，与
hive on tez安装部署、配置及tez-ui配置
fuyun6363的博客
02-16 6755
hive有三种引擎：mapreduce、spark、tez，默认引擎为MapReduce，但MapReduce的计算效率非常低，而Spark和Tez引擎效率高，公司一般会使用Spark或Tez作为hive的引擎。 Tez官网：http://tez.apache.org/ 在官网中介绍，Tez的YARN Timeline在Hadoop 2.6.x及以上版本才支持，低版本有些功能并不支持，所以如果想用...
Hive on Tez map阶段task划分源码分析（map task个数）
lijian222491的博客
04-10 1092
Hive on Tez中map task的划分逻辑在Tez源码中，总体实现逻辑如下：（1）Tez源码中实现map task划分的逻辑为TezSplitGrouper类；具体实现方法为getGroupedSplits；（2）Tez源码中对应该部分的单元测试类为TestGroupedSplits.java（3）选择单元测试中testRepeatableSplits进行单元测试；如下图：（4）该部分可以自由造数据，例如有多少个文件目录，filesplit目录、副本路径位置、文件的大小、机架等等；
Hive3.1.2 on Tez0.10.1的安装部署
xiaoleilei666的博客
07-22 1587
完成Hive On Tez的安装部署；
hive-3.1.3（hive-3.0.0） on tez-0.10.2 详细操作步骤（附编译好的安装包）
2301_77356579的博客
04-15 1683
hive-3.1.3（hive-3.0.0） on tez-0.10.2 详细操作步骤（附编译好的安装包）
部署hive on tez
05-26
部署Hive on Tez需要按照以下步骤进行： 1. 安装Tez：在Hadoop集群中安装Tez，可以通过以下命令进行安装： ``` sudo apt-get install tez ``` 2. 配置Hive：在Hive的配置文件hive-site.xml中设置以下属性： ```xml <property> <name>hive.execution.engine</name> <value>tez</value> </property> <property> <name>hive.tez.container.size</name> <value>10240</value> </property> <property> <name>hive.tez.java.opts</name> <value>-Xmx8192m</value> </property> ``` 3. 配置Tez：在Tez的配置文件tez-site.xml中设置以下属性： ```xml <property> <name>tez.queue.name</name> <value>default</value> </property> <property> <name>tez.am.resource.memory.mb</name> <value>2048</value> </property> <property> <name>tez.task.resource.memory.mb</name> <value>2048</value> </property> <property> <name>tez.runtime.io.sort.mb</name> <value>2048</value> </property> <property> <name>tez.runtime.unordered.output.buffer.size-mb</name> <value>1024</value> </property> ``` 4. 启动Hive：启动Hive，并使用以下命令将其连接到Tez： ``` hive --hiveconf hive.execution.engine=tez ``` 5. 测试Hive on Tez：在Hive中运行一些查询，以确保Hive on Tez正常工作。 以上是部署Hive on Tez的基本步骤，但实际部署可能因环境不同而有所不同。需要根据实际情况进行调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值