hive使用tez引擎后启动不起来的原因

最新推荐文章于 2023-09-06 10:35:44 发布
最新推荐文章于 2023-09-06 10:35:44 发布
阅读量1.1k 收藏
点赞数
分类专栏： bug
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shuoyuechenxing/article/details/104872220
版权

我遇到这样的情况，也不报错（因为我关闭了yarn的内存检查），如果不是用tez引擎就有启动hive，所以我百思不得其姐。后来我觉得会不会是因为内存太小，启动不起来呢，我就将集群的很多组件重启一遍：包括hdfs、yarn、flume、kafa、zookeeper。后来就重新启动hdfs和yarn和zookeeper，然后就可以启动hive了。

一直启动不了hive就是这个状态：
在这里插入图片描述

shuoyuechenxing
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
cdh hive on tez 重启后 tez不可用
yy的博客
11-20 705
原因: 不可用是因为重启(或者点击 "部署客户端配置")后cdh会删除hive conf目录,然后重新生成新的.这就导致集群里面的手动拷贝过来的tez-site.xml丢失 导致hive无法正常使用tez引擎 解决方法: 我的解决方法很无语,因为cdh目录感觉太繁琐不公开了.求大佬评论贴上自己更官方的方法 我直接cdh页面的hive-env里面添加一行 让他执行软连接命令链接过来 亲测可用 ln -s /opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.
Apache Hive集成TEZ计算引擎
程序猿丶HLK
07-17 871
前言 本博客讲述的是将Apache Hive默认的执行引擎MR换成TEZ计算引擎，在进行Hive集成TEZ前，请保证集群已经成功安装了Hive，安装Hive可以参考本人的博客：Apache Hive的安装 一、Hive运行引擎Tez简介 Tez是一个Hive的运行引擎，性能优于MR。为什么优于MR呢？看TEZ官网给出的执行对比图： 用Hive直接编写MR程序，假设有四个有依赖关系的MR...
hive运行引擎Tez出现错误
qq_20790447的博客
05-09 1755
运行hive之后出现以下问题， Exception in thread “main” java.lang.RuntimeException: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.hadoop.hive.ql.metadata.HiveException: MetaException(message:Hive metastore database is not init
部署Tez后Hive无法运行
Albert_Fang的博客
05-01 1063
环境 系统 CentOS 7 Hadoop 2.7.7 Hive 2.6.2 Tez 0.9.1 报错 部署完Tez，修改好Hive相关配置后，发现在运行Hive Sql时，出现“虚拟内存不足，Job被Node manger Killed” 报错具体信息： Diagnostics: Container [pid=4913,containerID=container_1585644387775_04...
hive3.1.2 hiveserver启动报错 报tez配置找不到
spark_dev的博客
06-05 1044
项目场景： hive3.x安装报错 问题描述： 启动hiveserver 报错提示 2021-06-04T23:30:56,010 INFO [main] server.HiveServer2: Stopped tez session pool manager. 2021-06-04T23:30:56,010 WARN [main] server.HiveServer2: Error starting HiveServer2 on attempt 1, will retry in 60000ms
HDP 3.1.0 HIVE使用tez 长时间无反应 成功解决
上海菁数信息技术
10-15 6293
目录解决问题解决方法支持 解决问题 HDP 3.0.0 安装的HIVE使用tez，执行任务需要用到tez session时会找不到 解决方法 在打开后增加以下设置 set hive.server2.tez.initialize.default.sessions=true; 如需一直生效，在hive的配置文件hive-site.xml中添加 <property> &
Hive更换TEZ引擎
weixin_42119153的博客
09-20 4914
1、关于版本问题： hive-1.2.1+tez-0.9.0+hadoop-2.7.7 hive-2.3.6+tez-0.9.0+hadoop-2.7.1 两种搭配均试过可行，之前配置的时候觉得与版本有很大关系，试过之后发现版本影响不大，还没发现有问题 2、Tez安装与配置 1、解压并修改文件夹名字 [hadoop@hadoop01 tez]$ tar -zxvf apache-tez-0.9.0...
hive&tez.zip
08-06
在实际部署中，用户需要配置Hive以使用Tez执行引擎。这通常涉及修改`hive-site.xml`配置文件，设置`hive.execution.engine`为`tez`。同时，还需要确保Tez的依赖库已经添加到Hive的类路径中，以及Tez服务已经在集群上...
将Hive的执行引擎更换为Tez
enoughgood的博客
10-27 1717
将Hive的执行引擎更换为Tez 1.1 集群环境 CentOS7.x JDK1.8 hadoop2.7.2 hive2.3.7 tez-0.9.2 hiveserver2,metastore和tez都安装在hadoop102上 1.2 操作步骤 1.2.1 下载并解压Tez安装包 下载地址 https://mirrors.bfsu.edu.cn/apache/tez/0.9.2/ 解压 #HiveServer2在哪个节点就解压到哪个节点 [root@hadoop102 software]$ ta
（已解决）hive insert 插入报错[Tez session start thread] tez.TezSessionState: Failed to start Tez session
最新发布
qq1156791036的博客
09-06 668
现在是，不用tez引擎就没事，一切正常，切换tez引擎，就是查询正常，创建正常，就是不能插入。这里是，以为是内存小，调大了一点，原来是1024 1cpu 0.4。上图为问题现象 求大佬救命啊 ，拜托拜托。
Hive集成Tez引擎跑任务出现的问题（Java heap space问题）
涂作权的博客
10-03 4062
问题1：Hive集成Tez引擎跑任务出现异常：TaskAttempt 3 failed, info=[Error: Error while running task ( failure ) : attempt_1597977573448_0002_1_16_000000_3:java.lang.RuntimeException: java.lang.OutOfMemoryError: Java heap space 看yarn 的job平台是success的，所以想到Tez的内存设置问题，因为Tez引擎是纯
hive启动后一直在加载！
曜有上镜心的博客
12-02 2677
启动不了hive 一直在加载中！！ 输入启动hive命令之后发现一直在加载中。启动不成功。，我们总结原因应该有服务没有开成功，按ctrl+c退出当前命令，输入jps查看一下 可以看到我们少了一个服务（ResourceManager）。这样我们输入 strat-yarn.sh 启动一下，如果没有启动成功，就直接停止全部进程 stop-all.sh 然后按顺序开启服务Zookeeper服务 zkServer.sh start zkServer.sh start(如果没有配置环境变量的话，要在zook
hive使用tez执行引擎insert报错
weixin_44870066的博客
04-08 3270
hive中配置号tez可以正常建表，但是insert报错 【错误提示】 FAILED: Execution Error, return code -101 from org.apache.hadoop.hive.ql.exec.tez.TezTask. com.sun.jersey.json.impl.provider.entity.JSONRootElementProvider and com.sun.jersey.json.impl.provider.entity.JSONRootElementProv
hive on Tez :TezSession has already shutdown
weixin_39150719的博客
08-14 3204
今天搭建hive on tez 报错误 Caused by: org.apache.tez.dag.api.SessionNotRunning: TezSession has already shutdow n. Application application_1565763986535_0001 failed 2 times due to AM Container for appattempt_...
hive启动不成功原因
weixin_65195823的博客
03-10 9439
简单介绍了hive启动不成功原因，而Hive是一个基于Hadoop的数据仓库框架，它使用SQL语句读、写和管理大型分布式数据集。Hive可以将SQL语句转化为MapReduce (或Spark、 Tez) 任务执行，大大降低了Hadoop的使用门槛，减少了开发MapReduce程序的时间成本。
hive配置tez引擎（排除所有情况bug）
Kevin__Durant的博客
10-02 2478
hive配置tez引擎（最管用直插） 多次入坑最终总结出了经验 tez相比MapReduce而言少了中间阶段向hdfs持久化的过程，多作业转化为单作业，只需要一次hdfs，提升计算性能。 集群 我的集群比较复杂，基本所有情况都涵盖了，所以大家放心大胆来吧。 罗列一些相关的服务供参考 组件 服务 master slave1 slave2 slave3 slave4 ...
关于TEZ引擎的部分缺陷
qq_39886984的博客
09-04 1844
很久没更新博客了，今天发现以前的小点还是等帮助到一些朋友的，今天也更新一下，打个卡。 今天说一下TEZ引擎使用时容易犯错的点吧。 首先要知道TEZ是什么，下图为官网上对TEZ的简略图。 官网首页也介绍了Tez的2个主要设计主题是： 1.通过以下方式增强最终用户的能力： 富有表现力的数据流定义API 灵活的输入-处理器-输出运行时模型 不可知数据类型 简化部署 2，执行性能 与Map Reduce相比性能提升 最佳资源管理 在运行时计划重新配置 动态物理数据流决策 TEZ的执行基础还是DAG任务，从原理上讲
读取hive的引擎
06-01
如果使用 Tez 引擎，需要先安装 Tez，然后在 Hive 中进行配置。以下是在 Hive 中设置 Tez 引擎的语句： ``` SET hive.execution.engine=tez; SET tez.use.cluster.hadoop-libs=true; ``` 其中，第二行语句是告诉 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值