hive insert操作卡死

最新推荐文章于 2024-03-08 17:05:58 发布
最新推荐文章于 2024-03-08 17:05:58 发布
阅读量5.8k 收藏 5
点赞数 1
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/carlyll/article/details/104427569
版权
在执行Hive的INSERT操作时遇到卡死问题，日志显示maximum-am-resource-percent不足导致无法启动应用。尝试调整Capacity Scheduler配置、增大yarn.nodemanager.resource.memory-mb，但问题未解决，最后通过恢复到之前状态解决。此外，还遇到Hive使用聚集函数时卡在MapReduce，报找不到主类MRAppMaster的错误。通过更新yarn-site.xml的classpath并重启服务，解决了找不到主类的问题，但仍存在INSERT操作卡在map=100%，reduce=0%的情况。
摘要由CSDN通过智能技术生成

第一次遇见：

hive，执行一个简单的insert操作时

卡在了 kill command这里

 

看了下rm，nm什么都启动起来了，怀疑mp出错了，

随便运行了一个官方案例，果然不对，一直卡在running job这里。

无语，我什么也没动啊，昨天insert还好好的。

查看了一下nodemanager的log，没有什么问题，又查看了resourmanager的log

问题就出在红框这里：

org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.LeafQueue: maximum-am-resource-percent is insufficient to start a single application in queue, it is likely set too low. skipping enforcement to allow at least one application to start

WARN org.apache.hadoop.yarn.server.resourcemanager.

最低0.47元/天 解锁文章
一做就废
关注
专栏目录
hive进行insert操作时长时间不成功
Nut_ddddou的博客
11-24 779
我的原因是重复提交，导致有了许多缓存文件。因为刚刚学习hive，卡了半天的时间。重新运行insert指令。
hive运行insert语句卡死！！
ycy11370的博客
05-15 6109
在使用hive向数据仓库中写入语句时，发现任务提交至yarn时一直都是running状态，也就是卡死了！！ 然后查看日志时发现也没有具体的报错信息，百思不得其解，不停的百度。 后来脑洞一开，是不是我任何案例都无法在yarn上跑了呢？于是就测试了一下官方自带的wordcount案例。。。。。 哦吼？？？果然是不行了。。。看来我的yarn彻底挂了。 不断查看日志，不断看，不断看，，，，发现我他...
hive 锁表，导致不能insert ，update 以及drop table 也不行，，解除hive锁表终极 解决方案！！！！
qq_27493503的博客
07-03 6491
    今天遇见hive插入的时候卡死不执行的问题   （直接上图）     起初我以为是hive启动报错，把日志调整到debugger级别查看发现该表被锁了。（PS:找了半天终于找到问题了）起初想着先把表删掉看看，结果表被锁定以后 不能drop卡死不往下执行，无论是drop 还是insert 或者 update于是各种网上搜索 ，hive怎么解除锁表（直接上图）先查看一下 是否锁表（肯定是锁了，...
Hive执行insert语句时一直卡主不动
Championers的博客
01-03 5552
问题描述： Hive执行insert语句时一直卡住不动 执行到这里时就卡住了，等了好久都没反应 解决： 查看Hive.log Hive一直在连接重试，看到这里猜想应该是8032端口有问题 百度了解8032端口的作用 到Hadoop中查看RM日志：hadoop-hadoop-resourcemanager-CNWOKARMS-NODE01.log 发现8033被占用 使用netstat –anp | grep 8033查看8033端口占用情况 使用JPS命令查看服务启动的情况 果然由于端口被占用，
hive运行insert卡住
lzp12345677的博客
04-24 1643
hive (default)> insert into ll values(123); Query ID = atguigu_20210424130438_727aed57-78b8-4204-ab6d-deceb076b3b0 Total jobs = 3 Launching Job 1 out of 3 Number of reduce tasks determined at compile time: 1 In order to change the average load for a r..
大数据专栏-Hive插入数据时长时间卡住的问题分析过程及原因
一个探讨python的自留地
04-12 2610
hive insert 长期卡住不动
Hive-执行insert时报错或极其缓慢
最新发布
Evolving_Vincent的博客
03-08 1100
背景：我是新手在跟着某硅谷学习hive的时候遇到这类问题，后来发现有两种方式解决；
hive sql 卡在提交JOB，mapreduce无法正常执行。
weixin_43930715的博客
11-19 3894
hive sql卡在提交job，无法执行mapreduce 在我编写hivesql去查询的时候只要涉及到mapreduce阶段的sql就会卡在提交job的地方。 而我们使用不涉及mapreduce的sql，却能够正常的查询到数据。 解题思路 我先查看我的hdfs集群各个节点的服务是否成功启动，使用jps查看。 查看发现hdfs正常启动后，我区分是mapreduce的问题还是sql的问题，进入hadoop/share/hadoop/mapreduce/ 目录下，执行自带的mapreduce计算π值，发现依旧
hive执行job的时候卡死，执行进度总是0%，然后报错的问题分析和解决
星月菩提的专栏
09-08 3404
因为跨机房业务需要，在另一个机房部署了一个小型的hadoop集群，其中一个节点为namenode无计算节点datanode，而其它两个节点为datanode节点其中每过节点分配50G的内存，总共100G内存资源；而每台机器都是32核CPU，制定最高使用80% 即26核，配置如下： yarn-site.xml [code="xml"] yarn.nodemanager.reso...
Hive那些事儿之八-大数据踩过的坑——Hive insert
01-07
Hive那些事儿之八-大数据踩过的坑——Hive insert 我在对Hive表数据清洗后，使用了如下SQL将结果集插入到新表中: insert into db_name.table_name_1 ( col_1,col2,col3 ) with temp_table_1 as ( select id,col_2 from db_name.table_name_2 where id = condatition ), temp_table_2 as ( select id,col_3 from db_name.table_name_3 where id = con
数仓工具—Hive进阶之锁(15)
热门推荐
02-26 5万+
Hive中的锁 Hive 锁机制是为了让 Hive 支持并发读写而设计的 ，另外要解决并发读写的情况下”脏读“ （Read uncommited）的问题。脏读的问题本身通过实现了原子的 reader/writer 已经得到解决（https://issues.apache.org/jira/browse/HIVE-829）和锁机制并不绑定。 关闭锁机制 可以通过设置 hive.support.concurrency=fasle 来解决锁的问题 关闭锁机制会造成下面影响： 并发读写同一份数据时，读操作可能会随
HIVE运行卡死没反应的亲测解法
xxhcomputer的博客
09-14 2271
这是一个解决hive操作卡住的方案，希望可以帮到遇到相同问题的同学 In order to change the average load for a reducer (in bytes): set hive.exec.reducers.bytes.per.reducer= In order to limit the maximum number of reducers: set hive.exec.reducers.max=
hbase查看表结构_Hbase完全分布式搭建及Hive整合
weixin_39725365的博客
11-21 206
准备 hbase-1.2.9-bin.tar.gz安装包，搭建好的zookeeper集群，搭建好的hive分布式集群准备工作：1.免秘钥配置：ssh-keygenssh-copy-id -i .ssh/id_rsa.pub node0012.时间同步：yum install ntp -y进行时间同步ntpdate http://ntp1.aliyun.comchkconfig ntpd on 开...
解决：Sqoop导入数据到Hive连接hiveserver2卡住
我的博客
07-27 2881
问题 执行sqoop job要将mysql中数据导入hive表，执行到连接hiveserver2时就卡住不动 单独执行连接hiveserver2可以正常连接 Import options: sqoop import --connect jdbc:mysql://xxx:3306/test --username xxxxx --password xxxxxx --table t_user --fields-terminated-by '\001' --hive-import --hive-data
Windows中Hive执行mapreduce任务卡主,比如 insert select count等
sinat_41221480的博客
09-27 337
首先看hive中报了什么错 刚开始hive中报错只是 Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask ,没有什么其他的特殊信息,就去hadoop 中看namenode,datanode, nodem...
大数据问题排查系列 - TDH大数据平台中HIVE作业长时间无法执行结束
明哥的IT随笔
08-28 1674
前言大家好，我是明哥！本片博文是“大数据问题排查系列”之一，讲述某星环 TDH 大数据平台中，研发同学提交的 Hive 作业在成功提交后，客户端长时间收不到任何结果信息也收不到任何报错信息...
Hive在执行插入数据等job任务出错
fengjinghong的博客
05-30 7068
1、完全分布式中hive的执行模式 参考博客 问题描述： Hive在执行job任务时候卡死并报出信息：Number of reduce tasks is set to 0 since there’s no reduce operator（翻译：由于没有减少操作符，减少任务数被设置为0），如图： 这样的情况下，Hive 已经无法继续执行，只能退出重启hive(但是依然不能执行)。这是因为虽然输入文件很小，但是需要加载的文件很大，根本吃不消。 解决问题： Hive支持任务执行选择本地模式(local mode
hive卡在 kill command不动不能执行的原因及解决方案
毕竟远侦探的博客
05-31 7189
hive进行聚合查询的时候卡在kill command，不能往下进行。如下图： 当执行select*from students;语句是可以运行出结果，但是只要附加条件进行查询就会卡死在这个地方，返回不出结果。 解决方案： 一、 1、select*from students 没有问题，但一旦执行select count() from students where gender=‘女’ 后就不继续执行...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值