hive运行insert语句卡死！！

最新推荐文章于 2024-08-01 16:23:43 发布

ycy11370

最新推荐文章于 2024-08-01 16:23:43 发布

阅读量6.1k

点赞数 2

分类专栏：刷题；求职；基础；

本文链接：https://blog.csdn.net/ycy11370/article/details/90237707

版权

刷题；求职；基础；专栏收录该内容

13 篇文章 0 订阅

订阅专栏

在使用hive向数据仓库中写入语句时，发现任务提交至yarn时一直都是running状态，也就是卡死了！！

然后查看日志时发现也没有具体的报错信息，百思不得其解，不停的百度。

后来脑洞一开，是不是我任何案例都无法在yarn上跑了呢？于是就测试了一下官方自带的wordcount案例。。。。。

哦吼？？？果然是不行了。。。看来我的yarn彻底挂了。

不断查看日志，不断看，不断看，，，，发现我他妈的竟然在两台机子上都赔了resourcemanager。。。。。

想起来之前切换HA的时候，换了一下namenode和resourcemaneger的主机，后来切换回来的时候又忘记了修改，就导致了两台机子的8088端口都能登陆一个yarn的applications页面。

不管了，还好没有什么关键的数据，

重新格式化一下，完事。

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

ycy11370

关注关注

2
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

Hive执行insert语句时一直卡主不动

Championers的博客

01-03

5530

问题描述： Hive执行insert语句时一直卡住不动执行到这里时就卡住了，等了好久都没反应解决：查看Hive.log Hive一直在连接重试，看到这里猜想应该是8032端口有问题百度了解8032端口的作用到Hadoop中查看RM日志：hadoop-hadoop-resourcemanager-CNWOKARMS-NODE01.log 发现8033被占用使用netstat –anp | grep 8033查看8033端口占用情况使用JPS命令查看服务启动的情况果然由于端口被占用，

hive insert操作卡死

天天开心

02-21

5801

hive，执行一个简单的insert操作时卡在了 kill command这里看了下rm，nm什么都启动起来了，怀疑mp出错了，随便运行了一个官方案例，果然不对，一直卡在running job这里。无语，我什么也没动啊，昨天insert还好好的。查看了一下nodemanager的log，没有什么问题，又查看了resourmanager的log 问题就出在红框这里：...

参与评论您还未登录，请先登录后发表或查看评论

修改jar包中的.class文件并替换(最简单)

热门推荐

快乐程序员的专栏

09-29

1万+

最近微博有一个任务需要使用日曝光表做统计，发现这个任务很容易在stage1卡在reduce100%阶段不动，发邮件过来让帮找一下问题或者优化一下，和同事一起分析了一下原因，以下是分析过程：

Hive基本内置函数，自定义函数以及性能优化

May_J_Oldhu的博客

09-23

1308

Hive函数及性能优化一.内置函数1.字符函数2.类型转换函数和数学函数3.日期函数4.集合函数5.条件函数6.聚合函数和表生成函数二.自定义函数1.自定义函数步骤三.Hive事务1.Hive事务基本概念(1).Hive事务的含义(2).Hive事务的ACID特性(3).Hive事务的特点(4).Hive事务的局限(5)Hive事务的开启和设置四.Hive PLSQL五.Hive性能调优1.Hive性能调优工具EXPLAIN（1）EXPLAIN作用（2）语法（3）示例2.Hive性能调优工具 - ANALY

Hadoop系列（六）Hive的使用

q736317048的博客

07-23

254

数据仓库工具数据仓库和数据库是不一样的概念数据库：针对数据的增删改查，业务性操作数据仓库：存储日志数据或统计好的数据,主要用于分析数据、捕获数据、存储历史数据,多为报表主要提供决策支持而非业务。进行数据提取、转化、加载，是一种可以存储，查询和分析，底层hdfs。使用近似的sql语句去操作hdfs和进行简单的mapreduce操作。一般来做的操作是增加和查询。mapreduce出来的结果存储在数据仓库不同点：数据内容的不一致数仓一般不会修改源数据，数据库不一样(增删改) 目的性不

三种MySQL大表优化方案，过目不忘！

程序媛小琬的博客

12-01

715

问题概述使用阿里云rds for MySQL数据库（就是MySQL5.6版本），有个用户上网记录表6个月的数据量近2000万，保留最近一年的数据量达到4000万，查询速度极慢，日常卡死。严重影响业务。问题前提：老系统，当时设计系统的人大概是大学没毕业，表设计和sql语句写的不仅仅是垃圾，简直无法直视。原开发人员都已离职，到我来维护，这就是传说中的维护不了就跑路，然后我就是掉坑的那个！！！我尝试解决该问题，so，有个这个日志。方案概述方案一：优化现有mysql数据库。优点：不影响现有业务，源程序不需

Hive那些事儿之八-大数据踩过的坑——Hive insert

01-07

Hive那些事儿之八-大数据踩过的坑——Hive insert 我在对Hive表数据清洗后，使用了如下SQL将结果集插入到新表中: insert into db_name.table_name_1 ( col_1,col2,col3 ) with temp_table_1 as ( select id,col_2 from db_name.table_name_2 where id = condatition ), temp_table_2 as ( select id,col_3 from db_name.table_name_3 where id = con

hive进行insert操作时长时间不成功

Nut_ddddou的博客

11-24

769

我的原因是重复提交，导致有了许多缓存文件。因为刚刚学习hive，卡了半天的时间。重新运行insert指令。

Hive-执行insert时报错或极其缓慢

Evolving_Vincent的博客

03-08

1064

背景：我是新手在跟着某硅谷学习hive的时候遇到这类问题，后来发现有两种方式解决；

Hive运行语句直接卡死解决办法

大数据流浪法师的学习笔记与分享

03-21

3294

问题描述 hive (myhive)> insert overwrite local directory '/home/exportHive/b' > row format delimited fields terminated by '\t' > collection items terminated by '#' ...

HIVE运行卡死没反应的亲测解法

xxhcomputer的博客

09-14

2258

这是一个解决hive操作卡住的方案，希望可以帮到遇到相同问题的同学 In order to change the average load for a reducer (in bytes): set hive.exec.reducers.bytes.per.reducer= In order to limit the maximum number of reducers: set hive.exec.reducers.max=

hive overwrite 卡住不动

我的博客

11-11

743

错误 Ended Job = job_1545829388777_0070 with errors Error during job, obtaining debugging information... FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask MapReduc...

Hive Insert命令

Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发

03-15

9506

写的非常好 https://blog.csdn.net/Post_Yuan/article/details/62887619

Hive 删除表或导入数据卡死

大能人powerman的博客

03-10

3581

项目场景：通过HQL删除表和导入数据问题描述 Hive 删除表或导入数据卡死,同时也不报错，一直停留在HQL页面，也不执行。 drop table XXX 原因分析： Hive中表有锁解决方案：查看是否有锁： show locks 【说明】：发现有的表有锁有的表无锁，但还是删除不了【注】hive存在两种锁，共享锁Shared (S)和互斥锁Exclusive (X）触发共享锁的操作是可以并发执行的但是触发互斥锁，那么该表和该分区就不能并发的执行作业了。解锁[存在锁]: u

hive的insert语句

07-28

在Hive中，insert语句用于将数据插入到表中。与其他数据库不同的是，Hive在插入数据时不能指定字段，必须插入全字段。因此，无法通过指定插入数据的别名来改变插入字段的顺序。\[1\] 此外，Hive对于insert语句中使用的别名并不关心，别名代表的字段可以不存在，甚至可以相同。这意味着执行insert语句时，别名并不影响插入的结果。\[2\] 以下是一些示例insert语句的用法： - insert overwrite table my.test_table partition(pt=1) select 2 as invalid_col, 1 as invalid_col from my.online_table; 这个语句将从my.online_table中选择2和1作为无效列，并覆盖插入到my.test_table的pt=1分区中。\[2\] - from test_table insert overwrite table test_insert1 select key; 这个语句将从test_table中选择key列，并覆盖插入到test_insert1表中。\[3\] - insert overwrite table test_insert2 select value; 这个语句将从默认表中选择value列，并覆盖插入到test_insert2表中。\[3\] 总之，Hive的insert语句在插入数据时不能指定字段，必须插入全字段。别名在插入过程中并不影响结果。 #### 引用[.reference_title] - *1* *2* [hive的insert语句列顺序问题以及新增字段遇到的坑](https://blog.csdn.net/hzp666/article/details/123046169)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [Hive的insert操作，导出数据到本地、hdfs](https://blog.csdn.net/liyonghui123/article/details/84676708)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]