大数据hive篇--hive报错return 2 return 3 解决方式

最新推荐文章于 2024-03-22 10:22:03 发布

在路上的小y

最新推荐文章于 2024-03-22 10:22:03 发布

阅读量1.4k

点赞数 1

分类专栏：大数据问题总结文章标签： hive 大数据 hadoop

本文链接：https://blog.csdn.net/qq_43709558/article/details/127508045

版权

oozie跑hive脚本报错：
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

看到其他人的大多是内存问题，解决方案是

set hive.auto.convert.join = false;
set hive.ignore.mapjoin.hint = false;
set hive.exec.parallel = true;
set hive.mapjoin.localtask.max.memory.usage

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

在路上的小y

关注关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

【Hive报错】FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

debimeng

12-13

2235

【场景】在hive3.1版本下执行以下语句报错 --加载数据到桶表u_demo_bk中 insert into table u_tab_bk_p select * from u_tab; 可是插入到普通表和分区表的语句是能正常执行的。【原因】最后才知道是因为资源不足的问题，可是这数据量又不大，有可能hive的机制有关，本来它的场景就是为了解决大数据的问题。【解决】最后在主节点修改了yarn-site.xml文件，添加一个参数，即：关闭虚拟内存的检测，最后完整的内容如下： <co

大数据hive篇--return code 3 报错

qq_43709558的博客

10-25

1700

return 3

参与评论您还未登录，请先登录后发表或查看评论

hive查询或者插入数据报return code 2的错误

licai_1001的博客

08-04

1万+

org.apache.hive.service.cli.HiveSQLException: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask at org.apache.hive.service.cli.operation.Operation.toSQLException(Operation.java:3...

hive问题-return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

erainm

09-23

9003

执行hive sql时遇到问题： FAILED:Execution Error,return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask 这个其实一般是个hive内部错误，处理这个问题就需要找日志了；找日志 hive.log(比较简略) hive.log ===> 缺省情况下 /tmp/root/hive.log (不然就在你hive-site.conf配置的日志路径里) 我这里在/tmp/root目录下去里面看了日志，没

Hive执行job时return code 2排查

u011495642的博客

12-04

6473

Hive执行job时return code 2排查 2017年10月17日 14:50:56 娃都会打酱油了阅读数：2570 标签： hivecode 2 更多个人分类： JavaHive 版权声明：本文为starfd原创文章，转载请标明出处。 https://blog.csdn.net/starfd/article/details/78260400 项目测试时，在执行Insert语句...

大数据技术之-08-Hive学习-05-Hive实战之谷粒影音+常见错误及解决方案.docx

10-26

### 大数据技术之Hive学习—Hive实战之谷粒影音+常见错误及解决方案 #### 10.1 需求描述本实战案例旨在通过对谷粒影音视频网站的大数据分析，提炼出一系列关键指标，包括但不限于视频观看数量、类别热度等Top N...

大数据 hive 15--hive日志分析案例

zhang__rong的博客

01-09

3607

1.1 项目来源本次实践的目的就在于通过对该技术论坛网站的tomcat access log日志进行分析，计算该论坛的一些关键指标，供运营者进行决策时参考。 PS：开发该系统的目的是为了获取一些业务相关的指标，这些指标在第三方工具中无法获得的； 1.2 数据情况该论坛数据有两部分：（1）历史数据约56GB，统计到2012-05-29。这也说明，在2012-05-29之前，日志文件都...

14大数据 hive --Hive自定义函数与transform的使用

zhang__rong的博客

01-07

552

hive是给了我们很多内置函数的，比如转大小写，截取字符串等，具体的都在官方文档里面。但是并不是所有的函数都能满足我们的需求，所以hive提供了给我们自定义函数的功能。 1、至于怎么测试hive为我们提供的函数因为mysql或者oracle中都可以使用伪表，但是hive不行，所以可以使用以下方法 1）、创建表dual,create table dual(id string) 2）、在本地创建文件...

hive-hbase-handler-1.2.1.jar

09-04

被编译的hive-hbase-handler-1.2.1.jar，用于在Hive中创建关联HBase表的jar，解决创建Hive关联HBase时报FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org.apache.hadoop....

hive join return code 3

wangfeng216的博客

08-13

577

set hive.auto.convert.join=ture 解决

hive报错 return code 3 java.lang.NoClassDefFoundError: org/antlr/runtime/tree/CommonTree

热门推荐

wingman91的博客

12-02

2万+

return code 1 原因： 'Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask' 报错是抄的，多次实践证明，执行hive sql ERROR 返回 return c...

Hive执行报错：FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask

goTsHgo的博客

12-08

8372

项目场景： HiveOnSpark环境下执行hive脚本，报错。问题描述：提示：这里描述项目中遇到的问题：例如：数据传输过程中数据不时出现丢失的情况，偶尔会丢失一部分数据 APP 中接收数据代码： @Override public void run() { bytes = mmInStream.read(buffer); mHandler.obtainMessage(READ_DATA, bytes, -1, buffer).sendToTarget(); } 原因分析： ..

Hive报错FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

Tate的博客

11-10

1万+

Hive报错Error while processing statement: FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask1、集群环境2、错误由来3、错误原因4、错误分析5、解决办法 1、集群环境 CDH集群，hive的引擎是mr。 2、错误由来今天在测试环境的集群里跑hive任务，报错Error while processing statement: FAILE

Hive执行脚本: Return Code 2 from org.apache.hadoop.hive.ql.exec.MapRedTask

CSDN2022博客之星Top39；华为云博主7&，CSDN、稀土掘金、微信公众号、阿里云开发者社区、腾讯云社区、博客园、知乎、51CTO同名博主WHYBIGDATA；

09-22

978

Return Code 2 from org.apache.hadoop.hive.ql.exec.MapRedTask

hive报错return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

一个技术迷的博客

01-04

1868

场景：计算一年中每一天的数据，每一天的取值是前一年或者半年的平均值，所以我有两张临时表，第一张存放主体的一年中每一天的数据，第二张存放主体近两年的每一天对应的数据，第一张表左连接第二张表，这样子进行窗口函数计算即可。 select h1.*,h3.volume,h3.vwap, avg(h3.turnoverval)over(PARTITION by h1.TRADINGITEMID order by h1.natualday asc rows BETWEEN 364 PRECEDING and

hive mapreduce任务启动mapjoin失败，return code 3

qq_42265026的博客

04-25

1366

hive mapreduce任务启动mapjoin失败，return code 3设置hive的自动加载小表大小出现问题调整map任务内存远程dubug源码问题解决 PS：解决方法只针对问题Hive Runtime Error: Map local work exhausted memroy，内存耗尽的错误。前面说的都是解决问题过程，可自行跳过，解决方法在最后。之前处理过的一个需求，有一批ur...

hive 报错return code 2

09-04

Hive 报错 return code 2 表示 Hive 执行作业时出现了错误。这个错误代码通常表示任务的失败，而不是由于语法错误或查询错误导致的。 Hive 报错 return code 2 可能有以下几种原因： 1. 配置问题：Hive 配置文件中的一些参数可能设置不正确，导致任务失败。可以检查 hive-site.xml 文件中的配置项，确保参数的值正确。 2. 数据库连接问题：Hive 在执行任务时需要连接到底层的 Hadoop 分布式文件系统。如果连接出现问题，可能会导致任务失败。可以检查 Hadoop 和 Hive 的连接配置，确保网络设置正确。 3. 内存不足：Hive 作业在执行过程中可能需要大量的内存来处理数据。如果集群中的某个节点的内存不足，可能会导致任务失败。可以检查集群资源管理器（如 YARN）的内存分配情况，增加相应节点的内存限制。 4. 输入数据问题：如果输入数据的格式或内容错误，可能会导致 Hive 任务执行错误。可以检查输入数据的格式和结构，确保与 Hive 表的要求相匹配。 5. 查询问题：如果 Hive 查询的语法或逻辑有错误，也可能导致任务失败。可以检查查询语句的正确性，确保语法正确，并且逻辑与业务需求相符。当 Hive 报错 return code 2 时，我们可以根据错误日志进一步分析具体的错误原因，并采取相应的措施来解决问题。