（hive） Execution Error, return code -101 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask解决方案

最新推荐文章于 2024-06-03 22:15:24 发布
最新推荐文章于 2024-06-03 22:15:24 发布
阅读量2w 收藏 6
点赞数 2
分类专栏： bug处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/WJWFighting/article/details/81670707
版权

解决bug思路：

出现这个问题说明你的mapreduce.input.fileinputformat.split.maxsize设置的太小了

解决方案：hive (default)> set mapreduce.input.fileinputformat.split.maxsize=。。。。;设置最大切片值为。。。个字节

这个数取决于你的文件大小，假设下：你的文件50M，你就把set mapreduce.input.fileinputformat.split.maxsize=10240000 大约10M的大小差不多

想了解具体情况（数据倾斜）请查看https://blog.csdn.net/WJWFighting/article/details/81666320

WJWFighting
关注
  • 2
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
徐磊的博客
01-31 9376
报错 yarn休眠，解决方法：稍微等会，就会反应过来 WARNING: Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X ...
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
砍柴人的博客
02-25 1438
java.net.ConnectException: Call From hadoop-master/172.18.0.2 to hadoop-master:8 032 failed on connection exception: java.net.ConnectException: Connection refuse d; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused at sun.refl.
Hive:Execution Error, return code -101 from org.apache.hadoop.hive.ql.exec.FunctionTask Ask
张小丑
04-28 9443
I wrote atest.sqlfile and ran it with hive. I got the error when hive was parsing to the code(show below):[CODE]: CREATE TEMPORARY FUNCTION foo AS "com.mytest.udaf.HelloWorldFoo"; [ERROR]: This que...
[hive]return code -101 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. GC overhead limit exceeded
胖胖的博客
11-10 2447
2、group by 数据倾斜。1、调大reduce个数。
HIVE报错:FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.Map RedTask
最新发布
qq_65960840的博客
06-03 304
动态分区的最大数量由hive.exec.max.dynamic.partitions和hive.exec.max.dynamic.partitions.pernode控制。本人在使用hive进行大量数据insert表的的时候运行失败并报错：Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.Map RedTask。
Execution Error, return code -101 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. PermGen space
挣扎技术
06-04 9467
Hive 执行group by 出现错误 FAILED: Execution Error, return code -101 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. PermGen space 参考 数据倾斜以及本地模式的介绍 解决方法：改为本地模式 1、开启本地mr set hive.exec.mode.local.auto=tr...
FAILED: Execution Error, return code -101 from org.apache.hadoop.hive.ql.exec.FunctionTask
weixin_46705696的博客
11-12 2783
xxx has been compiled by a more recent version of the Java Runtime (class file version 61.0), this version of the Java Runtime only recognizes class file versions up to 52.0
hive报错：FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.
m0_65097405的博客
07-12 3878
For more details see: http://wiki.apache.org/hadoop/ConnectionRefused)原因： 之前学习hive的时候创建的数据库lyw，那时已经在hdfs中创建了相对应的文件夹，后来把这些文件夹删除了，导致lyw数据库在hdfs中找不到其对应的文件夹lyw，无法创建lyw的子文件夹，因此无法在数据库lyw下创建表。解决方法：重新建一个数据库，然后把数据加载到新数据库。
已解决：FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask
qq_43408367的博客
01-08 8113
## 问题描述 1. 今天在跑hive sql的时候，报错;FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask【从hive log找到的错误提示】，蛮无语的，也看不出啥原因导致的。。。 2. 在网上查了蛮久的，找到一个解决方案 ## 解决方案 【[参考方案](https://blog.csdn.net/decsjdz/article/details/94561573)】 1. 参考错
Hive报错org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
double_winter的博客
01-18 3307
org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
IDEA 运行hql 出现FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTas
Chandler_5的博客
12-20 4354
IDEA 运行hql 出现FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. User: xxx is not allowed to impersonate xxx 的错误
Hive中运行任务报错：FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
热门推荐
IT Baicn的博客
01-14 6万+
一 错误 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask 二 错误原因 第一种，yarn资源不足 原因： 该错误是YARN的虚拟内存计算方式导致，上例中用户程序申请的内存为1Gb，YARN根据此值乘以一个比例（默认为2.1）得出申请的虚拟内存的值，当YARN计算的用...
Hive 插入数据报错FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask.
蒯厅博客
05-13 2242
hive
hive使用tez执行引擎insert报错
weixin_44870066的博客
04-08 3192
hive中配置号tez可以正常建表，但是insert报错 【错误提示】 FAILED: Execution Error, return code -101 from org.apache.hadoop.hive.ql.exec.tez.TezTask. com.sun.jersey.json.impl.provider.entity.JSONRootElementProvider and com.sun.jersey.json.impl.provider.entity.JSONRootElementProv
记录一次hive的JVM调优
weixin_44925880的博客
05-23 743
关于Execution Error, return code -101 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. GC overhead limit exceeded 解决过程 1.查看集群负载情况，可以通过jstat | jmap | jconsole 等命令查看 使用jstat -gc pid 5000 输出情况 这个是报错之后截取的，其实看看得出除开O区其他都还好 如果我想去调节hive的JVM堆和垃圾回收该怎么改呢？ 先去看一下启动文件
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask错误的解决办法（图文详解）
ReyzeLamp的博客
11-23 7108
hbase迁移数据到hive中 hive创建表关联hbase表时报错 CREATE EXTERNAL TABLE test01 (key string, name string, age string, sex string) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIE...
Hive 报错 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaExce
HeatDeath的博客
01-09 3059
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:You have an error in your SQL syntax; check the manual that corresponds to your MySQL server ve
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask
wengyupeng 蜗牛一步一步向前。。。
05-13 1万+
1. 问题 hive> LOAD DATA LOCAL INPATH '/root/data/cities.csv' OVERWRITE INTO TABLE cities;Loading data to table default.cities Failed with exception Unable to move source file:/root/data/cities.cs...
解决执行TPC-H benchmark，hive报错java.lang.OutOfMemoryError: PermGen space的问题
lucyLee的博客
11-06 1777
在使用hive-2.3.3执行TPC-H benchmark时，遇到hive报错： FAILED: Execution Error, return code -101 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. PermGen space AsyncLogger error handling event seq=190, value='[E...
Execution Error, return code -1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
07-29
引用\[1\]中的错误信息表明在处理语句时出现了错误，具体是由于GC（垃圾回收）超过了限制。这可能是由于内存不足或者程序中存在内存泄漏导致的。要解决这个问题，可以尝试增加内存限制或者优化程序以减少内存使用。 引用\[2\]中提到了一些可能的解决方法。首先，可以尝试使用大的队列来处理作业，通过设置`mapreduce.job.queuename=hive`来指定队列。其次，可以尝试增加reduce任务的数量，通过设置`mapred.reduce.tasks=300`来增加reduce任务的并行度。最后，可以尝试启用优化选项`hive.optimize.skewjoin`来处理数据倾斜的情况。 综上所述，要解决"Execution Error, return code -1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask"的问题，可以尝试增加内存限制、优化程序以减少内存使用，并且使用大的队列、增加reduce任务数量以及启用数据倾斜优化选项。 #### 引用[.reference_title] - *1* *2* [[hive]return code -101 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. GC overhead limit exceeded](https://blog.csdn.net/qq_35896718/article/details/127783938)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

WJWFighting

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值