Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out

最新推荐文章于 2024-09-14 18:46:05 发布
最新推荐文章于 2024-09-14 18:46:05 发布
阅读量1k 收藏
点赞数
文章标签： java 大数据
原文链接：http://www.cnblogs.com/zyanrong/p/11211895.html
版权

Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#7
at org.apache.hadoop.mapreduce.task.reduce.Shuffle.run(Shuffle.java:134)
at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:376)
at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1924)
at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)
Caused by: java.io.IOException: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.
at org.apache.hadoop.mapreduce.task.reduce.ShuffleSchedulerImpl.checkReducerHealth(ShuffleSchedulerImpl.java:392)
at org.apache.hadoop.mapreduce.task.reduce.ShuffleSchedulerImpl.copyFailed(ShuffleSchedulerImpl.java:307)
at org.apache.hadoop.mapreduce.task.reduce.Fetcher.copyFromHost(Fetcher.java:366)
at org.apache.hadoop.mapreduce.task.reduce.Fetcher.run(Fetcher.java:198)

 

等待解决：

转载于:https://www.cnblogs.com/zyanrong/p/11211895.html

axs441702
关注
Hadoop-hbase大数据环境安装
07-07
Hadoop-hbase大数据环境安装
YARN执行作业报错Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.
vincent_duan的专栏
11-07 2292
执行了一个简单的官方提供的作业： iie4bu@swarm-worker1:~/app/hadoop-2.6.0-cdh5.15.1/share/hadoop/mapreduce$ hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.15.1.jar pi 2 3 报错信息如下： Error: org.apache.hadoop.mapreduce.ta...
ShuffleError：error in shuffle in fetcher解决办法
laozaoxiaowanzi的博客
05-19 1344
今天在跑一个hive任务的时候，遇到了这个错误，很明显这个错误是在shuffle阶段出现了问题，报错为java.lang.OutOfMemoryError:java heap space 从网上找到了解决办法，这里记录一下： 异常原因：很可能是因为数据倾斜导致的栈溢出。 在shuffle阶段，会将map的output数据给取下来，然后根据设定的参数决定是放进内存中，还是存储到磁盘里面进行操作。而mapreduce.reduce.shuffle.memory.limit.percent这个参数默认值是0
Hadoop报错信息处理积累
chw1989的专栏
04-23 1663
一、报错信息：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out 错误描述：把Hadoop集群架设好以后，运行TestDFSIO基准测试，发现总是可以map成功，但是reduce总是卡在某个位置13%、11%、16%等，等待七分钟左右，输出信息Shuffle Error: Exceeded MAX_FAILED_UNIQU
Hadoop使用常见问题以及解决方法 .
管子（zero）的杂乱空间
12-25 592
1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-outAnswer：程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。修改办法：修改2个文件。 /etc/security/limits.confvi /etc/security...
在Linux上将作业提交到Yarn上运行报错Caused by: java.io.IOException: Exceeded MAX_FAILED_UNIQUE_FETCHES的解决办法
弗兰-随风小欢的博客
08-11 4213
楼主在Linux服务器上将作业提交到Yarn上报错: Caused by: java.io.IOException: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out. 经过网上的搜索以及自己的实验,解决了问题,现在将解决办法分享给大家: 在安装的hadoop的/etc/hadoop文件首写打开hdfs-site.xml文件如下： &lt...
YARN 任务执行报错：Caused by: java.io.IOException: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out
vincent_duan的专栏
03-25 1836
使用YARN运行一个wordcount时报错： 20/03/25 00:10:45 INFO mapreduce.Job: Task Id : attempt_1585065643305_0001_r_000000_0, Status : FAILED Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: erro...
yarn异常 ：error in shuffle in fetcher
weixin_43923267的博客
07-21 469
Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#5 Caused by: java.io.IOException: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out 错误原因：内存溢出 解决方案： 在yarn-site.xml中做如下配置： <property> <name>y
php-fpm超时时间设置request_terminate_timeout资源问题分析
01-02
php日志中有一条超时的日志，但是我request_terminate_timeout中设置的是0，理论上应该...max_execution_time = 30 先查阅了一下php-fpm文件中关于request_terminate_timeout的注释 ; The timeout for serving a single
s71200_product_information_en-US_en-US
03-16
如果中断事件发生时找不到关联的OB，诊断缓冲区可能会记录一条消息：“Accepted number of pending OB0 events exceeded - Processing continued (no OB processing)”。在故障排除时，用户应检查可能的原因，例如在...
Zend Framework校验器Zend_Validate用法详解
10-20
接着，它检查本地部分和域名部分的长度，如果超过限制，会触发 `LENGTH_EXCEEDED` 错误。最后，它分别验证本地部分和域名部分是否合法，两者都通过才认为电子邮件地址有效。 **4. 自定义验证器** 除了使用预定义的...
解决PHP mysql_query执行超时(Fatal error: Maximum execution time …)
10-27
本篇文章是对解决PHP mysql_query执行超时(Fatal error: Maximum execution time of 300 seconds exceeded in…)的问题进行了详细的分析介绍，需要的朋友参考下
hadoop常见错误及解决办法！
热门推荐
沉底的石头
05-30 1万+
1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out  Answer： 程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。 修改办法： 修改2个文件。        /etc/security/limits.
Hadoop使用常见问题以及解决方法（转载）
weixin_30650859的博客
11-03 308
1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-outAnswer：程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。修改办法：修改2个文件。/etc/security/limits.confvi /etc/se...
Hadoop中 "Exceeded MAX_FAILED_UNIQUE_FETCHES”的错误
tubaluer
01-09 499
Hadoop中 "Exceeded MAX_FAILED_UNIQUE_FETCHES”的错误. 该错误一般和主机名有关，首先要保证自定义的/etc/hosts中的别名和hostname一致。如果的DNS或hostname配置不当，导致Hadoop去Internet找域名服务器，而使用错误的域名。域名服务配置，特别是下列文件，DNS相关配置最好使用IP而不使用字母形式域名，避免错误的域名解析...
Alluxio整合MapReduce报错 Caused by: java.io.IOException: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out
逆天骚年的博客
11-22 739
查看Yarn NodeManager日志，发现以下信息： Caused by: org.apache.hadoop.util.DiskChecker$DiskErrorException: Could not find user/cache/hadoop/appcache/application_15... in any of the configured local directories 解...
HDFS常见的问题和处理方法积累
欲问君有几多愁的博客
08-14 7085
Hadoop常见问题与解决办法问题1：reduce预处理阶段shuffle时获取已完成的map的输出失败次数超过上限问题描述：问题剖析：解决方案:问题2：Too many fetch-failures问题描述：问题剖析：解决方案:问题3：处理MR速度特别的慢问题描述：问题剖析：解决方案:问题4：能够启动datanode，但无法访问，也无法结束问题描述：问题剖析：解决方案:问题5：节点断联问题描述：...
Java-网络
最新发布
2301_81543552的博客
09-14 349
Java中的网络编程主要涉及使用Socket类进行网络通信，以及理解各种网络协议。以下是一些关键概念和示例代码，帮助您入门。
mysql/mariadb 主从同步出错 exceeded max_allowed_packet； Increase max_allowed_packet on master；
08-09
当MySQL/MariaDB主从同步出现"exceeded max_allowed_packet"错误时，可以通过增加主服务器上的max_allowed_packet参数来解决。这个参数定义了发送给从服务器的单个语句的最大大小限制。你可以通过以下步骤来增加max_...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值