Hadoop中出现“Exceeded MAX_F…

最新推荐文章于 2020-04-22 13:53:48 发布
最新推荐文章于 2020-04-22 13:53:48 发布
阅读量373 收藏
点赞数
分类专栏： StudyNote
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/littlefatz/article/details/44803017
版权
  在尝试运行wordcount的时候 出现以下的error
 
Hadoop中出现“Exceeded <wbr>MAX_FAILED_UNIQUE_FETCHES”

map 100%，证明map阶段没有问题,问题出在reduce阶段，从jobtracker中获取任务，并且会获得map的服务器地址，而这个地址是map的主机名字，不是IP地址，因此我们需要在host文件中添加map主机hostname的ip mapping
 
解决办法：
在hosts文件中 添加hostname的ip地址
 
Hadoop中出现“Exceeded <wbr>MAX_FAILED_UNIQUE_FETCHES”

backup* 是我在master 和 slave中配置的名字
hadoop* 是我的linux hostname
 
真正实验的时候 我在每一台linux都分别配置了以上文件 不清楚是否只需要在主机配置即可解决
 
配置hosts后  需要重启
LittleFatz
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out
axs441702的博客
07-19 1004
Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#7 at org.apache.hadoop.mapreduce.task.reduce.Shuffle.run(Shuffle.java:134) at org.apache.hadoop.ma...
Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.
分布式应用与服务器架构专栏
01-06 7971
hadoop在使用的过程中出现了这样的错误。 解决方式，修改datanode节点里/etc/hosts文件。 操作的详细步骤如下： 首先查看主机名称 cat /proc/sys/kernel/hostname 简单介绍下hosts格式 每行分为三个部分：第一部分网络IP地址、第二部分主机名或域名、第三部分主机别名 修改hosts配置内容如下： 127.0.0.1
Hadoop中 "Exceeded MAX_FAILED_UNIQUE_FETCHES”的错误
tubaluer
01-09 465
Hadoop中 "Exceeded MAX_FAILED_UNIQUE_FETCHES”的错误. 该错误一般和主机名有关，首先要保证自定义的/etc/hosts中的别名和hostname一致。如果的DNS或hostname配置不当，导致Hadoop去Internet找域名服务器，而使用错误的域名。域名服务配置，特别是下列文件，DNS相关配置最好使用IP而不使用字母形式域名，避免错误的域名解析...
sshd maxstartup和MaxSessions
风一样的少年
12-03 2万+
先吐槽一下国内的搜索引擎，搜出来的都是啥玩意，没法看。还是在谷歌上找到答案。 maxstartup 这个是限制处于联机页面的连接数，默认值10。联机页面就是当你登录ssh时，还没输入密码的页面。 三元组形式 10:30:60 10：当连接数达到10时就开始拒绝连接，不过不是全部拒绝，我们继续往下看 30：当连接数到达10时，之后的连接有30的概率被拒绝掉 60：当连接数达到60时，之后的连接...
ssh连接数设置 & 超时设置
08-02 4226
vi /usr/ssh/sshd_config 把其中的MaxStartup 改成设定的上限 然后/usr/init.d/sshd restart 重启ssh服务 修改超时设置： sshd_config另外两个常用参数： ClientAliveInterval 这个参数表示多长时间向client发送一个message来确保连接是否还在。默认是0，表示不发送mess
hadoop2.7.x_winutils_exe&&hadoop_dll
06-01
在IT行业中，Hadoop是一个广泛使用的开源框架，主要用于大数据处理和分布式存储。标题"hadop2.7.x_winutils_exe&&hadoop_dll"暗示我们关注的是Hadoop 2.7.x版本在Windows环境下的两个关键组件：`winutils.exe`和`...
hadoop2.7.x_winutils_exe&&hadoop;_dll
08-30
在Windows环境中配置和运行Hadoop，特别是Hadoop 2.7版本，可能会遇到一些与Linux不同的问题，因为Hadoop最初是为Linux设计的。在这个场景中，我们关注的是两个关键组件：winutils.exe和hadoop.dll。 **winutils....
hadoop2.7.x_winutils_exe&&hadoop_dll&&bin&&hadoop-eclipse-plugin-2.7.7.jar.rar
04-06
hadoop2.7版本本地安装运行必须的winutils.exe和hadoop.dll以及Hadoop-2.7.7-Windows10x64位需要的bin、hadoop-eclipse-plugin-2.7.7.jar
hadoop2.7.x_winutils_exe&&hadoop_dll.zip
06-10
这两个组件在Hadoop在Windows环境中的运行和配置中起着至关重要的作用。 Hadoop是Apache软件基金会开发的一个开源分布式计算框架，它允许高效地处理和存储大量数据。Hadoop 2.7.x是一个稳定版本，提供了许多性能...
&nbsp;Hadoop中任务调度算法的改进
01-30
针对Hadoop0.20.0中任务调度算法存在的不足，提出一种基于改进遗传算法（IGA）的任务调度算法。IGA算法对初始化种群、交叉和变异操作进行了一些改进，并引入了最优保留策略和加速进化策略。通过仿真实验将此算法与...
YARN执行作业报错Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.
vincent_duan的专栏
11-07 2241
执行了一个简单的官方提供的作业： iie4bu@swarm-worker1:~/app/hadoop-2.6.0-cdh5.15.1/share/hadoop/mapreduce$ hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.15.1.jar pi 2 3 报错信息如下： Error: org.apache.hadoop.mapreduce.ta...
perror error code
cndsws0715的博客
10-11 204
MySQL[@more@]"OS error code 1: Operation not permitted""OS error code 2: No such file or directory""OS error code ...
Quantopian教程系列三
weixin_43026117的博客
04-22 2041
Alphalens lesson 1 Introduction 什么是alphalens? alphalens是一个用来分析给定alpha因子预测未来回报有效性的工具，需要提醒的是，alpha因子表达了某些给定信息集与未来回报之间的预测关系。 我们该什么时候使用alphalens？ 在量化工作流程中，Alphalens被设计为早期和经常使用。一旦你定义了你的资产池并在pipeline中构造...
关于GPS DOP的理解（HDOP）
热门推荐
sunweiliang的博客
02-20 2万+
DOP的理解 DOP值含义 HDOP 是水平精度因子 VDOP 是垂直精度因子
hadoop常见错误及解决办法！
沉底的石头
05-30 1万+
1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out  Answer： 程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。 修改办法： 修改2个文件。        /etc/security/limits.
Hive启动metastore的出错org.apache.thrift.transport.TTransportException
LittleFatz's 笔记
04-03 2万+
以下是启动metastore时出现的exception [root@hadoop1 hadoop-1.2.1]# hive --service metastore & [1] 3530 [root@hadoop1 hadoop-1.2.1]# Starting Hive Metastore Server 15/02/07 15:21:38 WARN conf.HiveConf: DEP
React Router中pushState的使用方法
LittleFatz's 笔记
07-19 1万+
带参数页面跳转 this.props.history.pushState({passParam: true}, "/targetURL"); 第一个参数为你页面跳转时，需要传递的参数，如果不需要传参数，则为null。 第二个参数为跳转目标页面。 目标页面获取参数 let temp = this.props.location.state; temp则是刚才页面跳转时所传递的参数
java中奇偶数的判断
LittleFatz's 笔记
10-19 6691
一般情况下，判断奇偶数都会用如下的方法 public boolean isOdd(int number) { return number % 2 == 1; } 但是一旦把负整数考虑进来，就会出现问题 当取余操作返回一个非零的结果时，它与左操作数具有相同的正负符号，也就是说，如果我们传入的参数是-1，运行以上方法后得到的结果是-1，而不是1 因此可以把方法改成
Hadoop2.6.0单机伪分布式安装指南_Ubuntu14.04
"Hadoop安装教程，单机及伪分布式配置，针对Hadoop2.6.0版本，在Ubuntu14.04操作系统上的实践指南。该教程由厦门大学数据库实验室出品，详细介绍了安装过程，旨在帮助新手克服安装难题。" 在大数据处理领域，Apache...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值