简单的记录一下,Hadoop执行wordcount卡在job running ,以及hive进行mapreduce时意外被kill的情形。

出现其中任何一个问题,另一个问题大概率也会出现,也就是说二者出现问题的原因是一样的。

一般来说,到这一步其他的配置因该是没有问题的。

网上有很多办法:1.更改  /etc/host 下的映射

                             2.更改 core-site.xml 文件路径

                             3.更改 yarn-site.xml 里面的运行内存

                             4.更改集群分布式为本地模式(可以运行,但没有意义)                           

                             等等。。。。。

上面的办法我都有试过,虽然没有解决问题,但并不能说是错的,可以尝试,如果没有解决的话可以试试下面的办法。

造成这样问题的原因是: 

 hadoop 默认检查磁盘状况,一旦超过默认的90%就会导致数据节点拒绝执行mapreduce,通过在yarn-site.xml 设置更大的阈值,延迟节点拒绝mapreduce的情况。

解决办法

 在 yarn-site.xml文件中添加以下内容:

<property>
 <name>yarn.nodemanager.disk-health-checker.min-healthy-disks</name>
 <value>0.0</value>
</property>
 <property>
 <name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name>
 <value>100.0</value>
</property>

可以重起集群,不重启也能立即生效

更多细节问题可以参考原作者 重磅 解决 hadoop job 卡死 根源问题 - 简书 (jianshu.com)

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值