![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
I'm 阿媛
这个作者很懒,什么都没留下…
展开
-
MapReduce任务参数调优
conf.set("mapreduce.job.reduce.slowstart.completedmaps", "0.8");【在往hbase表里通过bulkload导数据时,某个mapreduce跑了一个多小时还没跑,看yarn界面,发现map还有一小部分没跑完,没跑完的map全在pending,running中没有,同时reduce在copy阶段把资源全用光,导致map没资源去跑,进而导致reduce一直在copy状态等待。也就是说map需要资源去跑,reduce需要等map全部跑完才能进行下一个转载 2020-07-30 16:05:44 · 329 阅读 · 0 评论 -
MapReduce任务报 org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block:
1. 执行任务前,在shell脚本里已删除损坏的块./hdfs fsck /.../ -delete任务仍然失败了,报这个异常。检查块还是健康的./hdfs fsck /.../ -files2. 通信问题可能导致这个异常追根溯源package org.apache.hadoop.hdfs;package org.apache.hadoop.hdfs;...原创 2020-03-26 19:07:19 · 1021 阅读 · 1 评论