![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
MapReduce
文章平均质量分 88
lee1114926882
内向>外向
展开
-
转:MapReduce核心Shuffle的原理
mapreduce是hadoop的核心之一,mapreduce经常让我们产生各种困惑,我们只是知道什么是map,什么是renduce,甚至我们已经熟悉了mapreduce编程,但是内部的原理还是不明白,本文记录的是大概的原理深入的细节不做描述,请查看相关资料。 Shuffle的正常意思是洗牌或弄乱,可能大家更熟悉的是Java API里的Collections.shuffl...原创 2015-02-07 09:56:06 · 85 阅读 · 0 评论 -
转:reduce端缓存数据过多出现FGC,导致reduce生成的数据无法写到hdfs
转这个目的,是因为该贴子中调优思路不错,值得学习 搜索推荐有一个job,1000多个map,200个reduce,运行到最后只剩一个reduce(10.39.6.130上)的时候,出现以下异常,导致job失败: 2014-12-04 15:49:04,297 INFO [main] org.apache.hadoop.mapred.Merger: Down to t...原创 2015-02-14 02:20:15 · 132 阅读 · 0 评论