![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
蜜叶
这个作者很懒,什么都没留下…
展开
-
Hadoop MapReduce Shuffle 过程解析
mapreduceShuffle过程解析 Shuffle过程是Mapreduce的核心,要想理解Mapreduce,Shuffle过程是必须了解的。 Shuffle的本义是洗牌,混乱,把一组有规则的数据转换成一组无规则的数据,Mapreduce中的shuffle更像是洗牌的逆过程,把map端处理完的数据规约到reduce端,更像是一个整合的过程,把相对无规则的数据转换成有规则的数据。 为什么M...原创 2019-02-28 10:46:50 · 583 阅读 · 1 评论 -
Hadoop MapReduce reducerTask和partition的对应关系
谈一谈关于reducerTask和partition的对应关系 在hadoopMR中,许多人的理解就是partition和reduceTask的关系就是一对一,这样理解没错,通常情况下reduceTask的数量和partition就是一对一的关系,但是他们不是绝对一对一的关系,reduceTask的数量由job提交时设置的numreducretask决定。 partition只是决定这条数据应...原创 2019-02-28 11:42:45 · 1090 阅读 · 0 评论