大数据学习之路，MapReduce的实例（WordCount）解析

图解MR(WC)

第一步，input

读取文件内容

第二步，split 分片

一个块容量（blocksize）是128M，假如300MB的一个文件,blocksize默认是128M，那么分成3个块去存储；如果一个文件大小为128.01MB，因为128M是有buffer，缓冲大小为10%，最后需要其实也就是一个块

第三步，map

将word => (word,1) ，类似于key-value键值对

第四步，shuffle

洗牌
默认按照key的hash值进行分发,（也可以不用hash值分发，也可以用其他规则）默认就是按hash中的partitioner（分组），可以改造这个，比如有个文件存的是电话号码：
phone count
131xxxxx
135xxxxx
185xxxxx
137xxxxx
如果按照hash值去分的话，就需要很多shuffle（shuffle是需要消耗内存的），所以我们需要去改造，比如前三位相同就可以做个分组，这样就很快了；最后相同的key肯定要分发到同一个reduce任务上去，做最后的汇总操作

第五步，reduce

归约汇总 这里对value做加法

第六步，result

写文件，output 然后就会生成类似于下面的文件
_SUCCESS
part-0-000000