MapTask机制总共分为5个阶段：
1. read：读取文件数据
2. map：解析key value值
3. collect：
4. 溢写：此时可能会有合并、压缩等操作
5. combine：当所有数据处理完成后，MapTask对所有临时文件进行一次合并，以确保最终只会生成一个数据文件
ReduceTask阶段：-
1. copy:先有数据，要注意文件大小，如果查过某一个阈值则存储到磁盘否则放在内存中即可
2. merge：在copy的同时，合并内存和磁盘的文件防止内存使用过多或者磁盘文件太多
3. sort
4. reduce：将结果写到HDFS上
376
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
