1.从HDFS中读取数据,并按照block块(128M)划分split(128M),每个split对应一个maptask
2.map对每个分片的每行数据进行(key,value)处理,得到中间数据
3.将中间数据储存到环形缓冲区(默认100M),并给每个键值对赋予partition属性,当文件大小达到阈值时生成一个小文件写入磁盘,并再写入前根据key值进行排序(溢写过程)
4.溢写过程完成后,将所有小文件进行归并形成一个正式输出文件,此时的归并是将所有文件中相同的partition合并到一起,并对partition中的数据进行排序
5.reduce端根据分区开启相同数量的reduce task,reduce task从每个maptask形成的文件中拉取分区数据,并进行合并排序,每个reducetask处理一个分区的数据.
6.进行reduce过程,产生最终输出结果,将结果写入HDFS
扫一扫
465
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
