map端的shuffle过程
分区、排序、合并
归并与合并是不同的操作
对溢写文件进行合并
合并:<“a”,1>,<“a”,1>得到<“a”,2>
归并:<“a”,<1,1>>
map中存在本地磁盘
只有内存放不下了,才放到磁盘中
MapReduce执行过程:
分片0~M
实例:wordcount
输入:单词
输出:单词,词频
reduce就是进行了一次求和
矩阵和向量的乘法
map端的shuffle过程
分区、排序、合并
归并与合并是不同的操作
对溢写文件进行合并
合并:<“a”,1>,<“a”,1>得到<“a”,2>
归并:<“a”,<1,1>>
map中存在本地磁盘
只有内存放不下了,才放到磁盘中
MapReduce执行过程:
分片0~M
实例:wordcount
输入:单词
输出:单词,词频
reduce就是进行了一次求和
矩阵和向量的乘法