MapReduce的详细介绍---分片,分区,合并,归并>>shuffle过程
MapReduce的shuffle过程:这个过程就是输入一个杂乱,毫无规则的数据。在经过MapReduce通过自定义一些规则,分片,分区,在经过合并,归并的操作,最后让其按照这个规则输出来,写入磁盘。1.输入分片---分片输入分片(inputSpilt):在进入map之前,需要经过分片,在我们不设置分片的大小时候,有两种规则,一种就是block充满数据,就是分片的大小大约是一个bloc...
原创
2019-06-14 21:41:46 ·
2629 阅读 ·
0 评论