MapReduce分区详解

一、概述

• 在MapReduce中，通过指定分区，会将同一个分区的数据发送到同一个Reduce当中进行处理。
• 例如：为了数据的统计，可以把一批类似的数据发送到同一个Reduce当中，在同一个Reduce当中统计相同类型的数据，就可以实现类似的数据分区和统计等
• 其实就是相同类型的数据，有共性的数据，送到一起去处理，在Reduce过程中，可以根据实际需求（比如按某个维度进行归档，类似于数据库的分组），把Map完的数据Reduce到不同的文件中。
• 分区的设置需要与ReduceTaskNum配合使用。比如想要得到5个分区的数据结构。那么就得设置5个ReduceTask