Hadoop之MR处理数据基本流程

在启动程序中，FileInputFormat设置数据的输入路径，程序处理的是该路径中的所有文件，

1、如何处理

（1）、该路径中有几个文件就有几个map任务。map任务的个数是根据文件大小和个数来确定的。

（2）、在进行map任务之前，文件中的数据被一行一行的读，形成了K1：一行的起始位置，V1：行内容，这就是map任务被输入的K1，V1。

（3）、行内容V1被一行一行的切割，切割的时候要将这行数据转化成String类型才能进行切割操作，切割后形成的是数组，对数组进行分类，又形成一对一对的K2，V2，将这些K2、V2写入(context.write)一个缓存(内存），这对K2、V2就是reduce任务被输入的KV。

（4）、K2、V2在缓存中又经历了怎样的操作？

a.会根据K2进行分区，有几个reduce任务就分几个区，目的就是分任务，保证相同的k能够分在一个reduce任务中，这样才能保证聚合能够成功。

b.区内排序（默认按照k排序），这样相同的K能够挨在一起。这个结果被写入本地磁盘。

每个文件都会执行上面的步骤。

（5)、假设分了两个区，即有两个reduce任务。0号reduce任务会从磁盘中下载它所需要的文件，即0号分区文件（几个文件就有几个0号分区文件），

a. 假设有三个0号分区文件，reduce任务会将这个三个文件下载后按照k值进行合并排序（相同的K能够挨在一起）;

b. 之后进行区内分组，将分组的结果放入迭代器中进行累加。

c .最后将这个k和迭代器中累加的结果写入缓冲区，输出到指定路径。