图解hadoop的MR计算流程

 

 

 

 

图解hadoop的MR计算流程：

1.左边部分是map阶段，右边部分是reduce阶段

1）我们可以看出左边的有四个map task，一般情况下一个map tasl处理一个split的数据，一个split一般情况下是一个代表一个block size（128M），所以我们可以看到的是要处理的数据大小是3x128M--4x128M，所以我们回启动几个map task一般是取决要处理数据的大小的;现在我们单独的对一个map进行分析，首先是input split，这个部分要调用多少次map方法是取决去我们输入进来的数据有多少行，每一行调用一次map方法（map方法里面是会对获取到的这一行数据进行切分，转化成k，v的方式），在数据进入到环形缓冲区（buffer in memory）的时候，一般会进行partition处理，分多少个区一般取决于你有几个的reduce，二这里的reduce有三个，分区的规则一般情况下是按照Hash去分Hash（key）%3，环形缓冲区的大小一般是100M,当推送到环形缓冲区的数据打到80%的时候，会自动的溢写数据，这里我们思考一个问题，为什么不是100%的时候才溢写数据呢，因为我们在溢写的过程中还会有数据进入到环形缓冲区，每一次溢写数据的时候会分成三个区，之后再将这些小文件marge成一个大的文件（marge on disk）

 

 

2）reduce阶段，每一个map task处理好数据之后分将数据分成三个分区，所以reduce会自动去拉去三个分区的数据，0号分区拉去0号分区的数据.....,其他三个map task也是一样，所以最后每一个reduce都拉去到很多个自己分区的数据(这里有4块)，然后再将这些小文件进行默认marge，marge的同时还要进行排序，然后进行Group分组，在reduc