图解hadoop的MR计算流程:
1.左边部分是map阶段,右边部分是reduce阶段
1)我们可以看出左边的有四个map task,一般情况下一个map tasl处理一个split的数据,一个split一般情况下是一个代表一个block size(128M),所以我们可以看到的是要处理的数据大小是3x128M--4x128M,所以我们回启动几个map task一般是取决要处理数据的大小的;现在我们单独的对一个map进行分析,首先是input split,这个部分要调用多少次map方法是取决去我们输入进来的数据有多少行,每一行调用一次map方法(map方法里面是会对获取到的这一行数据进行切分,转化成k,v的方式),在数据进入到环形缓冲区(buffer in memory)的时候,一般会进行partition处理,分多少个区一般取决于你有几个的reduce,二这里的reduce有三个,分区的规则一般情况下是按照Hash去分Hash(key)%3,环形缓冲区的大小一般是100M,当推送到环形缓冲区的数据打到80%的时候,会自动的溢写数据,这里我们思考一个问题,为什么不是100%的时候才溢写数据呢,因为我们在溢写的过程中还会有数据进入到环形缓冲区,每一次溢写数据的时候会分成三个区,之后再将这些小文件marge成一个大的文件(marge on disk)