一 简述MapReduce的运行机制
答:MapReduce主要 有以下的八个运行步骤
整个流程如图所示。
1 第一步,读取文件。 这个时候需要用到Inputformat(默认是TextInputformat)会通过getSplits方法对输入的文件进行逻辑规划并切分得到splits,有多少个split就启动多少个MapTask.split与tasks是默认的一 一对应的。
第二步,将文件切分为splits之后,由RecordReader(默认为LineRecordReader)进行读取,以\n作为分隔符,读取一行数据,返回key1,value1 .key1表示每行首字符的偏移量,value1表示这一行的文本内容。
2 第二步,自定义map阶段。首先,读取到的key1,value1进入到自定义的Mapper类中,执行用户重写的map函数。RecordReader读写一行,这里调用一次。
3 maptask阶段 这个阶段在内存中完成 主要有分区排序 规约。
将map逻辑完成后的每条结果通过context.write进行collect数据收集。在collect中会进行分区处理,默认使用HashPartitioner.MapReduce
提供Partitioner接口,它的作用是根据key2 value2以及Reduce的数量来决定当前的这对键值对交给哪个ReduceTask处理。默认对key hash后再对reduce task数量取模。默认的取模方式只是为了平均reduce的处理能力。如果用户对partitioner有需求,可以自定义的设置到job上。
然后是排序,接