MapReduce基础面试题

MapReduce核心思想
分而治之，先分后合
分是Map 和是reduce
偏移量
指的是每行行首字母移动到文本的最前面需要的距离
Suffle包含哪些步骤
宏观层面：
1.分区
2.排序
3.Combiner（局部聚合）
4.分组

MR从读取数据开始到将最终结果写入HDFS经过哪些步骤

第一步：InputFormat
InputFormat 在HDFS文件系统中读取要进行计算的数据
输出给Split
第二步：Split
Split 将数据进行逻辑切分，切分成多个任务。
输出给RR(RecordReader)
第三步：RR(RecordReader)
RR 将切分后的数据转换成key value进行输出
key : 每一行行首字母的偏移量
value: 每一行数据
输出给Map
第四步：Map
接收一条一条的数据（有多少行数据Map运行多少次，输出的次数根据实际业务需求而定）
根域业务需求编写代码
Map的输出是 key value的 list
输出给Shuffle（partition）

---------------------------------------Map-------------------------------------------------------
第五步： partition
partition: 按照一定的规则对 **key value的 list进行分区
输出给Shuffle（sort）
第六步：Sort
Sort :对每个分区内的数据进行排序。
输出给Shuffle&