学习MapReduce的阶段性总结,开个坑,慢慢更新
MapReduce已经预定义(或者说写好)了整个数据分析的流程,所以只按照相应的要求把业务需求融入进去就好。但是程序员就是放荡不羁爱自由。实际业务中的需求也是千奇百怪,所以我们在按照MapReduce的流程走的同时,针对具体的各个环节是可以自定义的。
从Map阶段开始,可以采用不同的input的方式(TextInputFormat(默认),CombineTextInputFormat(针对小文件过多的情形),KeyValueTextInputFormat(K-V形式的源数据),NLineInputFormat(多行确定数据的))还可以自定义InputFormat(主要是自定义RecordReader,主要是重写nextKeyValue(),决定K和V)
进入Reduce阶段之前,还有shuffle阶段,可以自定义分区的方式(Partitioner),可以自定义排序(WritableComparable),还可以在自定义排序的基础上分组(GroupingComparator),同时还可以选择是否要提前合并一下分区的数据(Combiner)以加快Reduce的运行