MapReduce要点复习

两个核心点:
mapreduce编程模型:把数据运算流程分成2个阶段:
阶段1:读取原始数据,形成key-va1ue数据( map方法)
阶段2:将阶段1的key-va1ue数据按照相同key分组聚合(reduce方法)
mapreduce编程模型的具体实现(软件) : hadoop 中的mapreduce框架; spark;
hadoop中的mapreduce框架:
对编程模型阶段1的实现就是: map task
对编程模型阶段2的实现就是: reduce task

maptask:
读数据: InputF ormat-->TextInputFormat读文本文件
                                  -- >SequenceFi1eInputF ormat读Sequence文件
                                  -- >DBInputF ormat读数据库
处理数据: maptask通过调用Mapper类的map 0)方法实现对数据的处理
分区:将map阶段产生的key-value数据，分发给若干个reduce task来分担负载，maptask调用
Partitioner类的getPartition()方法来决定如何划分数据给不同的reduce task
对key-va1ue数据做排序:调用key. compareTo ()方法来实现对key-value数据排序

reduce task
读数据:通过http方式从maptask产生的数据文件中下载属于自己的“区”的数据到本地磁盘，然后将多个“同区文件”做合并(归并排序)
处理数据:通过调用GroupingComparator的 compare ()方法来判断文件中的哪些key-value属于同一组,然后将这-组数据传给Reducer类的reduce()方法聚合一次
输出结果:调用0utputFormat组件将结果key-value数据写出去
                               OutputFormat --> TextOutputFormat写文本文件(一对key- va1ue写-行，分隔符用\t)
                                                            SequenceFileOutputFormat写Sequence文件(直接将key-va1ue对象序列化到文件中)

                                                            DBOutputFormat

 

 

                                                            DBOutputFormat