大数据学习（九）：mapreduce编程模型及具体框架实现

map reduce编程模型把数据运算流程分成2个阶段
    阶段1：读取原始数据，形成key-value数据(map方法)
    阶段2:将阶段1的key-value数据按照相同key分组聚合(reduce方法)

mapreduce编程模型软件的具体实现:
    hadoop中的mapreduce框架、spark。
    hadoop中的mapreduce框架:
        对编程模型阶段1实现就是:map task
        对编程模型阶段2的实现就是reduce task。

map task:
   读数据:InputFormat–>TextInputFormat 读取文本文件
                                 -->SequenceFileInputFormat 读sequence文件
                                 -->DBInputFormat 读数据库
  处理数据:maptask通过调用Mapper类的map()方法实现对数据的处理。
  分区:将map阶段产生的key-value数据分发给若干个reduce task来分担负载，maptask调用partition类的getPartition()方法来决定如何划分数据给不同的reduce task。
  对key-value数据做排序:调用key.compareTo()方法来实现对key-value数据排序

reduce task:
  读数据:通过http方式从maptask产生的数据文件中下载术语自己的"区"的数据到本地磁盘，然后将多个"同区文件"做合并(归并排序)
  处理数据:通过调用GroupingComparator的compare()方法来判断文件中的那些key-value属于同一组，然后将这一组数据传给Reducer类的reduce()方法聚合一次
  输出结果:调用OutputFormat组件将结果key-value数据写出去