maprecude总结

- map task：

读数据：InputFormat–>TextInputFormat 读文本文件
–>SequenceFileInputFormat 读Sequence文件
–>DBInputFormat 读数据库

处理数据：maptask通过调用Mapper类的map（）方法实现对数据的处理

分区： 将map阶段产生的key-value数据，分发给若干个reduce task来分担负载，map task调用Partitioner类的getPartition（）方法来决定如何划分数据给不同的reduce task

对key-value数据做排序：调用key.compareTo()方法来实现对key-value数据排序

- reduce task：

读数据：通过http方式从maptask产生的数据文件中下载属于自己的“区”的数据到本地磁盘，然后将多个“同区文件”做合并（归并排序）

处理数据：通过调用GroupingComparator的compare（）方法来判断文件中的哪些key-value属于同一组，然后将这一组数据传给Reducer类的reduce（）方法聚合一次
输出结果：调用OutputFormat组件将结果key-value数据写出去
OutputFormat–>TextOutputFormat写文本文件（分隔符\t)
–>SequenceFileOutputFormat写Sequence文件（直接将key-value对象序列化到文件中）