浅析mapreduce工作机制

看了视频，做一个小小的总结

两个核心点：
map reduce编程模型：把数据运算分成两个阶段
阶段一：读取原始数据，形成key-value数据（map方法）
阶段二：将阶段一的key-value数据按照相同key分组聚合（reduce方法）

mapreduce编程模型的具体实现（软件）：hadoop中的mapreduce框架；spark;
hadoop中的mapreduce框架：
对编程模型阶段一的实现就是：map task
对编程模型阶段二的实现就是：reduce task

对进行统计的文件数据切片，规格是128M
split文件

maptask通过TextInputFormat对切片文件进行读取
处理数据：maptask通过调用Mapper类map()方法实现对数据的处理

分区：将map阶段产生的key-value数据，分发给若干个reduce task来分担负载，map task调用Partitioner类的getPartitioner()方法来决定如何划分数据给不同的reduce task
对key-value数据做排序：调用key.compareTo()方法来实现对key-value数据做排序

reducetask

读数据：通过http方式从maptask产生的数据文件中下载属于自己的“区”的数据到本地磁盘，然后将多个“同区文件”做合并（归并排序）

处理数据：通过调用GroupingComparator的compare()方法来判断文件中那些key-value属于同一组，然后将这一组数据传给Reducer类的reduce()方法聚合一次

输出结果：调用OutputFormat组件将结果key-value数据写出去