MapReduce简介

MapReduce

1.优点
适合离线数据处理
mapreduce编程简单
扩展性良好
高容错性

2.缺点
不适合实时计算(实时计算:毫秒级别/秒级别，离线计算:秒级别以上)
不适合流式计算(mapreduce处理的数据是静态的，不是流式的数据)
不适合DAG(有向图)计算

3.核心思想
（1）简单的一句话概括:“移动计算而非移动数据”。
（2）程序员将自己写好的业务逻辑代码和mr自带的一些组件打包成计算程序，移动到有数据存储的节点上，这样可以利用多节点的cpu的并发能力，提高计算效率(怎么提高的?一减少数据移动的开销，二利用了并发计算原理)
（3）mapreduce是分为两个阶段，map阶段处理的是块文件(原始文件)，计算后的结果存储本地磁盘，reduce阶段要跨节点fetch属于自己要处理的数据，计算后的结果存储到hdfs上(当然也可以存储到客户端所在的本地磁盘)

4.Map阶段
map阶段处理的是原始数据，也就是块文件（处理的是本存储节点上的数据）。会将处理的块文件，以切片的形式进行逻辑运算。通过映射关系进行一一映射。map阶段会有多个mapTask,这些任务并发运行，互不干扰。
默认情况下，按行进行映射成键值对，形成K1，V1
原始块文件
|
|
K1,V1(有N个kv对，K1是行偏移量,V1是行记录，也就是行内容)
|
|
map方法
|
| 每一对K1V1都会调用一次map方法，在map方法里进行处理，形成K2V2
K2，V2 (存储到本地磁盘)

5.Reduce阶段
reduce阶段处理的是map阶段计算出来的数据(临时数据)，reduce阶段也会有多个reduceTask,并发运行，互不干扰。reduce处理的数据通常都是要跨节点fetch属于自己处理的数据。
fetch属于自己的一堆K2,V2，先形成<K2,<V2,V2,V2>>
|
|
reduce方法
|
| 同一个K2调用一次reduce方法，在reduce方法里进行处理，形成K3,V3
|
K3,V3(存储到HDFS上)