MapReduce
1.优点
适合离线数据处理
mapreduce编程简单
扩展性良好
高容错性
2.缺点
不适合实时计算(实时计算:毫秒级别/秒级别,离线计算:秒级别以上)
不适合流式计算(mapreduce处理的数据是静态的,不是流式的数据)
不适合DAG(有向图)计算
3.核心思想
(1)简单的一句话概括:“移动计算而非移动数据”。
(2)程序员将自己写好的业务逻辑代码和mr自带的一些组件打包成计算程序,移动到有数据存储的节点上,这样可以利用多节点的cpu的并发能力,提高计算效率(怎么提高的?一减少数据移动的开销,二利用了并发计算原理)
(3)mapreduce是分为两个阶段,map阶段处理的是块文件(原始文件),计算后的结果存储本地磁盘,reduce阶段要跨节点fetch属于自己要处理的数据,计算后的结果存储到hdfs上(当然也可以存储到客户端所在的本地磁盘)
4.Map阶段
map阶段处理的是原始数据,也就是块文件(处理的是本存储节点上的数据)。会将处理的块文件,以切片的形式进行逻辑运算。通过映射关系进行一一映射。map阶段会有多个mapTask,这些任务并发运行,互不干扰。
默认情况下,按行进行映射成键值对,形成K1,V1
原始块文件
|
|
K1,V1(有N个kv对,K1是行偏移量,V1是行记录,也就是行内容)
|
|
map方法
|
| 每一对K1V1都会调用一次map方法,在map方法里进行处理,形成K2V2
K2,V2 (存储到本地磁盘)
5.Reduce阶段
reduce阶段处理的是map阶段计算出来的数据(临时数据),reduce阶段也会有多个reduceTask,并发运行,互不干扰。reduce处理的数据通常都是要跨节点fetch属于自己处理的数据。
fetch属于自己的一堆K2,V2,先形成<K2,<V2,V2,V2>>
|
|
reduce方法
|
| 同一个K2调用一次reduce方法,在reduce方法里进行处理,形成K3,V3
|
K3,V3(存储到HDFS上)