Mapreduce编程模型（一）

1.1Mapreduce模型简介

        Mapreduce是一种可用于数据处理的编程模型，Hadoop上可以运行各种语言版本的Mapreduce程序。Mapreduce程序是并行运行的，采用了分治的思想。编程核心思想：键值对思想

        Mapreduce只需要用Map和Reduce的思想即可解决问题，即编写map()和reduce()函数

        Mapreduce编程的特点：

• 开发简单
• 可扩展性强
• 容错性强

1.2 Mapreduce运行机制简介

 Mapreduce发展过程中经历了两个版本：MRv1和YARN/MRv2

• MRv1的运行环境由Job Tracker和Task Tracker两部分组成

服务	功能
Job Tracker	资源管理&所有作业的控制
Task Tracker	主要是接收Job Tracker的命令并执行

• MRv2：基于YARN的第二代MapReduce的计算框架

                        提出了全新资源管理的框架YARN。

YARN中JobTracker

JobTracker	ResourceManager	负责所有应用程序的资源分配
	ApplicationManager	仅负责管理一个应用程序

1.3Mapreduce架构优缺点

        1.优点

•  良好的扩展性
• 高容错性
• 易于编程
• 适合PB级别以上的大数据的分布式离线批处理

        2.局限性

• Mapreduce执行速度慢
• Mapreduce过于底层
• 不是所有算法都能用Mapreduce实现