MapReduce框架结构与运行流程

       Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架；Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。

为什么要MapReduce？

（1）海量数据在单机上处理因为硬件资源限制，无法胜任

（2）而一旦将单机版程序扩展到集群来分布式运行，将极大增加程序的复杂度和开发难度

（3）引入mapreduce框架后，开发人员可以将绝大部分工作集中在业务逻辑的开发上，而将分布式计算中的复杂性交由框架来处理

一、MapReduce框架结构与运行流程

’1.1MapReduce结构

       一个完整的mapreduce程序在分布式运行时有三类实例进程：

      1、MRAppMaster：负责整个程序的过程调度及状态协调

      2、mapTask：负责map阶段的整个数据处理流程

      3、ReduceTask：负责reduce