MapReduce工作原理流程图文详解（MapTask过程、Shuffle过程、ReduceTask过程）

工作流程一：

工作流程二：

一个完整的mapreduce程序在分布式运行时有三类实例进程：
1）MrAppMaster：负责整个程序的过程调度及状态协调
2）MapTask：负责map阶段的整个数据处理流程
3）ReduceTask：负责reduce阶段的整个数据处理流程

工作全流程详解：
上面图一和图二中的流程是整个MapReduce最全工作流程，主要包括MapTask阶段、Shuffle阶段和ReduceTask阶段，而Shuffle阶段和MapTask阶段、ReduceTask阶段都存在交集，具体流程如下：

1. 准备好待处理的文本
2. 客户端submit（）前，获取待处理数据的信息，然后根据参数配置形成一个任务分配的规划
3. 客户端向Yarn集群提出请求创建Mr appmaster并提交切片等相关信息：job.split、wc.jar(集群模式才需要)、job.xml
4. Yarn调用ResourceManager来创建Mr appmaster，而Mr appmaster则会根据切片的个数来创建几个Map Task。于是，MapTask进程开始工作。
5. MapTask们