《大数据： Hadoop（MapReduce） 核心思想与运行流程分析》

一、MR（MapReduce）的核心思想

1.概念

• Job(作业) :  一个MR程序称为一个Job
• MRAppMaster（MR任务的主节点）: 一个Job在运行时，会先启动一个进程，这个进程为 MRAppMaster。负责Job中执行状态的监控，容错，和RM申请资源，提交Task等
• Task(任务)：  Task是一个进程！负责某项计算
• Map(Map阶段): Map是MapReduce程序运行的第一个阶段

• Map阶段的目的是将输入的数据，进行切分。将一个大数据，切分为若干小部分！切分后，每个部分称为1片(split)，每片数据会交给一个Task（进程）进行计算
• Task负责是Map阶段程序的计算，称为MapTask