https://www.cnblogs.com/frankdeng/p/9311474.html
http://dongxicheng.org/mapreduce-nextgen/yarnmrv2-resource-manager-resource-manager/
mapreduce1中工作机制主要包括客户端,jobtracker,tasktracker
- Jobtracker协调作业的运行
- Tasktracket负贵运行作业划分之后的任务
- 客户端向jobtracker请求一个新的作业,检查作业的输出路径是否存在,若存在则抛出异常。然后job向客户端返回job相关资源的提交路径以及jobid
- 客户端将job所需的资源(jar文件、配量文件)提交到共享文件系统(hdfs)
- 告知jobtracker已将job所需的资源复制到共享文件系统,准备执行。
- jobtracker将提交的job放入内部的任务队列,由作业调度器进行调度,并进行初始化(包括创建一个表示正在运行作业的对象,用于封装任务和记录信息)
- jobtracker的作业调度器从共享文件系统获取客户端计算好的输入分片,以创建任务运行列表。
- tasktracker通过心跳与jobtracker保持通信,报告自己的状态,以及是否准备好运行一个task,若是则jobtracker通过一定的调度算法分配一个task分配给tasktracker. <