mapreduce&yarn的工作机制

yarn的简单介绍
Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而mapreduce等运算程序则相当于运行于操作系统之上的应用程序
1、yarn并不清楚用户提交的程序的运行机制
2、yarn只提供运算资源的调度（用户程序向yarn申请资源，yarn就负责分配资源）
3、yarn中的主管角色叫ResourceManager
4、yarn中具体提供运算资源的角色叫NodeManager
5、这样一来，yarn其实就与运行的用户程序完全解耦，就意味着yarn上可以运行各种类型的分布式运算程序（mapreduce只是其中的一种），比如mapreduce、storm程序，spark程序，tez ……
6、所以，spark、storm等运算框架都可以整合在yarn上运行，只要他们各自的框架中有符合yarn规范的资源请求机制即可

yarn的工作机制

分析：
下面就拿前面做过的实践，比如wordcount程序来分析
1、当我们把wordcount.jar包上传到集群中的机器时，运行了main方法提交了job，job.submit()，会生成个代理对象YARNRUNNER。
2、该对象会请求yarn集群的主节点resourceManager,申请提交一个程序（application），resourceManager会响给YARNRUNNER一个资源提交的路径。
3、YARNRUNNER拿到该路径后，会将job相关资源文件（这些文件在submit的时候会生成）job.splits(切片信息)，job.xml（配置相关信息），打的jar包(比如这里的是wordcount.jar)，提交到该路径下。
4、提交好之后YARNRUNNER向resourceManager告知提交完毕。申请运行 mapreduce application master（mrAppMaster）。
5、resourceManager收到请求后，将用户的请求信息初始化为一个任务（task），这里存在这样一个问题，如果同时有多个mr程序来跑那么就有多个task，到底执行哪个呢？图中给出了三种策略，以前默认的就是FIFO(队列，先进先出)，现在好像是Capacity(充分利用资源，比如有个程序跑的时候用了很多资源，但是跑完了一部分就会回收一部分资源给其他task去跑)。这里就比如是FIFO吧。
6、当task进入队列后，由于resourceManager和dataManager会存在心跳来感知，所以会有个健康的节点能拿到task任务。
7、当某个节点拿到任务后，会创建容器Container，可以理解就是一个YarnChild，它来分配cpu，内存等资源信息（yarn就可以理解为一个操作系统），底层利用了linux的cgroup机制(并不理解)类似于docker，创建容器的同时也会到前面指定的目录下下载job提交的资源到本地，启动mrAppMaster。关于mrAppMaster在wordcount程序原理与实现 说过。
8、mrAppMaster会向resourceManager申请运行map task的容器，按照图中就是2个，resourceManager会分配容器。
9、节点领取到task后同前面一样会创建容器。
10、一旦创建好之后，mrAppMaster会监督到，接着会发送程序启动脚本使得两个maptask跑起来，会将kv（键值对数据）输出到最终的文件中（文件中的kv分区且排序的）。
11、当maptask跑完之后，mrAppMaster还会向resourceManager申请跑reduce task程序的容器。
12、跑reduce task程序的三个容器创建好了之后会去map端获取分相应区数据，值得注意的是，maptask执行完之后YarnChild这个进程就会关闭那么容器就不存在了也就没有maptask，但是已经生产好了文件，这些文本被nodeManager所管理，可以找它们要。