Hadoop之Yarn

1.工作机制
（1）首先由MR程序所提交到的客户端节点向RM申请一个Application。
（2）完了RM会给客户端节点一个地址需要将执行的文件以及配置信息还有切片数通过这个地址提交回给RM。
（3）此时RM会将其申请做成一个Task并将其添加到调度队列中。
（4）这时如果有资源NodeManager就会将Task任务领取过来在内部Container获取之前提交过来的切片数量并返回给RM。
（5）去申请相应数量的NodeManager并在内部创建一个Container去完成MapTask.
（6）当MapTask执行完就会去申请相应数量的NodeManager并在内部创建一个Container去完成ReduceTask，最后返回资源。
2.调度器
（1）FIFO、容量、公平调度器
Apache默认调度器：容量
CDH默认调度器：公平调度器
（2）FIFO调度器特点：
单队列，先进先出，在企业开发中没人使用
（3）容量调度器：
支持多队列，先进来的任务优先享有资源
（4）公平调度器
支持多队列，每个任务公平享有资源 并发度最高。
（5）在生产环境如何选择掉调度器
对并发度要求比较高，同时机器性能比较好，选择公平； 大公司
如果并发度不高，机器性能比较差，选择容量： 中小公司
（6）在生产环境下队列怎么创建？
容量调度器默认只有一个default队列；
按照框架名称：hive、spark、flink
按照业务名称：登录、购物车、支付模块、部门1、部门2 （居多）
好处：解耦、降低风险、可以实现任务降级（部门1》部门2》购物车）