大数据技术生态体系
推荐系统框架图
创建用户
Yarn资源调度器
5.1 Yarn基本架构
YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成,如图4-23所示。
YARN架构概述
5.3 Yarn工作机制
Yarn运行机制(MapReduse)
5.4 作业提交全过程
1.作业提交过程之YARN
2.作业提交过程之MapReduce
5.5 资源调度器
1.先进先出调度器(FIFO)
只有一个队列,且一个队列中只允许一个job执行,及job执行的并发度只有1
2.容量调度器(Capacity Scheduler)
容量调度器其实是多个FIFO调度器的组合,并发度更高
每个队列中同时可以有一个job运行。队列之间的job是并发运行的
3.公平调度器(Fair Scheduler)
同一个队列中的job也可以并发执行,对集群的性能要求比较高,如果集群性能达不到,可能所有的任务执行的都很慢
5.6 任务的推测执行
1.作业完成时间取决于最慢的任务完成时间