本文探讨了分布式系统中的资源调度，旨在提高资源利用率，加强数据共享，并支持多版本计算框架。文章介绍了资源调度的概念模型，通用架构，以及面临的挑战，如异质性、数据局部性和资源隔离。详细讲解了公平调度、能力调度、延迟调度和主资源公平调度等策略，并以mesos和yarn为例，展示了两种不同的两级调度架构及其优化方法，强调了数据局部性和资源公平性的重要性。
目的
1.提高整体资源利用率
2.增加数据共享能力，较少了存储压力
3.支持多版本计算框架（是因为任务由某机器统一分发？）
资源调度概念模型
资源：内存，cpu，磁盘，IO
1.资源组织模型
2.调度策略
3.任务组织模型
通用架构
1.每个节点包括一个节点管理器，用于管理节点（分配，隔离容器）
2.资源调度器分为两块
（1）资源收集器，收集节点可用资源，放入资源池
（2）资源调度策略，调度资源池的资源分配给工作（任务）队列
调度问题
1.异质性问题
2.数据的局部性
3.是否抢占式
4.资源分配的粒度
5.饿死与死锁
6.资源隔离
调度范型
集中调度：完全集中的调度
两级调度：分两级的集中调度
状态共享调度：每个计算框架都有整个系统的计算资源，以计算框架级别看是一个分布式调度。通过维护自身的资源副本信息并全局保证一致性（集中式？），就可以申请到资源。
调度策略
公平调度
多任务分配至多个资源池，资源池之间具有资源数量与优先级差异
1.抢占式调度，若某池长期未被分配到公平资源，调度器将杀死资源过多池中
最低0.47元/天 解锁文章
扫一扫
220
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
