EdiosnMa的博客

开源项目 microsoft PAI alibaba/GPU-scheduler-for-deep-learning，论文“AntMan: Dynamic Scaling on GPU Clusters for Deep Learning”的实现

Kubernetes Scheduler原理分析 调度器的作用是将待调度的Pod按照特定的调度算法和调度策略绑定到集群中的某个合适的Node上，并将信息写入etcd中。目标节点上的kubelet通过API Server监听到Kubernetes Scheduler产生的Pod绑定事件，获取对应的Pod清单，下载Image镜像。 调度过程中涉及的三个对象： 待调度Pod列表 可用Node列表 调度算法和调度策略 默认调度的调度流程分成两步： 4. 预选调度过程：遍历所有目标Node，筛选出符合要求的候选节

集群调度器中的调度算法 贪心调度：分成两个步骤，（1）过滤：根据用户的需求过滤掉一部分的节点。（2）优选：对过滤后的节点进行打分，选择分数最大的节点。 这种调度方式对于一个作业来说是最优解，但是对于对于整体来说一般不是最优解。 典型使用这种算法的调度有：k8s、openstack 中的nova调度器 公平性调度： min-max fair：考虑用户集合1, …, n分别有资源需求x1, x2, …, xn.不失一般性,令资源需求满足x1 <= x2 <= … <= xn.令服务器具有能力