开源项目
- microsoft PAI
- alibaba/GPU-scheduler-for-deep-learning,论文“AntMan: Dynamic Scaling on GPU Clusters for Deep Learning”
论文提出了GPU不能充分利用的两个原因:
- 深度学习的op图不能完全的并行,由于存在数据依赖因此就会产生上下文切换。
- 资源预留方案的gang调度导致资源空闲。
传统解决GPU利用率低方案的不足: - 共享GPU:不能保证作业的性能。
AntMan联合设计了cluster-scheduler和DL framework scheduler。为了共享GPU资源并且尽量减少作业间的干扰,对作业进行了分类:资源保证作业与机会作业。
其中cluster-scheduler:对不同类型作业选择不同的节点,对于资源保证作业就去选择满足资源条件的节点,对于机会作业就会去选择资源利用最低的节点以提高资源利用率。