应用感知的算力优化调度方法

摘要

【目的】在“东数西算”工程的大背景下,为了更好地实现对分布在不同地域超级计算机资源的调度管理,针对计算资源忙闲不均等问题,提出通过研究典型应用作业的运行特征,开发多中心任务的调度系统,以解决国家高性能计算环境统一调度的关键技术问题。【方法】首先收集了若干超级计算中心的应用运行历史情况,建立了应用运行历史数据库;其次将用户应用对资源的需求和典型应用的资源使用特征分析相结合,通过机器学习的方法,建立了一种可精确描述应用特征的框架;然后实现了跨集群高性能计算应用的容器方式迁移;最后研究了基于多中心应用特征的任务调度方法,开发了基于应用感知的全局资源优化调度系统。【结果】该系统为国家高性能计算环境服务化运营和稳定运行提供了有力的技术支撑。【结论】基于应用感知的算力优化调度方法可望有效提高“东数西算”的可靠性、可用性和可维护性。

关键词： 高性能计算系统; 历史数据库; 应用特征; 算力调度方法

引言

近年来,随着我国高性能计算应用的发展,应用领域和计算需求逐步增加