linux环境下作业调度,Linux集群环境下作业调度算法的研究与实现

摘要：

集群计算环境中的作业调度接收用户提交的作业请求,并采用适当的调度策略选择计算节点资源来运行用户作业。作业调度策略决定了整个集群系统的效率,尤其是提交计算量大的作业时,良好的作业调度可以大大加快执行速度,因此,作业调度策略是提高集群系统执行并行作业的效率及系统资源利用率的关键因素,对提高集群系统的并行处理能力具有重大的意义。 本文深入分析了集群作业管理系统OpenPBS提供的作业调度策略和当前常用的集群作业调度策略,并对预约回填策略和负载平衡进行了研究,提出并实现了结合节点负载及预约回填的调度策略。本文主要工作包括: ⑴研究了目前应用广泛的集群作业管理系统OpenPBS的作业调度过程,并分析了其提供的作业调度策略。对目前的一些通用的作业调度策略进行了分析和比较,探讨了预约和回填策略的特点和优势。 ⑵负载平衡直接影响到集群系统的资源利用率和系统的并行计算性能,本文提出并实现了一种结合节点负载及预约回填的调度策略,充分考虑了节点负载,减少了资源碎片的产生,提高了系统的吞吐率和利用率。 ⑶在OpenPBS的调度模块中添加结合节点负载及预约回填的调度策略,作业调度模块将充分利用OpenPBS的作业管理框架完成对作业的调度,并提供资源预留和调度的功能。 ⑷搭建了一个小型集群系统作为测试平台,对本文提出的调度策略与FirstFit调度策略、FCFS调度策略进行比较,并将添加了结合节点负载及预约回填调度策略的OpenPBS与原有的OpenPBS相比较,结果表明了所提出的结合节点负载及预约回填的调度策略在负载平衡、系统资源利用率和吞吐率方面具有明显的优越性。

展开