【SBATCH&bsub】商用超算作业调度系统

本文链接：https://blog.csdn.net/weixin_45790952/article/details/143746560

作业调度系统由超算平台决定还是模式本身决定？（AI回复）

调度系统既不完全由模式本身决定，也不完全由超算平台决定，而是两者共同作用的结果。

一方面，超算平台通常会根据自身的硬件架构、资源规模、使用需求和管理策略等选择或开发适合的调度系统。不同的超算平台可能会采用不同的调度系统，以更好地管理和分配其计算资源，满足用户的不同需求。例如，一些超算平台可能选择使用商业调度系统如 IBM LoadLeveler 或 Platform Computing 的 LSF，而另一些可能使用开源调度系统如 SLURM（Simple Linux Utility for Resource Management）等。

另一方面，特定的计算模式或应用场景也可能对调度系统有一定的要求。例如，大规模并行计算模式可能需要调度系统能够有效地管理和分配大量的处理器资源，支持并行作业的提交和管理；而交互式计算模式可能需要调度系统能够快速响应用户请求，提供即时的资源分配。一些特定的科学计算领域，如气象模拟、生物信息学等，可能也有其特定的计算需求，这可能会影响超算平台对调度系统的选择和配置。

调度系统是超算平台和计算模式等多种因素共同作用的结果。

SBATCH和bsub共同使用

在一些情况下，虽然 “sbatch” 通常是用于 Slurm 调度系统提交作业的命令，而 “bsub” 通常是用于其他调度系统（如 IBM 的 LoadLeveler 或 Platform Computing 的 LSF）的命令，但如果在超算环境中可以联合使用可能有以下原因：

1、封装或别名设置：

超算管理系统可能对这些命令进行了封装或设置了别名，使得用户可以通过一个统一的接口来提交作业，而实际上内部可能会根据不同的需求调用不同的调度系统命令。例如，可能创建了一个脚本或工具，在这个工具中根据特定的条件判断使用 “sbatch” 还是 “bsub”，但对外呈现为可以同时使用。

2、混合调度环境：

超算中心可能在不同的资源分区或针对不同的用户组使用了多种调度系统，并且通过一些中间件或自定义的管理工具来实现联合使用不同调度系统的命令提交作业。这样可以在一定程度上满足不同用户的需求或适应不同的应用场景。

IBM LoadLeveler

LoadLeveler 广泛应用于科学计算、工程模拟、数据分析等领域，特别是在需要大规模并行计算和高效资源管理的环境中。它可以帮助用户充分利用超算中心、数据中心等高性能计算资源，提高计算效率和生产力。

1、提交作业

使用 “bsub” 命令提交作业，指定作业的资源需求、执行命令、输入输出文件等参数。
例如：bsub -b -m 1 -p -q queue_name -J case_name -n 240 -o cesm.log.$LID '/root/cesm.run/case_name/bld/cesm.exe`
-q queue_name：
- 将作业提交到特定的队列。不同的队列可能具有不同的资源限制和优先级。
- 例如：bsub -q high_priority_queue my_command，提交作业到名为 “high_priority_queue” 的队列。
-J job_name：
- 为作业指定一个名称。这有助于在作业队列中识别和管理作业。
- 例如：bsub -J my_job_name ls -l，这里将作业命名为 “my_job_name”，并执行ls -l命令。
-n num_processors：
- 指定作业所需的处理器数量。这对于并行作业非常重要。
- 例如：bsub -n 4 my_parallel_program，表示该作业需要 4 个处理器。
-o output_file：
- 指定作业的标准输出文件。作业的输出将被重定向到这个文件中。
- 例如：bsub -o my_job_output.txt my_command，作业的输出将被保存到 “my_job_output.txt” 文件中。
-e error_file：
- 指定作业的标准错误文件。如果作业出现错误，错误信息将被写入这个文件。
- 例如：bsub -e my_job_errors.txt my_command。
-W time_limit：
- 设置作业的运行时间限制。格式通常为hh:mm，表示小时和分钟。
- 例如：bsub -W 02:30 my_long_running_job，设置作业的运行时间限制为 2 小时 30 分钟。
-R "resource_requirements"：
- 指定作业的资源需求。可以使用特定的语法来描述资源需求，如内存、磁盘空间等。
- 例如：bsub -R "rusage[mem=1024]" my_memory_intensive_job，表示作业需要 1024MB 的内存。
root：要执行的命令或程序的路径，即执行位于该路径下的 “cesm.exe” 程序