主流CAE仿真软件如何在Linux&HPC并行计算集群上使用pbs或slurm脚本提交作业（上）？

已于 2024-06-28 15:37:36 修改
阅读量561 收藏 5
点赞数 14
分类专栏： Linux并行计算&HPC高性能计算 文章标签： HPC Linux并行计算 CAE仿真软件 slurm pbs
于 2024-06-24 07:51:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27815483/article/details/139896484
版权

内容介绍：

本文主要介绍，主流CAE仿真软件,如大型有限元分析软件ANSYS FLUENT、ANSYS MECHANICAL、ANSYS CFX、ANSYS LS-DYNA，ABAQUS、HFSS、NASTRAN、CST、STAR-CCM+、NUMECA、FEKO、COMSOL在HPC或Linux并行计算集群上如何使用pbs或slurm作业调度系统脚本提交作业以及如何使用软件在命令行提交作业，旨在帮助初入科研行业的小伙伴们，轻松使用以上软件在集群上快速运行自己的算例，不再为软件工具的使用或如何批量提交作业而煞费心思，从而回归到科研本身，欢迎有需要的伙伴学习！

1. FLUENT标准测试

1.1 Fluent journal控制文件

cat truck_111m.jou
/file/rc truck_111m.cas
/solve/initialize/initialize-flow
/parallel/timer/reset
/solve/iterate 40
/parallel/timer/usage
/exit
OK

1.2 slurm测试脚本范例

#!/bin/bash
#SBATCH -J truck_14m
#SBATCH -N 16
#SBATCH -n 512
#SBATCH -p sugon
#SBATCH --ntasks-per-node=32
#SBATCH -o %x_%j.log
srun hostname | sort > hosts //获取mpi运行节点
job_name=${SLURM_JOB_NAME}
INPUT_FILE=truck_14m.jou  //fluent journal控制文件
/public/software/ANSYS/ansys2019/ansys_inc/v190/fluent/bin/fluent 3d -g -pinfiniband -t"$SLURM_NTASKS" -cnf=hosts -cflush -i "$INPUT_FILE" -mpi=intel -ssh >& "${SLURM_JOB_NAME}".txt     //命令行运行程序 3d表示三维单精度，对应的还有3ddp、2d、2ddp dp代表双精度 -g不开启图形界面 -p指定网络infiniband、ethernet -t总的核数 -cnf 运行的节点文件列表 -i journal输入文件 -mpi指定mpi类型2021以前intelmpi和ibmmpi、21以后intelmpi和openmpi -ssh节点互连认证方式 -cflush清空内存缓存

1.3 pbs测试脚本范例

#!/bin/bash
#PBS -N test  ##作业名自定义
#PBS -q normal  ##替换成实际的队列
#PBS -l nodes=node1:32 ##替换成实际的资源
#PBS -o std.out
#PBS -e std.err
NP=`cat $PBS_NODEFILE | wc -l`  ##计算总核数
cat $PBS_NODEFILE  | sort  > hosts ##获取节点列表
/public/software/ANSYS/ansys2019/ansys_inc/v190/fluent/bin/fluent 3d -g -pinfiniband -t"$SLURM_NTASKS" -cnf=hosts -cflush -i "$INPUT_FILE" -mpi=intel -ssh >& truck_111m.txt     //命令行运行程序 3d表示三维单精度，对应的还有3ddp、2d、2ddp dp代表双精度 -g不开启图形界面 -p指定网络infiniband、ethernet -t总的核数 -cnf 运行的节点文件列表 -i journal输入文件 -mpi指定mpi类型2021以前intelmpi和ibmmpi、21以后intelmpi和openmpi -ssh节点互连认证方式-cflush清空内存缓存

1.4 命令行方式测试提交作业

1)SMP运行方式：

/public/software/ANSYS/ansys2019/ansys_inc/v190/fluent/bin/fluent 3d -g -pinfiniband -t"$SLURM_NTASKS" -i "$INPUT_FILE" >& truck_111m.txt     //命令行运行程序 3d表示三维单精度，对应的还有3ddp、2d、2ddp dp代表双精度 -g不开启图形界面 -t总的核数 -i journal输入文件

2)MPP运行方式：

/public/software/ANSYS/ansys2019/ansys_inc/v190/fluent/bin/fluent 3d -g -pinfiniband -t"$SLURM_NTASKS" -cnf=hosts -cflush -i "$INPUT_FILE" -mpi=intel -ssh >& truck_111m.txt     //命令行运行程序 3d表示三维单精度，对应的还有3ddp、2d、2ddp dp代表双精度 -g不开启图形界面 -p指定网络infiniband、ethernet -t总的核数 -cnf 运行的节点文件 -i journal输入文件 -mpi类型2021以前intelmpi和ibmmpi、21以后intelmpi和openmpi -ssh节点互连认证方式

 2. MECHANICAL标准测试

2.1 slurm测试脚本范例

#!/bin/bash
#SBATCH -J V17cg
#SBATCH -N 16
#SBATCH -n 576
#SBATCH -p intel36_2
#SBATCH --ntasks-per-node=36
job_name=${SLURM_JOB_NAME}
INPUT_FILE=V17sp-5.dat
machines=""
for i in $(scontrol show hostnames=$SLURM_JOB_NODELIST); do
        machines=$machines:$i:$SLURM_NTASKS_PER_NODE
done
machnies=${machines#:}
/public/software/test/ansys192/ansys_inc/v192/ansys/bin/ansys192 -b -i "${INPUT_FILE}" -dis -mpi intelmpi -machines "$machines" >& ${job_name}.log  ##-b不开启图形界面 -i输入控制文件 -dis分布式并行 -mpi指定Mpi类型 -machines 指定节点名称和核数(node1:30:node2:30)

2.2 pbs测试脚本范例

#!/bin/bash
#PBS -N test  ##作业名自定义
#PBS -q normal  ##替换成实际的队列
#PBS -l nodes=node1:32 ##替换成实际的资源
#PBS -o std.out
#PBS -e std.err
NP=`cat $PBS_NODEFILE | wc -l`  ##计算总核数
Machines=$(cat $PBS_NODEFILE|sort|uniq -c|awk '{print $2":"$1}'|sed ':a;N;s/\n/:/g;t a') ##获取节点列表
/public/software/test/ansys192/ansys_inc/v192/ansys/bin/ansys192 -b -i "${INPUT_FILE}" -dis -mpi intelmpi -machines "$machines" >& V17cg.log  ##-b不开启图形界面 -i输入控制文件 -dis分布式并行 -mpi指定Mpi类型 -machines 指定节点名称和核数(node1:30:node2:30)

2.3 命令行方式测试提交作业

1)SMP提交方式：

/public/software/test/ansys192/ansys_inc/v192/ansys/bin/ansys192 -b -i "${INPUT_FILE}" -np 40 >& V17cg.log  ##-b不开启图形界面 -i输入控制文件 -np指定节点运行的核数可根据实际情况调整

2)MPP提交方式：

/public/software/test/ansys192/ansys_inc/v192/ansys/bin/ansys192 -b -i "${INPUT_FILE}" -dis -mpi intelmpi -machines "$machines" >& V17cg.log  ##-b不开启图形界面 -i输入控制文件 -dis分布式并行 -mpi指定mpi类型 -machines 指定节点名称和核数(node1:30:node2:30)

3. CFX标准测试

3.1 slurm测试脚本范例

#!/bin/bash
#SBATCH -J perf_Airfoil_50M_R16M
#SBATCH -N 8
#SBATCH -n 288
#SBATCH -p intel36
#SBATCH --ntasks-per-node=36
#SBATCH -w comput[175-182]
job_name=${SLURM_JOB_NAME}
INPUT_FILE=perf_Airfoil_50M_R16M.def
hosts=`srun hostname | sort | uniq -c| awk '{print $2"*"$1}'|sed ':a;N;s/\n/,/;ta'` ##获取运行节点列表
/public/software/test/ansys192/ansys_inc/v192/CFX/bin/cfx5solve -batch -affinity explicit -parallel -single -def "${INPUT_FILE}" -par-dist ${hosts} >& ${job_name}.log  ##-batch 批处理运行方式 -affinity开启进程绑定
-parallel 并行方式运行 -single单精度 -def 算例输入文件 -par-dist 运行的节点和核数

3.2 pbs测试脚本范例

#!/bin/bash
#PBS -N test  ##作业名自定义
#PBS -q normal  ##替换成实际的队列
#PBS -l nodes=node1:32 ##替换成实际的资源
#PBS -o std.out
#PBS -e std.err
NP=`cat $PBS_NODEFILE | wc -l`  ##计算总核数
machines=$(cat $PBS_NODEFILE|sort|uniq -c|awk '{print $2"*"$1}'|sed ':a;N;s/\n/:/g;t a') ##获取节点列表
/public/software/test/ansys192/ansys_inc/v192/CFX/bin/cfx5solve -batch -affinity explicit -parallel -single -def "${INPUT_FILE}" -par-dist ${hosts} >& ${job_name}.log  ##-batch 批处理运行方式 -affinity开启进程绑定
-parallel 并行方式运行 -single单精度 -def 算例输入文件 -par-dist 运行的节点和核数

3.3 命令行方式测试提交作业 

1)SMP提交方式：

/public/software/ansys/ansys_inc/v195/CFX/bin/cfx5solve -batch -par-local -part 128 -single -parallel -def perf_Airfoil_50M_R16M.def##-batch 批处理运行方式 -single单精度 -def 算例输入文件 -par-local 本地节点运行 -part 运行的核数

2)MPP提交方式：

/public/software/test/ansys192/ansys_inc/v192/CFX/bin/cfx5solve -batch -affinity explicit -parallel -single -def "${INPUT_FILE}" -par-dist ${hosts}>& perf_Airfoil.log  ##-batch 批处理运行方式 -affinity开启进程绑定
-parallel 并行方式运行 -single单精度 -def 算例输入文件 -par-dist 运行的节点和核数

4. LS-DYNA标准测试

4.1 slurm测试脚本范例

#!/bin/bash
#SBATCH -J 3cars
#SBATCH -N 8
#SBATCH -n 448
#SBATCH -p hygon64
#SBATCH --ntasks-per-node=56
#SBATCH -w hgcomput[13-20]
job_name=${SLURM_JOB_NAME}
INPUT_FILE=3cars_shell2_150ms.k
machines=""
for i in $(scontrol show hostnames=$SLURM_JOB_NODELIST); do
        machines=$machines:$i:$SLURM_NTASKS_PER_NODE
done
machines=${machines#:*}  ##获取节点列表
export LSTC_MEMORY=AUTO ##内存自适应
/public/software/test/ansys192/ansys_inc/v192/ansys/bin/lsdyna192 -dis -mpi ibmmpi -machines "$machines" memory=200m memory2=100m i=${INPUT_FILE} >& ${job_name}.log ###-dis 分布式并行计算 -mpi指定mpi类型 -machines 指定运行的节点列表 memory memory2 运行中mpi主进程和slave进程所分配的内存 -dp为双精度，默认为单精度

4.2 pbs测试脚本范例

#!/bin/bash
#PBS -N test  ##作业名自定义
#PBS -q normal  ##替换成实际的队列
#PBS -l nodes=node1:32 ##替换成实际的资源
#PBS -o std.out
#PBS -e std.err
NP=`cat $PBS_NODEFILE | wc -l`  ##计算总核数
machines=$(cat $PBS_NODEFILE|sort|uniq -c|awk '{print $2"*"$1}'|sed ':a;N;s/\n/:/g;t a') ##获取节点列表
export LSTC_MEMORY=AUTO ##内存自适应
/public/software/test/ansys192/ansys_inc/v192/ansys/bin/lsdyna192 -dis -mpi ibmmpi -machines "$machines" memory=200m memory2=100m i=${INPUT_FILE} >& ${job_name}.log ###-dis 分布式并行计算 -mpi指定mpi类型 -machines 指定运行的节点列表 memory memory2 运行中mpi主进程和slave进程所分配的内存-dp为双精度，默认为单精度

4.3 命令行方式测试提交作业

1)SMP提交方式：

export LSTC_MEMORY=AUTO ##内存自适应
/public/software/test/ansys192/ansys_inc/v192/ansys/bin/lsdyna192 ncpu=40 memory=200m memory2=100m i=${INPUT_FILE} >& ${job_name}.log ###ncpu单节点运行的核数 memory memory2 运行中mpi主进程和slave进程所分配的内存

2)MPP提交方式：

export LSTC_MEMORY=AUTO ##内存自适应
/public/software/test/ansys192/ansys_inc/v192/ansys/bin/lsdyna192 -dis -mpi ibmmpi -machines "$machines" memory=200m memory2=100m i=${INPUT_FILE} >& ${job_name}.log ###-dis 分布式并行计算 -mpi指定mpi类型 -machines 指定运行的节点列表 memory memory2 运行中mpi主进程和slave进程所分配的内存

技术瘾君子1573
关注
  • 14
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
主流CAE仿真软件如何在Linux&HPC并行计算集群上使用pbs或slurm脚本提交作业（下）？
qq_27815483的博客
06-28 388
本文主要介绍，主流CAE仿真软件,如大型有限元分析软件ANSYS FLUENT、ANSYSMECHANICAL、ANSYSCFX、ANSYSLS-DYNA，ABAQUS、HFSS、NASTRAN、CST、STAR-CCM+、NUMECA、FEKO、COMSOL在HPC或Linux并行计算集群上如何使用pbs或slurm作业调度系统脚本提交作业以及如何使用软件在命令行提交作业，旨在帮助初入科研行业的小伙伴们，轻松使用以上软件在集群上快速运行自己的算例，不再为软件工具的使用或如何批量提交作业而煞费心思，从
小白使用超算slurm作业调度系统提交作业（看完这篇就够了）
qq_43155641的博客
03-21 2982
上传项目文件到超算，安装conda后，超算平台本身没有GPU，用sinfo查看后，如何调用GPU来运行项目？那就需要slurm作业调度系统来提交作业（其实就是提交项目，让他调用GPU来运行项目）
【无标题】hpc slurm pbs 环境配置
m0_70414938的博客
10-08 207
有需要在linux服务器安装cst hfss ls-dyna(linux mpp smp) feko ads ansys abaqus comsol wrf FVCOM cesm vasp cp2k lammps matlab等各种可并行计算软件的可以联系我，谢谢 可以在各种超算安装，教学超算并行计算，任务提交。 可以搭建并行环境，超算环境，调度系统slurm pbs 安装配置。 需要私聊，打扰了，谢谢 q:1597220976 w:bzyy_mt
【HPC最全最新离线安装开源资源管理、作业调度软件-SLURM】
Linux CAE Compiler HPC
04-24 1889
Slurm(Simple Linux Utility for Resource Management， http://slurm.schedmd.com/ )是开源的、具有容错性和高度可扩展的Linux集群超级计算系统资源管理和作业调度系统。超级计算系统可利用Slurm对资源和作业进行管理，以避免相互干扰，提高运行效率。所有需运行的作业，无论是用于程序调试还是业务计算，都可以通过交互式并行 `srun` 、批处理式 `sbatch` 或分配式 `salloc` 等命令提交，提交后可以利用相关命令查询作业状态
Ansys-2022R1如何在Linux&HPC并行计算集群安装并使用？
qq_27815483的博客
06-30 1010
本文章主要介绍有限元分析软件ansys软件在Linux并行计算集群上安装与基本使用，主要用户学习研究软件原理
dask-jobqueue:在PBS，SLURM和SGE等工作调度程序上部署Dask
05-01
在工作队列系统上部署Dask 轻松部署Dask在诸如PBS，Slurm或SGE之类的工作排队系统上分发。 请参阅以获取更多信息。 执照 新的BSD。 请参阅。
Slurm中运行作业脚本示例
小男孩儿的博客
03-16 7157
1.slurm作业脚本含义介绍 #!/bin/bash #SBATCH -J sleep //指定作业名 #SBATCH -p debug //指定队列 #SBATCH --time=00:01:00 //指定运行时间（分钟 ） 注：需要设定为比较准确的时间，否 则调度系统会超时强杀作业。若不设置该参数，继承队列的默认运行时长。请在程序中设置断点，保存中间结果， 防止程序中断或者异常导致中间结果丢失。 #SBATCH -N 2 //请求节点数 #SBATCH -n 2 //请求核心数 #SBATCH -
SLURM使用
weixin_42818074的博客
04-21 5529
提交交互式任务 交互式任务是一种特殊的队列任务，在该模式下，用户可以直接登录到计算节点，此后 所有的操作都在这个节点上进行。这个功能主要是方便用户在服务器上调试程序， 以便能够实时看到程序的输出。 我们需要使用 salloc 命令来分配交互式任务所需的资源，它的语法为 $ salloc [申请资源] 其中，用户需要以选项的方式指定申请的资源，这些选项与 SLURM 脚本中的选项基本 相同。常用选项为： -N <节点数量> --cpus-per-task=<单进程 CPU 核心数>
【slurm】如何快速入门slurm作业提交系统
wangxiancao的博客
08-11 6243
快速入门slurm
基于Microsoft HPC的Magic迭代计算软件的并行化
06-07
首先利用HPC Pack进行集群的搭建，然后设置共享文件夹进行数据的存储与访问，最后使用Microsoft HPC Pack SDK中的API改写Magic迭代计算软件，实现将每代启动的Magic程序放到多台计算机上进行并行计算。通过测试表明...
spark-hpc:通过 PBS 批处理系统在 Linux 集群上运行 SPARK 应用程序
07-03
概述这个包通过 PBS 批处理系统在 Linux 集群上运行 SPARK 应用程序。 它基于并使用 simr（ ）的后端它目前支持 Spark 1.x 和可使用 spark-class 运行的 Scala（Java）应用程序。发展设置开发环境使用定义如何设置...
submission-scripts:我在Jean Zay和TGCC上工作时使用的所有提交脚本
03-17
- **submitit**：Submitit是一个Python库，用于自动化在HPC集群上提交作业，它能很好地与Slurm配合使用。 【压缩包子文件的文件名称列表】"submission-scripts-master"表明这是主分支或者完整版本的提交脚本集，...
grunt：基于git的运行工具：自动在集群上运行作业的python脚本
02-11
咕unt grunt是一个基于git的运行工具，它通过版本控制（即git）为通用分布式文件系统提供基础结构，以便通过将文件推送到git存储库并拥有远程计算机来在远程计算机上运行命令运行守护程序（ grund ）轮询更新并运行...
Slurm脚本示例
novanova2009的博客
01-17 2191
A-%a - 作业id (A) 和任务id (a)默认为2Gb，可以指定单位为mb或者gb。设置作业名称，以便在队列中查看（替换中的参数）对于非MPI作业，该数值需要为1。格式HOURS:MINUTES:SECONDS。例如，#SBATCH --array=1-5。END,FAIL - 作业结束和失败时发送。任务数，对于非MPI作业，该数值需要为1。可以用--error单独输出错误log。task（MPI的ranks）的数目。可以创建一组任务（作业）分配给该作业的最小节点数。NONE - 不发送。
matlab如何在Linux&HPC集群配置使用pbs和slurm调度系统?
最新发布
qq_27815483的博客
07-04 443
集群中必须提前安装作业调度系统，且软件安装在集群内所有节点都能访问的共享路径下，按照以下说明配置您的MATLAB®Parallel Server™安装，以便使与Slurm、PBS Pro®、OpenPBS、LSF®和TORQUE作业调度系统协同工作。
运行fluent的slurm脚本
荣合技术外包服务
10-09 576
在脚本的最后，通过fluent命令来运行fluent程序，并使用其他参数配置相关选项。请注意，这只是一个示例脚本，你需要根据你的集群配置和具体需求进行调整。
Amazon ParallelCluster 3 集成 ANSYS CFD 计算
亚马逊云科技专栏
08-11 669
简介Amazon ParallelClusterAmazon ParallelCluster 是亚马逊云科技支持的开源集群管理工具，可帮助您部署和管理高性能计算 (HPC) 集群。ParallelCluster 是建立在开源 CfnCluster 项目的基础上，Amazon ParallelCluster 可以快速构建 HPC 计算环境。自动设置所需的计算资源和共享文件系...
Linux系统下的MPI并行计算的环境配置
m0_62346268的博客
11-01 1820
3.复制公钥，在每个虚拟机节点中都复制其他所有节点的公钥，使用ssh-copy-id user@ip命令，user就是登录虚拟机的用户名，ip就是其他需要被复制公钥的节点的ip。使用sudo mpirun -n 4 -f mpd.hosts /home/jsj17039/home/hello运行（-n 后面的是开启几个进程， -f是显示运行的节点，mpd.hoost文件就是之前创建的主机名集合文件）4.创建共享文件home，并修改其文件权限，注意要区别这个文件和系统本身的home文件的区别。
PBS提交作业时，如何指定环境？
09-09
### 回答1： 在 PBS 提交作业时，你可以使用 `-l environment=value` 参数来指定环境。例如： ``` qsub -l environment=myenv jobscript ``` 其中 `myenv` 是你希望使用的环境的名称，`jobscript` 是你要提交的作业脚本的文件名。 注意，你需要预先在计算机系统上定义这个环境，并且你需要有足够的权限来使用它。 ### 回答2： 当使用PBS（Portable Batch System）来提交作业时，我们可以通过指定环境来确保作业在特定环境中执行。 首先，我们需要在PBS作业脚本中指定所需的环境。这可以通过在PBS脚本的开头使用特定的指令来实现。例如，我们可以使用“#PBS”指令来设置环境变量，指定作业所需的软件包和库，以及其他必要的参数。 如果我们想在特定的节点上运行作业，我们可以使用“#PBS -l nodes=<node>:ppn=<num>”指令来指定节点和每个节点的任务数。其中，<node>表示节点的名称或节点数，<num>表示每个节点的任务数。这样，作业将被限制在指定的节点和任务数上运行。 另外，我们还可以使用“#PBS -q <queue>”指令来指定作业提交到哪个队列中。队列是根据计算资源可用性而创建的。通过将作业提交到适合的队列，我们可以更好地管理作业的调度和资源分配。 当我们完成PBS作业脚本的编写后，我们可以使用“qsub”命令将作业提交到PBS系统中。同时，我们还可以使用“qstat”命令来查看作业的状态和资源使用情况。 总之，通过在PBS作业脚本中指定环境相关的参数和指令，我们可以确保作业在特定的环境中执行，并根据需求进行资源分配和管理。 ### 回答3： 在提交PBS作业时，我们可以通过指定环境来确保作业能够在特定的环境中正确运行。以下是一些指定PBS作业环境的方法： 1. 在PBS脚本中指定环境变量：可以使用PBS脚本中的export命令，通过设置环境变量来指定特定的环境。例如，可以设置PATH变量以确保使用特定版本的软件。 2. 使用module命令加载环境模块：许多HPC集群提供了module命令，可以用来加载和管理不同的软件环境模块。通过使用module命令，可以加载所需的软件环境模块，并在PBS脚本中调用所需的软件。 3. 使用PBS的软件模块：一些PBS作业管理系统提供了自带的软件模块管理功能。可以使用这些功能来指定特定的软件环境。例如，可以使用PBS的module命令加载和管理所需的软件环境模块。 4. 在PBS脚本中使用特定的执行命令：如果需要在作业提交时指定特定的命令或程序执行环境，可以在PBS脚本中直接使用这些命令。例如，可以在PBS脚本中执行conda activate命令来激活特定的conda环境。 总而言之，指定PBS作业环境可以通过设置环境变量、加载环境模块、使用PBS的软件模块或在PBS脚本中直接执行特定的命令来实现。这样可以确保作业在特定的环境中执行，从而提高作业的准确性和可靠性。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

技术瘾君子1573

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值