Microsoft HPC Pack 2016部署Comsol Multiphysics多物理场耦合并行计算以及超大规模仿真计算集群硬件配置推荐

并行计算（Parallel Computing）是指同时使用多个计算资源解决计算问题。并行 计算的主要目的是快速解决大型复杂的计算问题，或者节约成本——使用多台“廉价” 计算机取代昂贵的大型机，以下测试启动两个节点（win10），每个节点使用8个内核参与计算。管理节点即头节点系统为windows server 2019，COMSOL Multiphysics 安装版本为5.4

1 部署Windows并行环境

1.1准备工作

首先，集群中的每台机器应该能够相互通过网络相互访问，而在 Windows 中，缺省打开的防火墙将限制彼此之间的访问。建议如下图所示分别新建连接安全规则、入站规则、出站规则（名字任意，本例为comsol，免除身份验证ip段为192.168.0.1~192.168.0.255）

在所有的节点上执行以上操作，使得各节点之间可以相互连接。

 

1.2配置server 2019

首先需要为管理节点指定一个 IP 地址，本例：192.168.0.109

开始设定Active Directory，打开服务器管理器，点击添加角色，在添加角色向导对话框点击下一步，在服务器角色列表中选择Active Directory域服务：

 

点击下一步，阅读一下简介，然后点击下一步，点击安装。

安装完成如图点击部署后配置：

 

打开Active Directory域服务配置向导，选择添加新林，根域名：cluster.ultralab.com（可自定义）：

 

点击下一步，林功能级别和域功能级别选择 Windows Server 2016，自动勾选域名系统（DNS）服务器和全局编录，自定义密码：

 

点击下一步，其他选项--NetBIOS域名：CLUSTER（自定义）

 

下一步，一般会提示无法创建该DNS服务器的委派，无需理会，安装完成后会提示即将注销重启计算机：

 

重启后即可使用Active Directory角色的服务，接着添加域用户。点击服务管理器--工具--Active Directory用户和计算机：

cluster.ultralab.com--Users右键，新建--用户：

 

如下图（用户名可自定义）：

 

点击下一步，设置密码，如图设置：

 

下一步完成添加用户。为方便操作，可以给此用户赋予域管理员的权限。双击新建的用户（comsol）:

 

点击隶属于标签，点击添加:

 

在选择组对话框中，点击高级按钮，在展开的对话框中，点击立即查找，在搜索

结果中找到Domain Admins

 

点击确定，继续点击确定，如下图列表所示，再点击确定关闭窗口

 

还需要把这个新增的用户添加到当前计算机中，点击控制面板--管理用户和账户

添加用户对话框中输入用户名：comsol，域：cluster.ultralab.com

 

下一步，如下图选管理员，下一步

 

如下图点击确定，将comsol添加到当前计算机的管理员帐号：

 

以上步骤完成了在server 2019上的Active Directory、用户帐号等设定。

 

1.3安装Microsoft HPC Pack 2016

安装向导中，选择：新建安装

 

选择通过创建头节点来新建一个HPC集群

 

安装规则测试完成无误后点击下一步开始向计算机中安装所需的数据库、服务等各种程序

 

1.4部署头节点（管理节点）

安装完成，打开集群管理器，首先点击配置网络，在网络配置向导对话框中选择

5.仅在企业网络上的所有节点：

依次点击下一步，最后点击配置。等候管理器完成网络的配置工作，然后点击完

成。

然后在集群管理器对话框中点击提供安装帐号，用户名：cluster.ultralab.com\comsol，设置密码：

 

接着在集群管理器中点击配置新节点的命名规则：

 

最后在集群管理器里面点击节点模板--新建

 

在新建节点模板向导中选择工作站节点和非托管服务器节点模板

依次点击下一步，最后点击创建。

至此完成 HPC 的安装和头节点的设定。

 

1.5部署计算节点

首先，头节点的IP地址作为计算节点的DNS。

然后修改计算机名：node01，隶属于-域为：cluster.ultralab.com

点击确定，输入域中的用户名 comsol 及相应的密码

点击确定，稍等片刻，可以看到欢迎对话框，点击确定，再点击确定，点击关闭，点击立即重启计算机。

重启后就要更换登录方式了，现在应该使用域用户的方式来登录。按照提示按下

键盘中的 Ctrl+Alt+Del，然后点击切换用户，在用户名中输入 comsol，输入正确的密

码，然后登录。

 

运行HPC pack安装目录 setup.exe。选择通过创建新的工作站节点或非托管服务器节点加入现有 HPC 群集

 

下一步，在下拉列表中选择头节点的名称，下一步，继续下一步，选择一个更新方法，点击下一步，然后点击安装。这个时候会将相关的数据库等程序安装在计算节点上。

安装完毕后回到头节点，在集群管理器中，点击添加节点，选择添加已经配置的工作站节点和非托管服务器节点。

 

点击下一步，再点击下一步，在选择新节点对话框中选择所要加入集群的节点，例如，NODE01

 

点击添加，点击完成。这时我们可以看到管理器开始执行正在添加节点的工作，它会向计算节点中添加一些必要的密钥、管理程序等，完成了集群的节点添加工作，我们就可以在这个集群上进行并行计算了。

 

2 COMSOL Multiphysics并行计算设置

启动COMSOL Multiphysics

调度程序选择HPCS 2008/2012/2016，其他根据需要自定义设置。

 

经测试：

测试1： 算例（瞬态，约58万自由度）测试，在多核（4核、6核、8核、16核、28核）测试结果看到，Comsol Multiphysics多物理场耦合，8核并行计算加速比最高，也是性价比最高，CPU核数再提升，性能提升幅度很低

测试2：算力（稳态，600万自由度）测试，8核还是最佳，单机计算时间过长，承受太重，建议用集群方式求解

以下是Comsol Multiphysics单机以及集群硬件配置方案

（1）基于单机架构多物理场耦合仿真计算硬件配置推荐
求解规模：小于300万自由度

NO	型号	主要配置	报价	备注
1	UltraLAB H380 14864-SAA	Intel 第9代高频处理器（8核@4.8Ghz）/64GB DDR4 3000/Quadro P620 2GB /960GB SSD+4TB SATA企业级/塔式(750W)/23寸图显	28000	高性价比
2	UltraLAB H380  150128-SAA	Intel 第10代高频处理器（10核@5.0Ghz）/128GB DDR4 3000/Quadro P620 2GB/960GB SSD+6TB SATA企业级/塔式(750W)/23寸图显	39000	小规模高速计算型
3	UltraLAB AX410 142384-SAB	Intel 第10代至尊处理器（18核@4.2Ghz）/192GB DDR4 3000/Quadro P1000 /1.9TB SSD +10TB SATA企业级/塔式(750W)/23寸图显	54500	小规模计算多任务型
4	UltraLAB EX630i  234192-SBA	2颗Xeon 金6226R处理器（32核@3.4Ghz）/192GB DDR4 2933/Quadro P620 /1.9TB SSD +6TB SATA企业级/塔式(750W)/23寸图显	58000	中等规模
5	UltraLAB EX630i  237192-SBA	2颗Xeon 金6242R处理器（40核@3.7Ghz）/192GB DDR4 2933/Quadro P620 /1.9TB SSD +6TB SATA企业级/塔式(750W)/23寸图显	79000	中等规模
6	UltraLAB EX630i  240320-SBA	2颗Xeon 金6246R处理器（32核@4.0Ghz）/320GB DDR4 2933/Quadro P620 /1.9TB SSD +8TB SATA企业级/塔式(750W)/23寸图显	97000	中大规格
7	UltraLAB Alpha730  443384-SCC	4颗Xeon 金6244处理器（共计32核@4.3Ghz） /384GB DDR4 2933/Quadro M4000/3.84TB SSD +10TB SATA企业级/双塔式(1600W冗余，静音级)/27寸-4K图显	179000	大规模高速计算型 高频+多核+高IO
8	UltraLAB Alpha730 441768-SCB	4颗Xeon 金6246处理器（48核@4.1Ghz）/768GB DDR4 2933 /Quadro P2000/3.84TB SSD +12TB SATA企业级/双塔式(1600W冗余,静音级)/27寸-4K图显	226000	大规模计算高速计算完美 高频+多核+高IO
9	UltraLAB Alpha730 443768-PCC	4颗Xeon 金6256处理器（48核@4.3Ghz）/768GB DDR4 2933 /RTX4000/4TB PcieSSD +20TB SATA企业级/双塔式(1600W冗余,静音级)/27寸-4K图显	275000	超大规模计算极致完美型 高频+多核+高IO
10	UltraLAB Alpha730 4391T-PDC	4颗Xeon 金6254处理器（72核@3.9Ghz）/1.5TB DDR4 2933 /RTX4000/1.9TB SSD/6TB PcieSSD /30TB SATA企业级/双塔式(1600W冗余,静音级)/27寸-4K图显	295000	多任务多用户团队超算型

（2）基于集群架构多物理场耦合仿真计算硬件配置推荐
推荐方案1 
集群型号：UltraLAB CT400 50C46-960
集群规模：5个计算节点（50核*4.6GHz ，960GB DDR4）
求解规模：150万~500万自由度
配置明细：

NO	货物名称	型号	数量	单价	小计
（一）硬件设备
1.1	计算服务器	10核@4.6Ghz+水冷散热/192GB DDR4 /QK420/960GB SSD企业级/4U机架式(750W)/56Gbps IB网卡/无显示器	5套	37000	185000
1.2	主控服务器	2颗Xeon 银4214（24核@2.6GHz）/192GB /Quadro P1000/960GB+6.4TB高速缓存盘/42TB并行存储/4U机架式（1500w）/双56GB IB网卡/23寸图显	1套	93500	93500
1.4	计算交换机	迈络思IB交换机12口@56Gbps	1台	35000	35000
1.5	管理交换机	24口千兆电口	1台	1100	1100
1.6	KVM切换器	8口，HDMI接口	1台	2350	2350
1.7	机柜	42U，服务器级，插排，托盘	1台	5500	5500
（二）集群系统
2.1	操作系统
2.2	作业调度软件	UltraLAB PSS作业调度软件（5节点）	1套	50000	50000
2.3	求解器
合计：￥372,450元

推荐方案2 
集群型号：UltraLAB CT400 100C47-2T
集群规模：10个计算节点（100核*4.6GHz ，1.92TB DDR4）
求解规模：600万~1000万自由度
配置明细：

NO	货物名称	型号	数量	单价	小计
（一）硬件设备
1.1	计算节点	10核@4.6Ghz+水冷散热/192GB DDR4 /QK420/960GB SSD企业级/4U机架式(750W)/56Gbps IB网卡/无显示器	10套	37000	370000
1.2	存储节点	2颗Xeon 银4214（24核@2.6GHz）/192GB /Quadro P1000/960GB+6.4TB高速缓存盘/42TB并行存储/4U机架式（1500w）/双56GB IB网卡/23寸图显	1套	93500	93500
1.4	计算交换机	迈络思IB交换机12口@56Gbps	1台	35000	35000
1.5	管理交换机	24口千兆电口	1台	1100	1100
1.6	KVM切换器	16口，HDMI接口	1台	4800	4800
1.7	机柜	42U，服务器级，插排，托盘	2台	5500	11000
（二）集群系统
2.1	操作系统
2.2	作业调度软件	UltraLAB PSS作业调度软件（10节点）	1套	100000	100000
2.3	求解器
合计：￥615,400元

常见问题
1）为什么Comsol Multiphysics运行CPU使用率只能到4%
答：很多求解是单线程的，或求解过程的某个阶段，是单线程的，这是正常的

2）Comsol Multiphysics怎样选择CPU
答：不同求解器有不同的多核并行计算特点，具体情况具体分析，参考测试数据

3）Comsol Multiphysics运行为什么会内存不够
答：网格划分过细过大，造成数据计算规模大，超出内存容量，通过优化或简化模型可以降低计算量，少占用内存

4）Comsol Multiphysics求解速度为什么这么慢
答：可能原因CPU核数、频率不合理，也可能是内存容量不够，如果是集群，网络延迟大，另外跟网格划分过细有关系，计算量太大，算不动，具体情况具体分析

5）为什么在超级计算机系统上运行求解计算，还不如单机快
答：多核并行有限度，超级计算机cpu核数多，但频率普遍太低（通常不超过3GHz），某些计算需要有限多核和高频（越高越好），才是最理想的计算架构，另外也可能软件授权的核数有限制
 

欢迎测试验证