分布式计算环境搭建和LAMMPS运行

已于 2022-11-07 09:54:41 修改
阅读量878 收藏 2
点赞数 1
分类专栏： 网络通信 虚拟化 文章标签： 分布式计算 NFS LAMMPS MPI
于 2022-11-01 11:29:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ljyfree/article/details/127628875
版权

实验目的

  • 搭建MPI并行计算环境
  • 在此基础上运行LAMMPS(Large-scale Atomic/Molecular Massively Parallel Simulator)一个示例
  • 比较单机运行和分布式运行的效率

实验环境

  • 宿主机上创建三台虚拟机,统一配置如下:
    • 安装系统:Ubuntu20.04
    • CPU 8核，内存16G
    • 网卡1走管理流量，网卡2走计算流量，网卡3走NFS流量(通过不同的linux bridge互通)
hostname角色网卡1网卡2网卡3
mypc控制节点/NFS服务器192.168.122.2175.5.5.254/246.6.6.254/24
mypc计算节点1192.168.122.1695.5.5.1/246.6.6.1/24
hpc-2计算节点1192.168.122.1175.5.5.2/246.6.6.2/24

搭建单机LAMMPS运行环境

  • 本节后续文件操作都是在控制节点的如下目录进行
root@mypc:~/mpi_share/lammps#
  • 主要参考此文档，下载的软件版本有所不同
#下载压缩包
root@mypc:~/mpi_share/lammps# wget http://www.fftw.org/fftw-3.3.10.tar.gz
root@mypc:~/mpi_share/lammps# wget https://www.mpich.org/static/downloads/4.0.2/mpich-4.0.2.tar.gz
root@mypc:~/mpi_share/lammps# wget https://lammps.sandia.gov/tars/lammps-stable.tar.gz 

# 解压
root@mypc:~/mpi_share/lammps# tar -zxvf fftw-3.3.10.tar.gz
root@mypc:~/mpi_share/lammps# tar -zxvf mpich-4.0.2.tar.gz
root@mypc:~/mpi_share/lammps# tar -zxvf lammps-stable.tar.gz 

# 创建fftw和mpich安装目录
root@mypc:~/mpi_share/lammps# mkdir fftw3
root@mypc:~/mpi_share/lammps# mkdir mpich3

# 查看
root@mypc:~/mpi_share/lammps# ls -lt
total 207964
drwxr-xr-x  6 root   root        4096 11月  1 09:04 mpich3
drwxr-xr-x 14   3328  20001      4096 11月  1 07:54 mpich-4.0.2
drwxr-xr-x  6 root   root        4096 11月  1 07:48 fftw3
drwxr-xr-x 18 centec centec      4096 11月  1 07:45 fftw-3.3.10
-rw-r--r--  1 root   root   170633728 10月 31 16:42 lammps-stable.tar.gz
-rw-r--r--  1 root   root          90 10月 31 16:34 mpich-4.0.2.tar.gz.st
drwxrwxr-x 13 root   root        4096 8月   6 04:57 lammps-23Jun2022
-rw-r--r--  1 root   root    38137945 4月   9  2022 mpich-4.0.2.tar.gz
-rw-r--r--  1 root   root     4144100 9月  15  2021 fftw-3.3.10.tar.gz
root@mypc:~/mpi_share/lammps#
  • 安装fftw
root@mypc:~/mpi_share/lammps/fftw-3.3.10# ./configure --prefix=/root/mpi_share/lammps/fftw3/ --enable-shared=yes
root@mypc:~/mpi_share/lammps/fftw-3.3.10# make && make install
  • 安装mpich
root@mypc:~/mpi_share/lammps# mkdir mpich3
root@mypc:~/mpi_share/lammps# cd mpich
mpich3/      mpich-4.0.2/ 
root@mypc:~/mpi_share/lammps# cd mpich-4.0.2/
root@mypc:~/mpi_share/lammps/mpich-4.0.2# ./configure --prefix=/root/mpi_share/lammps/mpich3
root@mypc:~/mpi_share/lammps/mpich-4.0.2# make && make install
# 这个花了一个小时才执行完
  • 安装lammps的Makefile修改如下(养成备份好习惯，方便提取diff和恢复文件)
root@mypc:~/mpi_share/lammps# diff -ruN lammps-23Jun2022/src/MAKE/Makefile.
Makefile.mpi      Makefile.mpi_bak  Makefile.serial   
root@mypc:~/mpi_share/lammps# diff -ruN lammps-23Jun2022/src/MAKE/Makefile.mpi_bak lammps-23Jun2022/src/MAKE/Makefile.mpi
--- lammps-23Jun2022/src/MAKE/Makefile.mpi_bak  2022-11-01 09:08:24.631018791 +0800
+++ lammps-23Jun2022/src/MAKE/Makefile.mpi      2022-11-01 09:12:44.226354660 +0800
@@ -6,12 +6,12 @@
 # compiler/linker settings
 # specify flags and libraries needed for your compiler
 
-CC =           mpicxx
+CC =           g++
 CCFLAGS =      -g -O3 -std=c++11
 SHFLAGS =      -fPIC
 DEPFLAGS =     -M
 
-LINK =         mpicxx
+LINK =         g++
 LINKFLAGS =    -g -O3 -std=c++11
 LIB =
 SIZE =         size
@@ -39,9 +39,9 @@
 # PATH = path for MPI library
 # LIB = name of MPI library
 
-MPI_INC =       -DMPICH_SKIP_MPICXX -DOMPI_SKIP_MPICXX=1
-MPI_PATH =
-MPI_LIB =
+MPI_INC =       -DMPICH_SKIP_MPICXX -DOMPI_SKIP_MPICXX=1 -I/root/mpi_share/lammps/mpich3/include
+MPI_PATH =      -L/root/mpi_share/lammps/mpich3/lib
+MPI_LIB =       -lmpich -lmpl -lpthread
 
 # FFT library
 # see discussion in Section 3.5.2 of manual
@@ -50,9 +50,9 @@
 # PATH = path for FFT library
 # LIB = name of FFT library
 
-FFT_INC =
-FFT_PATH =
-FFT_LIB =
+FFT_INC =       -DFFT_FFTW3 -I/root/mpi_share/lammps/fftw3/include
+FFT_PATH =      -L/root/mpi_share/lammps/fftw3/lib
+FFT_LIB =       -lfftw3
 
 # JPEG and/or PNG library
 # see discussion in Section 3.5.4 of manual
root@mypc:~/mpi_share/lammps#
  • 编出lmp_mpi之后，发现动态链接库有问题
root@mypc:~/mpi_share/lammps/lammps-23Jun2022/src# ldd lmp_mpi 
        linux-vdso.so.1 (0x00007ffe603a6000)
        libmpi.so.12 => not found
        libpthread.so.0 => /lib/x86_64-linux-gnu/libpthread.so.0 (0x00007f9a79cb4000)
        libdl.so.2 => /lib/x86_64-linux-gnu/libdl.so.2 (0x00007f9a79cae000)
        libstdc++.so.6 => /lib/x86_64-linux-gnu/libstdc++.so.6 (0x00007f9a79acc000)
        libm.so.6 => /lib/x86_64-linux-gnu/libm.so.6 (0x00007f9a7997d000)
        libgcc_s.so.1 => /lib/x86_64-linux-gnu/libgcc_s.so.1 (0x00007f9a79962000)
        libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007f9a7976e000)
        /lib64/ld-linux-x86-64.so.2 (0x00007f9a7a260000)
root@mypc:~/mpi_share/lammps/lammps-23Jun2022/src#
  • 需要把mpich编出的so拷贝一下
root@mypc:~/mpi_share/lammps/lammps-23Jun2022/src# cp /root/mpi_share/lammps/mpich3/lib/libmpi.so.12.2.2 /lib/x86_64-linux-gnu/libmpi.so.12
root@mypc:~/mpi_share/lammps/lammps-23Jun2022/src# 
root@mypc:~/mpi_share/lammps/lammps-23Jun2022/src# ldd lmp_mpi 
        linux-vdso.so.1 (0x00007ffe66edb000)
        libmpi.so.12 => /lib/x86_64-linux-gnu/libmpi.so.12 (0x00007f692ef03000)
        libpthread.so.0 => /lib/x86_64-linux-gnu/libpthread.so.0 (0x00007f692eee0000)
        libdl.so.2 => /lib/x86_64-linux-gnu/libdl.so.2 (0x00007f692eeda000)
        libstdc++.so.6 => /lib/x86_64-linux-gnu/libstdc++.so.6 (0x00007f692ecf8000)
        libm.so.6 => /lib/x86_64-linux-gnu/libm.so.6 (0x00007f692eba9000)
        libgcc_s.so.1 => /lib/x86_64-linux-gnu/libgcc_s.so.1 (0x00007f692eb8e000)
        libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007f692e99a000)
        libhwloc.so.15 => /lib/x86_64-linux-gnu/libhwloc.so.15 (0x00007f692e949000)
        libefa.so.1 => /lib/x86_64-linux-gnu/libefa.so.1 (0x00007f692e93f000)
        libibverbs.so.1 => /lib/x86_64-linux-gnu/libibverbs.so.1 (0x00007f692e920000)
        libnl-3.so.200 => /lib/x86_64-linux-gnu/libnl-3.so.200 (0x00007f692e8fd000)
        librt.so.1 => /lib/x86_64-linux-gnu/librt.so.1 (0x00007f692e8f3000)
        /lib64/ld-linux-x86-64.so.2 (0x00007f6931eb4000)
        libudev.so.1 => /lib/x86_64-linux-gnu/libudev.so.1 (0x00007f692e8c4000)
        libltdl.so.7 => /lib/x86_64-linux-gnu/libltdl.so.7 (0x00007f692e8b9000)
        libnl-route-3.so.200 => /lib/x86_64-linux-gnu/libnl-route-3.so.200 (0x00007f692e841000)
root@mypc:~/mpi_share/lammps/lammps-23Jun2022/src#
  • 进入/examples/shear/(搜了一下shear表示气象中的“风切变”)
root@mypc:~/mpi_share/lammps/lammps-23Jun2022/src# cd ../examples/shear/
root@mypc:~/mpi_share/lammps/lammps-23Jun2022/examples/shear# ls -lt
total 76
-rw-rw-r-- 1 root root  1541 8月   6 04:57 in.shear
-rw-rw-r-- 1 root root  1551 8月   6 04:57 in.shear.void
-rw-rw-r-- 1 root root  8113 8月   6 04:57 log.27Nov18.shear.g++.1
-rw-rw-r-- 1 root root  8123 8月   6 04:57 log.27Nov18.shear.g++.4
-rw-rw-r-- 1 root root  8166 8月   6 04:57 log.27Nov18.shear.void.g++.1
-rw-rw-r-- 1 root root  8164 8月   6 04:57 log.27Nov18.shear.void.g++.4
-rw-rw-r-- 1 root root 36573 8月   6 04:57 Ni_u3.eam
root@mypc:~/mpi_share/lammps/lammps-23Jun2022/examples/shear#
  • 运行报错
root@mypc:~/mpi_share/lammps/lammps-23Jun2022/examples/shear# mpirun --allow-run-as-root -np 3 /root/mpi_share/lammps/lammps-23Jun2022/src/lmp_mpi -in in.shear
......
ERROR: Unrecognized pair style 'eam' is part of the MANYBODY package which is not enabled in this LAMMPS binary. (../force.cpp:279)
Last command: pair_style        eam
  • 查到是编译的时候，MANYBODY这个package没有装上，安装一下
#yes-<package_name>t表示安装，no表示卸载
root@mypc:~/mpi_share/lammps/lammps-23Jun2022/src# make yes-MANYBODY
root@mypc:~/mpi_share/lammps/lammps-23Jun2022/src# make package-status | grep MANYBODY
Installed YES: package MANYBODY
root@mypc:~/mpi_share/lammps/lammps-23Jun2022/src#
  • 重新编译
root@mypc:~/mpi_share/lammps/lammps-23Jun2022/src# make lmpmpi -j4
  • 可以正常执行了(-np 15超过本机8核，不要紧)
root@mypc:~/mpi_share/lammps/lammps-23Jun2022/examples/shear# mpirun -oversubscribe --allow-run-as-root -np 15 /root/mpi_share/lammps/lammps-23Jun2022/src/lmp_mpi -in in.shear

...

Total # of neighbors = 45027
Ave neighs/atom = 23.549686
Neighbor list builds = 222
Dangerous builds = 0
Total wall time: 0:00:14

分布式计算

免密

  • 需要设置从控制节点ssh免密登录两个控制节点(5.5.5.1/5.5.5.2)，具体内容就不写了
  • 控制节点新增静态DNS解析项
root@mypc:~# echo "5.5.5.1 hpc-1" >> /etc/hosts
root@mypc:~# echo "5.5.5.2 hpc-2" >> /etc/hosts

NFS搭建

  • 通过NFS，使得计算节点也自动拥有控制节点下载和编译出的文件
  • 控制节点
#安装软件
root@mypc:~# apt-get install nfs-kernel-server -y
root@mypc:~# 
root@mypc:~/mpi_share# cat /etc/exports | egrep -v "(^#|^$)"
/root/mpi_share  *(rw,sync,no_root_squash,no_subtree_check)
root@mypc:~/mpi_share# 
# 重启NFS服务
root@mypc:~/mpi_share# /etc/init.d/nfs-kernel-server restart
Restarting nfs-kernel-server (via systemctl): nfs-kernel-server.service.
root@mypc:~/mpi_share#
  • 计算节点(hpc-1/hpc-2操作一致)
#探测NFS服务器
root@hpc-1:~# showmount -e 6.6.6.254
Export list for 6.6.6.254:
/root/mpi_share *
root@hpc-1:~# 
#安装软件
root@hpc-1:~# apt install nfs-common -y
root@hpc-1:~# mount -t nfs 6.6.6.254:/root/mpi_share /root/mpi_share
root@hpc-1:~# 
#验证，跟控制节点上看到的目录内容一样
root@hpc-1:~/mpi_share/lammps# ls -lt
total 207964
drwxr-xr-x  6 root   root        4096 11-р сар  1 09:04 mpich3
drwxr-xr-x 14   3328  20001      4096 11-р сар  1 07:54 mpich-4.0.2
drwxr-xr-x  6 root   root        4096 11-р сар  1 07:48 fftw3
drwxr-xr-x 18 centec centec      4096 11-р сар  1 07:45 fftw-3.3.10
-rw-r--r--  1 root   root   170633728 10-р сар 31 16:42 lammps-stable.tar.gz
-rw-r--r--  1 root   root          90 10-р сар 31 16:34 mpich-4.0.2.tar.gz.st
drwxrwxr-x 13 root   root        4096 8-р сар   6 04:57 lammps-23Jun2022
-rw-r--r--  1 root   root    38137945 4-р сар   9  2022 mpich-4.0.2.tar.gz
-rw-r--r--  1 root   root     4144100 9-р сар  15  2021 fftw-3.3.10.tar.gz
root@hpc-1:~/mpi_share/lammps#
  • 计算节点上还要拷贝so文件，因为这个文件需要拷贝到本地/lib目录
root@hpc-1:~/mpi_share/lammps# cp /root/mpi_share/lammps/mpich3/lib/libmpi.so.12.2.2 /lib/x86_64-linux-gnu/libmpi.so.12
root@hpc-1:~/mpi_share/lammps#

分布式运行

  • 先在计算节点上加一下hostfile,指定分配的计算节点的CPU核数
root@mypc:~/mpi_share/lammps/lammps-23Jun2022/examples/shear# cat hostfile 
hpc-1 slots=5
hpc-2 slots=5
root@mypc:~/mpi_share/lammps/lammps-23Jun2022/examples/shear#
  • 在hpc-1和hpc-2的网卡2和网卡3启动tcpdump抓包
  • 最终执行
root@mypc:~/mpi_share/lammps/lammps-23Jun2022/examples/shear# mpirun -host hpc-1,hpc-2 --hostfile hostfile -oversubscribe --allow-run-as-root -np 15 /root/mpi_share/lammps/lammps-23Jun2022/src/lmp_mpi -in in.shear
...
Total # of neighbors = 45027
Ave neighs/atom = 23.549686
Neighbor list builds = 222
Dangerous builds = 0
Total wall time: 0:00:08

# 从单机本地14秒缩短为分布式计算8秒
  • 可以观察到计算节点的网卡2和网卡3都有流量
ljyfree
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
lammps运行Linux,Lammps分子动力学软件MPI并行+Intel高效编译版 Linux完整安装教程
weixin_42373088的博客
04-30 1824
简介LAMMPS是一种经典的分子动力学仿真代码，设计用于在并行计算机上高效运行。它是由美国能源部下属的桑迪亚国家实验室(Sandia National Laboratories)开发的。它是一个开源代码，根据GNU公共许可证(GPL)的条款自由分发。安装教程：所需编译器套件：Intel Parallel Studio XE 2019一、所需并行库：OpenMPI(Open Message Pass...
LAMMPS教程
12-25
LAMMPS由美国Sandia国家实验室开发，以GPL license发布，即开放源代码且可以免费获取使用，这意味着使用者可以根据自己的需要自行修改源代码。LAMMPS可以支持包括气态，液态或者固态相形态下、各种系综下、百万级的原子分子体系，并提供支持多种势函数。且LAMMPS有良好的并行扩展性。 一般特点 支持并行计算 分布式内存MPI spatial-decomposition of simulation domain for parallelism LAMMPS即Large-scale Atomic/Molecular Massively Parallel Simulator，可以翻译为大规模原子分子并行模拟器，主要用于分子动力学相关的一些计算和模拟工作，一般来讲，分子动力学所涉及到的领域，LAMMPS代码也都涉及到
lammps安装运行手册（自写）2020
09-27
一般性分子模拟软件。 兼容当前大多数的势能模型，编程水平高，计算效率高。可以 模拟软材料和固体物理系统。
【LAMMPS学习】四、运行 LAMMPS(2)命令行选项
荷塘阅色
03-23 1991
本部分解释了在安装可执行文件或下载源代码并构建可执行文件后如何运行 LAMMPS。命令文档页面描述了输入脚本的结构以及它们可以包含的命令。
软件部署第三弹-Lammps在linux系统部署安装
最新发布
u013206206的博客
06-01 654
LAMMPS（Large-scale Atomic/Molecular Massively Parallel Simulator），即大规模原子分子并行模拟器，是一款由美国Sandia国家实验室开发的经典分子动力学代码。它主要用于模拟气体、液体和固体状态下粒子的集合行为，能够处理全原子、聚合物、生物、金属、粒状和粗粒化体系。LAMMPS是目前用于分子动力学模拟的常用软件之一
几个lammpsin文件,lammps如何运行in文件,C,C++
09-10
一个计算铜的热导率的in文件，基于lammps软件
LAMMPS计算hydro_stress和von Mises stress 的脚本
05-21
LAMMPS 后处理 计算应力hydro_stress和von Mises stress的脚本。
双击运行lammps
05-03
快速运行lammps，不用在cmd里一行一行敲，这个是并行的。串行的自己改成lmp_serial，然后就可以了。里面可以自己设置核数。
defect_lammps_lammps计算缺陷形成能_缺陷能_
10-02
为了准确地理解和复现这个计算过程，你需要对LAMMPS的使用有基本了解，包括如何编写和运行输入文件，以及如何解析输出结果。此外，理解特定的势函数（如EAM、LJ或其他）如何描述原子间相互作用也是必要的，因为这些...
基于LAMMPS分子动力学MSD自编程计算程序
03-21
MATLAB是一种强大的数值计算和数据可视化环境，常被用于科学和工程计算。在这个项目中，MATLAB可能被用来进一步处理LAMMPS生成的数据，比如对MSD进行拟合、分析或可视化。使用MATLAB与LAMMPS的结合，可以实现更高效...
Lammps如何跑代码
weixin_45945586的博客
10-19 1643
lammps安装后如何运行代码
怎么在win中安装并运行lammps（串行）
cosmic_potato的博客
04-17 5293
零基础小菜鸡为了完成网课作业需要用到lammps，碰壁两天终于安好了，下面给一些经验（仅适合只想安好计算一下的新手，大佬勿喷）。 首先，从lammps网站找到win版本的安装包。注意下载下图这个就可以。 下一步，安装，默认的安装路径是c盘的program files。安装好后的文件是这个样子： 到此安装已经结束，接下来就是初步运行。这里需要用到cmd，点击开始-运行-输入cmd，找到可执行文...
C 怎么处理windows路径_【100天学习LAMMPS】第2天：LAMMPS并行版在Windows环境下的安装...
weixin_39540018的博客
10-28 495
大家好，我是张运霄。欢迎来到MD实验室。今天一起进行LAMMPS软件并行版在Windows环境下的安装与配置。(本推文的安装环境为Windows10教育版64位。)对于Linux环境下的并行安装，请参考推文：手把手教你Linux下的LAMMPS并行安装首先进入官网的下载界面：(http://packages.lammps.org/windows.html)然后根据自己电脑选择64位或者3...
虚拟机作为编译服务器,Lammps-2016版本在服务器（虚拟机）上如何编译 - 分子模拟 - 小木虫 - 学术 科研 互动社区...
weixin_39949297的博客
08-06 400
#MPI_INC = -DMPICH_SKIP_MPICXX -DOMPI_SKIP_MPICXX=1MPI_INC = -DMPICH_SKIP_MPICXX -DOMPI_SKIP_MPICXX=1-I/home/hp/bin/mpich3/includeMPI_PATH = -L/home/hp/bin/mpich3/libMPI_LIB = -lmpich -lmpl -l...
LAMMPS 服务器安装过程
hdpai2018的博客
06-02 2183
由于我之前已经在服务器里装好了gromacs和NAMD，因此openmpi fftw等都已经装好了。 假装所有的依赖包都没有安装，那么在root权限下输入下面的命令： apt-get install gcc apt-get install g++ apt-get install mpi-default-* apt-get install libfftw3* 即可把这些包都安装好。 直接安装lammps tar -xvf lammps-stable.tar.gz cd lammps-3Mar20/src/MA
lammps编译（2Aug2023、intel2020、rtx4070ti）
撞强※非专业，更专注
12-13 1202
root@node101 gpu]# vi Makefile.linux ##修改。[root@node101 gpu]# make -f Makefile.linux ##编译GPU库。lammps支持单精度，也支持双精度。受限于4070Ti，其双精度能力很差，故本次使用单精度方式进行使用。4070Ti为安培架构，SM为86。双精度性能差，PRECISION为-D_SINGLE_SINGLE。
ubuntu22.04 安装lammps：lammps安装、功能包安装、GPU加速、将lmp添加到环境变量中
csu_lijunjie的博客
11-15 1915
此次安装使用make安装，虽然官网手册上面推荐使用cmake安装，说camke安装有很多好处，但是我自己的实践来看camke很容易报错，先后两次使用cmake安装也都失败了，所以还是选择了使用传统的make安装方式。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值