【光交换平台搭建】一、分布式环境搭建——MPI多机配置及NPB使用安装

已于 2024-11-08 19:44:16 修改
阅读量511 收藏 5
点赞数 12
分类专栏： routeos光交换平台搭建 文章标签： 分布式
于 2024-08-14 20:02:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Aimonii/article/details/141134931
版权

全文包含：MPICH2+NPB+ssh免密登录+NFS

文章目录

一、 安装 MPICH2

1.包安装（推荐）

sudo vim /etc/hosts

 sudo apt-get update
 sudo apt-get install gfortran
 sudo apt-get install openmpi-bin openmpi-common libopenmpi-dev

验证是否安装正确

which mpicc
which mpiexec
mpicc --version

创建一个名为mpi_hello的示例测试程序

cd ~
mkdir mpi_program
cd mpi_program
vim mpi_hello.c

创建C语言文件mpi_hello.c，并将以下代码粘贴到文件中：程序在每个MPI
进程中打印“Hello from rank x of y”信息，其中x是进程的排名，y是进程的
总数

#include <mpi/mpi.h>
 #include <stdio.h>
 int main(int argc, char** argv) {
 MPI_Init(NULL, NULL);
 int world_rank;
 MPI_Comm_rank(MPI_COMM_WORLD, &world_rank);
 int world_size;
 MPI_Comm_size(MPI_COMM_WORLD, &world_size);
 printf("Hello from rank %d of %d\n", world_rank,
 world_size);
 MPI_Finalize();
 }

保存并退出文件编辑器，然后编译示例程序

mpicc -o mpi_hello mpi_hello.c
mpirun -np 4 ./mpi_hello

2.源码安装（跳过）

参考教程
MPICH2官网下载，我安装的版本是4.1.2。
按下面命令执行：

 tar -xzf mpich-4.1.2.tar.gz
 cd mpich-4.1.2/
 #文件夹下面是configure.ac,需要autoconf
 sudo apt-get update  
 sudo apt-get install autoconf automake make
 autoconf
 automake --add-missing
 #安装fortran
 sudo apt-get install gfortran
 #--prefix=/usr/local/mpich3.3.1指定PATH，后续在NPB中要添加这个路径
 sudo ./configure --prefix=/usr/local/mpich4.1.2 --disable-fortran
 sudo make
 sudo make install
 #更新环境变量
 echo 'export PATH=/usr/local/mpich3.3.1/bin:$PATH' >> ~/.bashrc  
 #重新加载配置文件
 source ~/.bashrc  # 重新加载配置文件
 #检查是否安装成功
 mpiexec --version
 #或 which mpicc

在这里插入图片描述

二、NPB安装

参考教程1 参考教程2
去官网下载NPB，我下的是3.3.1

wget https://www.nas.nasa.gov/assets/npb/NPB3.3.1.tar.gz
tar -zxvf NPB3.3.1.tar.gz
cd ~/tools/NPB3.3.1/NPB3.3-MPI/config
cp make.def.template make.def
sudo vim make.def
#然后配置NPB，修改make.def的下列信息，其他信息不用修改
32行：MPIF77 ＝ mpif77
39行：FMPI_LIB ＝ 
78行：MPICC = mpicc
87行：CMPI_LIB =

以IS为例，编译指令为 make IS（指定哪个程序）、CLASS=B（指定问题
规模）、NPROCS=8(指定运行的处理器个数)，注意Node1和Node2上均
需要编译，并保证目录一致
S级：较小，用于快速测试
W级：工作站大小（90年代的工作站；现在可能太小了）
A，B，C级：标准测试问题； 从一个类到下一个类，大小增加约4倍
D，E，F级：大型测试问题； 与之前的每个类相比，大小增加了约16
倍
cd ~/NPB3.3.1/NPB3.3-MPI/
make IS CLASS=A NPROCS=8
单机运行测试
cd bin/
mpirun ~/NPB3.3.1/NPB3.3-MPI/bin/is.A.8
多机运行测试，只需在Node1上执行命令
mpirun --hostfile ~/mpi_program/mpi_config_file
~/NPB3.3.1/NPB3.3-MPI/bin/is.A.

运行

#make <benchmark-name> NPROCS=<number> CLASS=<class>     [SUBTYPE=<type>] [VERSION=VEC]

//C类，D类和E类不适用于DT。
//类别E不适用于IS。“VERSION=VEC”选项用于选择BT和LU的向量化版本。

//以IS为例，编译指令为 make IS（指定哪个程序）CLASS=B（指定问题规模）
//NPROCS=8(指定运行的处理器个数)  
＃问题规模为B，处理器个数为8

cd ~/tools/NPB3.3.1/NPB3.3-MPI
#如果需要重新编译先make clean
make IS CLASS=A NPROCS=8
cd ~/tools/NPB3.3.1/NPB3.3-MPI/bin
#显示详细信息或者直接输入 ./is.A.2 会有简略信息
mpirun -np 2 ./is.A.2

多机运行
运行测试程序

 #单点运行
 mpirun -np 4 ~/mpich-3.2/examples/cpi
 #多点并行
 mpiexec -n 8 -hosts 172.16.122.148,localhost ~/tools/mpich-4.1.2/examples/cpi
 sudo mpiexec -n 2 -hosts 172.16.122.148,localhost ~/tools/NPB3.3.1/NPB3.3-MPI/bin/is.A.2
 或者写成server文件
  mpiexec -n 4 -f ~/mpich/servers ~/mpich-3.2/examples/cpi
 为什么下面这个不行
 mpiexec -n 8 -hosts node12,localhost ~/tools/mpich-4.1.2/examples/cpi

问题：怎么从下图判断出是多机运行还是单机？
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

三、MPI与NPB整合（这一步可跳过）

参考链接

1. mpiP安装

mpiP是一个用于MPI应用程序的轻量级、伸缩性良好的MPI profiling库。由于mpiP只收集关于MPI函数的统计信息，因此与跟踪工具相比，它生成的开销和数据要少得多。mpiP捕获的所有信息都是任务本地的。它只在报告生成期间(通常在实验结束时)使用通信来将所有任务的结果合并到一个输出文件中。
https://github.com/LLNL/mpiP/releases/tag/3.5
可以从https://github.com/LLNL/mpiP/releases/tag/3.5下载mpiP的当前版本。本文使用的mpiP版本是3.5。

mpiP配置安装命令如下

cd mpiP-3.5
sudo ./configure --prefix=/usr/local/mpiP-3.5
sudo make

cd ~/tools/NPB3.3.1/NPB3.3-MPI/config
sudo vim make.def
#报错：/usr/bin/ld: 找不到 -liberty
#collect2: error: ld returned 1 exit status，然后我就把下面的-liberty删了，后续有影响再加吧
39行：FMPI_LIB ＝ -L~/tools/mpiP-3.5 -lmpiP -lbfd -liberty -lm -lunwind
87行：CMPI_LIB = -L~/tools/mpiP-3.5 -lmpiP -lbfd -liberty -lm -lunwind

-lmpiP是用来链接mpiP-3.5中的libmpiP.so:，但这里一直报错
./is.A.2: error while loading shared libraries: libmpiP.so: cannot open shared object file: No such file or directory
./is.A.2: error while loading shared libraries: libmpiP.so: cannot open shared object file: No such file or directory
在这里插入图片描述
我只能把-lmpiP删除或者写成（就是不用mpiP）
39行：FMPI_LIB ＝
87行：CMPI_LIB =
https://blog.csdn.net/weixin_43614211/article/details/124073219

四、配置SSH免密通信

mpi需要ssh,参考链接
本文以node1和node2相互免密通信为例。

1. 配置hosts列表

参考链接
主机列表的作用是让集群中的每台服务器彼此之间都知道对方的主机名和IP地址。在分布式集群中，各服务器之间会频繁通信，做数据的同步和负载均衡。

sudo vim /etc/hosts
#将下面内容添加到主机列表/etc/hosts 文件中
#这样ssh时不用输入ssh username@ip，输入ssh username@node12或者ssh node12即可
172.16.122.146  node1
172.16.122.148  node2

在这里插入图片描述

2. 安装ssh

sudo apt-get install openssh-server
#安装完成后看看ssh是否active
sudo systemctl status ssh

#如果需要删除ssh环境，可执行
sudo systemctl stop ssh
sudo apt-get --purge remove openssh-server
sudo rm -rf /etc/ssh/

3. 配置免密通信

//所有主机都执行
#启用公钥认证机制
1.sudo vi /etc/ssh/sshd_config
#去掉这一行的注释
2. PubkeyAuthentication yes
#生成秘钥对
3.ssh-keygen -t rsa  -N "" -f ~/.ssh/id_rsa#一直回车，生成密钥对id_rsa、id_rsa.pub放在 ~/.ssh目录

//在node01中执行
ssh-copy-id node01
ssh-copy-id node02

//在node02中执行
ssh-copy-id node01
ssh-copy-id node02

#测试
ssh node1
ssh node2

五、NFS

NFS（Network File System，网络文件系统）：在计算机系统之间共享文件和目录。
它是一种允许远程计算机像访问本地文件一样访问和操作远程文件的协议，从而促进了多台计算机之间的文件共享和协作。

NFS server

sudo apt-get install nfs-kernel-server
# 指定位置创建文件夹作为挂载点
mkdir cloud
sudo vim /etc/exports
#在/etc/exports中添加以下内容
/home/mpiuser/cloud *(rw,sync,no_root_squash,no_subtree_check)
sudo vim /home/mpiuser/cloud *(rw,sync,no_root_squash,no_subtree_check)
sudo exportfs -a
sudo service nfs-kernel-server restart
#查看系统是否成功挂载nfs目录
showmount -e
#关闭防护墙，否则client端挂载时会报错
systemctl stop firewalld

NFS client

sudo apt-get install nfs-common
mkdir cloud
#如果要使用 `mount` 命令挂载 NFS服务器，需要使用 `mount -t nfs` 参数来指定文件系统类型为 NFS。
#mount -t nfs <nfs服务器地址>:<远程共享目录路径> <本地挂载点>
sudo mount -t nfs node11:/home/antl/cloud ~/cloud
df -h
#在文件系统表中创建一个条目，开机自动挂载，避免系统重启时都手动挂载共享目录
sudo vim /etc/fstab
#在文件中添加以下内容
#MPI CLUSTER SETUP
node11:/home/mpiuser/cloud /home/antl/cloud nfs

在这里插入图片描述

测试

在NFS服务器端(node1)的共享目录建立一个文件gedit test.c并保存，几秒钟后检查其他节点中是否在共享目录中产生了该文件，若产生则配置成功。

六、分布式集群运行，包含运行前检查工作，如果全部安装完成，需要运行的话可以从这里开始看

1. 检查node1中的nfs-server是否active

sudo systemctl  status  nfs-server.service

在这里插入图片描述
不知道那个exited是啥意思，别的地方都是running
2. 检查node2中的nfs-common是否active

eg：nfs-common.service dead
sudo systemctl status nfs-common.service
sudo systemctl unmask nfs-common.service
sudo rm /lib/systemd/system/nfs-common.service
sudo systemctl daemon-reload
sudo systemctl start nfs-common
sudo systemctl status nfs-common.service

在这里插入图片描述
3. 查看挂载

#在node2中运行
df -h

如果出现下图是对的：
在这里插入图片描述
否则手动挂载一下：

sudo mount -t nfs node11:/home/antl/cloud ~/cloud

#如果报错：**mount.nfs: Connection timed out**  
#执行：
#关闭server端的防护墙
sudo systemctl stop firewalld

4. 将要运行的代码放在共享文件夹中（本文为~/cloud），make后run

#编译
mpicc -o cpi cpi.c
#运行
#mpirun -np 5 --host node11:2,node12:2 ./cpi
mpirun -np 5 -hosts node11,node12 ./cpi

正确：mpirun --host 192.168.10.128:5,192.168.10.132:4 ./cpi
感觉是。etc/hosts配置时 node11,node12出了问题

#或者在多机配置文件mpi_config_file 中指明机群ip与每个机器中的进程。mpi_config_file仅需要在mpirun的主机上，无需在所有主机的目录下装配。
mpirun -n 4 -f ~/mpi_config_file ./cpi
mpirun和mpiexxec有什么区别
$ cat ~/mpi_config_file 
172.16.122.146:2
172.16.122.148:2

为什么cat mpi_config_file 
node11
node12
不能运行

参考链接

mpirun前面切记不能加sudo，否则会报错，如图所示：
在这里插入图片描述

#删除原来的网关
sudo route del default gw 192.168.10.1
#跃点低优先级高
sudo route add default gw 192.168.10.250 metric 0
#删除原来的网关
sudo route del default gw 192.168.20.1
#跃点低优先级高
sudo route add default gw 192.168.20.250 metric 0

报错

sudo mpirun -np 5 -hosts node11,node12 ./cpi
ssh_askpass: exec(/usr/bin/ssh-askpass): No such file or directory
Host key verification failed.
[mpiexec@antl] ui_cmd_cb (mpiexec/pmiserv_pmci.c:51): Launch proxy failed.
[mpiexec@antl] HYDT_dmxu_poll_wait_for_event (lib/tools/demux/demux_poll.c:76): callback returned error status
[mpiexec@antl] HYD_pmci_wait_for_completion (mpiexec/pmiserv_pmci.c:181): error waiting for event
[mpiexec@antl] main (mpiexec/mpiexec.c:252): process manager error waiting for completion
解决方案：sudo apt-get install ssh-askpass

小灰兔的小白兔
关注
专栏目录
MPI安装+CentOs6.5多机环境下MPI并行编程+MPI矩阵并行计算（超详细）
m0_49893559的博客
05-11 5960
MPI 创建多进程，输出进程号和进程数，运行多进程并行例子程序，编程实现大规模向量矩阵并行计算
MPI手把手环境搭建，包教包会！
10-06
在win10环境下利用visual studio工具进行搭建，手把手教学，小白也能轻松上手。非常详细，看完这个资源其他就不用看了。
在联网的多台机器上安装、配置MPI 并行环境
从小做起
05-14 4670
在联网的多台机器上安装、配置MPI 并行环境Linux 系统的安装要求与前一节单机环境一样。此外，在开始下面的步骤之前还应该先配置好TCP/IP 网络连接。为避免额外麻烦, 在配置网络时请不要开启任何防火墙设置。此外，为方便相互访问，将所有机器的主机名放在/etc/hosts 文件中。可以在所有机器上使用同样的/etc/hosts 文件，它包含如下形式的内容:127.0.0.1 local
Ubuntu环境下的mpi环境的配置
最新发布
weixin_52190646的博客
10-09 2077
安装 OpenMPI：使用 Ubuntu 的包管理器安装 OpenMPI 工具和库。配置环境：确保 MPI 的二进制文件在PATH中，并设置相关环境变量。编写和编译 MPI 程序：通过mpicc编译，并使用mpirun运行 MPI 程序。多节点运行（可选）：配置免密 SSH 登录，使用主机文件在多台机器上运行 MPI 程序。如果你在配置过程中遇到任何问题，欢迎继续提问！
无需超级用户mpi多机运行
weixin_34375054的博客
04-20 303
在之前的一篇博文中（Linux下mpi环境配置与运行步骤（Ubuntu为例） ），有讨论过怎样使用MPI在两个不同的机器上运行程序，在那篇博文中使用了超级用户权限。不幸的是。有些情况下，我们不能拥有操作系统的超级用户权限，导致我们不能改动除用户文件夹以外的文件夹。因此写这篇博文讨论怎样使用普通用户来实现mpi程序的编译和双机器运行。如果知道了如果双机器运行，多机器道理是相通的。此文针对没有多少...
【踩坑】MPI多机配置与NPB的安装、使用
H2
09-18 856
学习NPB和mpi使用的踩坑点，欢迎交流学习指正，只能跑出结果，具体内容还需要学习。
多机MPI
Algorigoat的博客
01-15 1247
因为所作研究工作计算量真是太大了，一台z840的48核工作站还是感觉有点慢，所以就想着自己搭建一个小的集群环境，正好办公室里面有台人家不用z800，所以就拿过来试了一下。 折腾了两天，终于在两台hp z840和z800装有centos7的工作站上搭建好了MPI并行环境。还是有很多地方需要注意的，稍有不慎，就会...
MPI 多机并行
Q同学的专栏
04-01 3757
主要涉及到的指令如下： $mpdallexit $mpdtrace -l $mpdboot -n 5 -f  ~/mpd.hosts   /*5表示启动的结点的个数，该参数的值≤numprocs*/ Example: //testMultiCompuParallel.c /*求PI值*/ #include #include "mpi.h" #define N 10000
MPI单机多机方法
chseanch
05-23 6958
一、单机测试。 1、命令行方式： 注册：mpiexec -register 输入你当前登陆帐户名和密码，不注册的话每次执行程序都要求输入帐户和密码。 运行：mpiexec -n 2helloworld.exe 这里用两个进程执行当前目录下的helloworld.exe，如果在linux下就应该写为mpiexec -n 2./helloworld.exe 2、GUI方式： 注册：开始菜
高性能计算之并行编程技术—— MPI并行程序设计.zip
12-28
总结来说，"高性能计算之并行编程技术—— MPI并行程序设计"这一主题涵盖了并行计算的基础理论、MPI接口的使用方法以及并行程序设计的实践策略。通过学习和掌握这些内容，开发者可以构建出能够充分利用硬件资源的高...
linux下mpi环境配置,超算mpi环境安装和使用
weixin_39689870的博客
05-06 3578
在超算环境中一般都是比较老的mpi环境,会出现调用不成功，无法使用等情况。所以一般都会需要在自己的用户目录下去配置mpi环境.配置mpi一般前提条件需要:gcc/g++ 编译器gfrotran 编译器(可选,fortran并行需要)在配置mpi环境前,需要系统确认已经安装好了上述编译器.下载mpi源码当前目录解压，进入解压目录新建build目录 进入build目录在学校的超算上编译运行mpi环境....
npb基准测试程序手册
02-15
nas parallel benchmark 2.0手册
ubuntu环境下用MPI搭建集群
04-09
ubuntu环境下用MPI搭建集群、环境是ubuntu12.04、史上最详细的配置步骤
使用docker搭建分布式pytorch+cuda训练模型（一）
2401_83051627的博客
07-10 1394
由于训练模型所需要的环境一致，因此使用docker创建镜像并在各个服务器中开启容器。随后运行pytorch模型进行分布式训练。过程如下主机使用centos镜像创建容器在容器中搭建环境，上传代码将容器打包成镜像将镜像发布到各个服务器各个服务器开启容器，执行分布式训练。
ubuntu下MPICH的安装以及多机环境运行
u012304016的专栏
09-03 9475
本文介绍了MPI的安装过程，多机环境的配置以及如何在多机之间运行MPI程序，其中一些代码手动打出，如果有错误请指正，欢迎私信讨论。
MPI多机器实现并行计算
weixin_30445169的博客
07-09 1040
　　最近使用一个系统的分布式版本搭建测试环境，该系统是基于MPI实现的并行计算，MPI是传统基于msg的系统，这个框架非常灵活，对程序的结构没有太多约束，高效实用简单，下面是MPI在多台机器上实现并行计算的过程。 　　这里准备使用三台机器，假设为A，B，C，对应IP分别为：192.168.86.16（A），192.168.86.108（B），192.168.86.123（C）。在这三台...
mindspore 使用mpirun在GPU上多机分布式训练
weixin_45666880的博客
08-11 1496
3.OpenMPI可以通过-x指令传入环境变量，如果想使用特定conda 可以将pythonpath或者path环境变量设置为响应的路径，或者在可以尝试在~/.bashrc中最前面激活conda。1、看了一下mindspore官网上的分布式训练教程，有一个疑问，我该如何指定 某个主机的某个端口号（因为我想进入某个机器中的某个容器环境进行训练），mpirun 没有指定端口号的参数吧？2.如果是容器执行，每个容器应该映射不同的ip地址，设置hostfile中的节点地址后，可以执行多机多卡训练。...
MPI—双机运行
LY_624的专栏
11-28 782
#include "stdafx.h" #include "mpi.h" #include #include int main(int argc, char * argv[]) { int myid,numprocs; int namelen; char processor_name[MPI_MAX_PROCESSOR_NAME]; MPI_Init(&argc,
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值