【openmpi】怎样使用openmpi并行运行python脚本？

Cian小鱼干

已于 2024-06-26 14:33:43 修改

阅读量310

点赞数 1

分类专栏：杂七杂八 Python 文章标签：并行 openmpi python 多核

于 2024-06-26 14:04:49 首次发布

本文链接：https://blog.csdn.net/qq_43722079/article/details/139987562

版权

Python 同时被 2 个专栏收录

6 篇文章 0 订阅

订阅专栏

杂七杂八

2 篇文章 7 订阅

订阅专栏

创作日志： 装过一次openmpi，但是半年之后就忘记怎么用了，所以记录一下

1. 测试openmpi是否安装好

cd /home/xxxx/SnapHiC_Call_Loop/openmpi-4.1.6/examples
make
mpirun -np 4 hello_c

得到如下输出就说明是装好的了
在这里插入图片描述

2. 没有导入路径的话导入一下根目录，注意有两个

（我没写到系统文件里，所以每次打开端口都需要手动导入一下）

export PATH=$PATH:/home/xxxx/Softwares/openmpi/bin
export LD_LIBRARY_PAHT=/home/xxxx/Softwares/openmpi/lib

3. 运行脚本

-np表示需要用几个核，要与自己写的python脚本里的代码相对应。

mpirun -np 8 python xxxx.py

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Cian小鱼干

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

超算python tensorflow

m0_46268055的博客

04-06

1197

和武大的类似，也是使用Slurm作业脚本Slurm（Simple Linux Utility for Resource Management）是一个开源的作业调度系统，用于管理和调度超级计算机集群中的作业和资源。它是一个广泛使用的作业调度系统，被许多科学计算中心和研究机构采用。Slurm提供了一套丰富的功能，用于管理大规模的计算资源、提交和调度作业、跟踪作业状态、分配节点、优化资源利用率等。它允许用户提交作业并指定作业所需的资源（如CPU核心、内存、GPU等），并在集群中的可用资源中进行分配和管理。

openmpi python 环境搭建及使用

蒜蓉粉丝蒸扇贝的专栏

09-24

4442

1. open-mpi 是什么 open-mpi的官方定义：A High Performance Message Passing Library（from https://www.open-mpi.org/） MPI是Message Passing Interface的简称，也就是消息传递。消息传递指的是并行执行的各个进程具有自己独立的堆栈和代码段，作为互不相关的多个程序独立执行，进程之间的信

参与评论您还未登录，请先登录后发表或查看评论

Linux系统MPI library之OpenMPI的安装及使用

Blockbuater_drug

02-15

6022

OpenMPI是一个开源的消息传递接口（Message Passing Interface，MPI）的实现，用于并行计算。它允许多个计算节点之间进行通信和数据交换，从而实现分布式计算。这里介绍OpenMPI的安装和基本使用。安装是后续的分子对接虚拟筛选以及分子动力学研究的准备工作。

并行计算openMPI程序设计（一）

weixin_46183501的博客

02-07

1992

最简单的并行方案要改进上述算法为并行算法，需要了解到C++ MPI编程的特点： a. 各个进程之间不能有依赖。进程可以以任意时间进行 b. 数据是分布式存储的。也就是说，每个进程有自己独立的数据备份。有了这两点认识后，一种最简单的并行方案就出来了：（假设开启np个进程） (1). 首先将矩阵A和C按行分为np块； (2). 进程号为 id 的进程读取A的第 id 个分块和B； (3). 进程号为 id 的进程求解相应的C的第 id 个分块。 ...

并行计算openMPI程序设计（二）

weixin_46183501的博客

02-09

728

文章目录并行计算编程学习笔记（名词简介）2.1设计通讯需要考虑的因素2.2 同步 (Synchronization)2.3粒度 (Granularity)并行计算实现矩阵乘法代码分析3.1 矩阵并行计算程序([原文章点击此](http://www.cnblogs.com/fengfu-chris/p/4364142.html)) 并行计算编程学习笔记（名词简介） 2.1设计通讯需要考虑的因素在设计程序任务之间的通讯时，有大量的重要因素需要考虑：通讯开销： 1）任务间通讯几乎总是意味着开销。2）而可以

open-mpi:使用 OpenMPI 的并行程序

06-15

使用 OpenMPI 的并行程序该项目使用 OpenMPI 库实现了几个并行程序。

python单核运行_python下多核，单核CPU对于并行，并发执行效率的对比-Go语言中文社区...

weixin_32321921的博客

12-30

1556

****这篇博客主要内容为python 中多线程以及多进程的效率对比，以及记录自己在做这个实验中遇到的一些问题以及心得背景引入：CPU制造商为了追求CPU效率放弃了在CPU频率上的追求(CPU频率即CPU单位时间内可以完成任务的多少)，反而开始把方向转向了多核CPU上。那么如何在多核CPU上充分发挥出多核的优势就成了一个问题。首先是简单介绍下多线程与多进程：线程：是程序执行流的最小单元，是系统独立...

python 多核并行计算

07-27

Python中实现多核并行计算的方法有很多，下面介绍...需要安装MPI库（如OpenMPI），然后使用mpiexec命令来执行Python脚本。这些方法都可以用于实现Python的多核并行计算，具体选择哪种方法取决于你的需求和项目特点。

超级计算机作业,使用Python将多个作业提交给超级计算机

weixin_29663547的博客

07-14

852

我目前正在使用超级计算机进行各种量子力学计算。我需要在任何特定时间提交大量文件(280个单独的子部分)。我正在尝试使用python来自动化这个过程，但是使用python运行一个单独的提交脚本的经验很少。提交脚本我使用(名为subOrca_mpi.sh)是：使用Python将多个作业提交给超级计算机#!/bin/bashstring=".inp"root="${1%$string}"#if [ -z...

openMPI使用说明

linuxchyu的专栏

07-27

8282

测试Open MPI的安装命令"ompi_info"可用来检测Open MPI的安装状态。该命令会返回一个关于你的Open MPI安装的大概信息。 Note that the ompi_info command is extremely helpful in determining which components are installed as well as listing all

c与python程序通过openMPI进行并行通信的简单例子

03-21

c与python程序通过openMPI进行并行通信的简单例子

并行计算OpenMP与MPI环境搭建

mc_故事与你的博客

04-01

2582

目前公开文献可查到比较早提出的定义是Gottlieb等人在1989年《高性能计算》一书中给出的。Gottlieb等认为：并行计算是一种计算类型，其中许多计算或计算过程的执行是同时执行的。并行计算的目的是加快计算速度。我国学者张林波在其编写的教材《并行计算导论》中对并行计算进行了描述性定义：并行计算（parallel computing）是指，在并行机上，将一个应用分解成多个子任务，分配给不同的处理器，各个处理器之间相互协同，并行地执行子任务，从而达到加速求解速度，或者求解应用问题规模的目的。

【笔记】OpenMPI基本使用1

m0_52739647的博客

03-05

3726

OpenMPI介绍与基本使用

并行计算（MPI + OpenMP）

weixin_44885334的博客

12-21

5446

Message Passing Interface（MPI）：一种基于信息传递的并行编程技术，定义了一组具有可移植性的编程接口标准（并非一种语言或者接口）。支持点对点通信和广播。MPI 的目标是高性能、大规模性、可移植性，在今天仍为高性能计算的主要模型。OpenMPI 函数库，微软 MPI 文档程序结构（C语言版）编译：运行：数据类型 MPI 数据类型 C语言数据类型 MPI_INT int MPI_FLOAT float MP

OpenMPI(一) 消息的发布和接收

weixin_50321412的博客

03-05

438

而在并行运算中，分布式内存(distributed memory parallelism)也很常见，在这种情况下，每个操作单元独立的拥有一块内存，数据依赖关系将通过直接的交流解决，所以将不存在data race的问题。由于这是分布式的内存系统，其他进程无法直接访问到进程0所在的内存，也就无法直接读取到矩阵a的值。在这段代码中，localSize = 矩阵a的大小 / 总进程数，这样就可以把矩阵a平均分配给不同的进程进行计算。其他进程在接受到进程0发送的消息以后，会纷纷在自己的内存中进行矩阵加法。

openmp并行编程_转载：多线程编程方法3OpenMPI框架

weixin_39929377的博客

12-06

394

介绍OpenMPI官方link：https://www.open-mpi.org/我们先来看下MPI和OpenMPI的关系：MPI:英文全称是Message Passing Interface，这个就很明了了，信息传递接口，是独立于语言的通信协议(标准)，是一个库。OpenMPI：英文全称是open Message Passing Interface。openMPI是MPI的一种实现，...

openmpi+mpi4py+Linux服务器搭建python分布式环境

Mxiaobai1998的博客

04-05

2463

例如：mpirun -n 5 -hostfile hosts --allow-run-as-root -prefix /usr/local/openmpi python3 /home/Test.py（此时我选取了5个节点，当然相应的hosts文件也应该修改为只剩下前五行）例如： mpirun -n 3 -host master,worker01,worker02 --allow-run-as-root -prefix /usr/local/openmpi python3 /home/Test.py。

openMP使用

weixin_39171982的博客

03-05

242

openMP使用项目需要对程序的运行进行加速，在不考虑更换硬件的前提下，考虑采用多线程对代码进行优化，以下记录学习过程。处理器采用大疆秒算2-C，CMakeList配置参考这篇博客：在CMakelist.txt中配置OpenMP openMP之section 被#pragma omp parallel sections之后的大括号括起来的部分会使用多线程执行，每一个#pragma omp section括起来的部分会分配一个线程去执行，如果section数目多于CPU内核数，那么就会等有空余的内核时才

openmpi笔记

Mr_Cat123的博客

12-07

683

本文持续更新… 最近用到openmpi，所以顺便学习一下，做个笔记。参考资料有： openmpi youtube视频教程 openmpi提供的视频介绍–这个比较长，比较细（英文） 1 OpenMPI使用–Fortran 这里主要讲fortran的例子，python的例子可以使用mpi4py 1.1 单个子程序这里假定已经安装好OpenMPI，举例说明其应用写一个名为hello.f90的程...

如何在Windows上通过Cygwin使用OpenMPI运行并行程序？