mpi4py 中的动态进程管理

本文从本人简书博客同步过来

在上一篇中我们介绍了 mpi4py 中的进程拓扑操作方法，下面我们将介绍动态进程管理。

从 MPI-2 开始，允许在 MPI 应用程序启动之后创建和取消进程，定义和取消进程之间的协作关系，并提供一种机制在已有进程和新增进程之间建立联系，甚至在两个彼此无关的 MPI 应用程序之间建立联系。

在 mpi4py 中，一个 MPI 进程可通过 MPI.Intracomm.Spawn 或 MPI.Intracomm.Spawn_multiple 来创建新的进程。创建新的进程时，可通过 MPI.Info 对象告诉 MPI 运行时环境如何启动这个进程，但这些信息对 MPI 本身透明。

相关方法

MPI.Intracomm.Spawn(self, command, args=None, int maxprocs=1, Info info=INFO_NULL, int root=0, errcodes=None)

启动 maxprocs 个相同的 command 进程，并建立与这些进程间的联系，返回新进程的组间通信子对象。新创建的进程作为当前调用进程的子进程，子进程组具有与其父进程不同的 MPI.COMM_WORLD。Spawn 在当前通信子参数上为集合通信，因此仅当所有子进程都调用完 MPI.Init() 之后才可返回（MPI.Init() 在从 mpi4py 包 import MPI 时调用），因此可以说，父进程的 Spawn 和子进程的 MPI.Init() 形成一个集合操作。所返回的组间通信子对象中，在其 local 组中包含了父进程，在其远程组中包含了所有新创建的子进程。在子进程里，可通过下面介绍的 MPI.Comm.Get_parent() 方法获取组间通信子对象。command 字符串指出要启动进程所用的命令/文件名，搜索这些可执行文件的步骤和方法由具体的运行时环境决定，通常通过 PATH 环境变量以及当前工作目录来搜索。args 数组（如果不是默认的 None）是运行 command 程序所需的参数，如果没有参数，可以设置为 None。info 对象（如果不是默认的 MPI.INFO_NULL）中保存若干个用户指定的 (key, value) 对。root 参数的含义是：参数列表中 root 之前的参数仅在编号为 root 的进程里使用，在其它进程均被忽略，root 编号取在当前通信子中的编号。errcodes 参数是一个长度为 maxprocs 的数组，每个元素对应于相应进程创建时的错误信息。执行这个方法时，将尝试最大创建 maxprocs 个进程，如果不能，则会产生 MPI.ERR_SPAWN 错误。可通过 info 对象来控制创建进程的具体行为，例如如果无法创建 maxprocs 个进程，则可创建尽可能多个进程，而不是返回错误。要求全部 maxprocs 个进程都创建成功的做法称作 hard 约束，反之称作 soft 约束， hard 和 soft 是 info 对象的一个关键字。实际创建的子进程数目可通过组间通信子的 size 得知。

注意：Spawn 只允许创建相同进程的多个版本，无法同时创建不同进程或相同命令使用不同的参数创建多个进程