mpi4py 中的集合通信

本文从本人简书博客同步过来

在上一篇中我们简要总结了 mpi4py 中的组与通信子的基本概念和用途，下面我们将进行集合通信的介绍。

集合通信的主要功能是对一组进程进行通信、同步、计算等。

集合通信根据信息的传递方向可大致分为两大类：单向的集合操作和双向的集合操作。对于具有根进程的集合操作，如 Bcast，Scatter，Gather 等，传输通过根进程的一个参数来定义为单向，此时对包含了根进程的组，组中所有进程必须使用根所指定的参数进行调用，根进程集合操作的 root 参数则使用特殊的值 MPI.ROOT。所有与根处于相同组的其它进程使用 MPI.PROC_NULL。所有处于其它组的进程 （相对于根进程的远程组）必须调用集合操作并使其集合操作函数的 root 参数为根进程的 rank 值。相反的，如果操作不需要根进程，则传输为双向，如 Allgather，Allrecude，Alltoall 等。

另外，根据参与集合通信双方的进程数目，可大致分为三类：

• 一对多，如 Bcast，Scatter，Scatterv；
• 多对一，如 Gather，Gatherv，Reduce；
• 多对多，如 Allgather，Allgatherv，Allrecude，Reduce_scatter，Alltoall，Alltoallv，Alltoallw，Scan，Exscan。

此外，集合通信还包括一个同步操作 Barrier。

注意：集合通信调用可以和点对点通信共用一个通信子，MPI 保证由集合通信调用产生的消息不会和点对点调用产生的消息相混淆。

以上是对集合通信的一个非常简要的介绍，我们将在后面逐步介绍 mpi4py 中提供的各个集合通信操作方法，在下一篇中我们首先介绍 mpi4py 中的广播操作。