集合通信算法源码解读视频教程 Open MPI 5.0，NCCL可参考

集合通信算法视频教程 Open MPI 5.0通信算法源码解读

NCCL、MPI中有各种各样的集合通信原语/接口，像Broadcast、Allreduce、reduce、allgather、scatter、alltoall、gather、reducescatter等。每个集合通信原语，都有多套算法实现。

例如Broadcast，由于应用场景的不同，参与通信的通信实体数量，每次发送的数据量各不相同等，导致难以有一种集合通信算法在各种条件下都是最优的，因此出现了一个集合通信原语，有多套集合通信算法实现。本教程以Broadcast为例，介绍其对应的将近9种集合通信算法，包括：basic linear、bintree、split tree等，并介绍集合通信算法选择，和逻辑拓扑构建。

1.1 OpenMPI 5.0 集合通信算法选择 broadcast为例

1.1 OpenMPI 集合通信算法选择 broadcast为例 （MPI 5.0源码解读）_哔哩哔哩_bilibili

1.2 basic linear集合通信算法

1.2 basic linear集合通信算法broadcast为例（MPI OpenMPI 5.0源码解读）_哔哩哔哩_bilibili

1.3 bintree二叉树通信算法

1.3 bintree二叉树通信算法broadcast为例（MPI OpenMPI 5.0源码解读）_哔哩哔哩_bilibili

1.4 通信拓扑构建 binary tree为例

1.4 通信拓扑构建 binary tree为例（MPI OpenMPI 5.0源码解读）_哔哩哔哩_bilibili

1.5 split bintree通信算法broadcast为例

1.5 split bintree通信算法broadcast为例（MPI OpenMPI 5.0源码解读）_哔哩哔哩_bilibili

 

1.1 OpenMPI 集合通信算法选择 broadcast为例 （MPI 5.0源码解读）