本文介绍了NVIDIA Collective Multi-GPU Communication Library (NCCL) 在Python PCIE通信中的应用，探讨了多GPU间的通信方式如Nvlink、PCIe switch、Infiniband和PCIe Host Bridge，并提供了NCCL的编译安装步骤以及测试示例，旨在帮助读者理解并实现高效的多GPU通信。
为了了解，上来先看几篇中文博客进行简单了解：
内容摘录：
通信性能(应该主要侧重延迟)是pcie switch > 同 root complex (一个cpu接几个卡) > 不同root complex(跨cpu 走qpi)。ib的gpu direct rdma比跨cpu要快，所以甚至单机八卡要按cpu分成两组，每组一个switch，下面四个卡，一个ib，不通过cpu的qpi通信，而是通过ib通信。- 摘自评论
对于多个GPU卡之间相互通信，硬件层面上的实现有Nvlink、PCIe switch(不经过CPU)、Infiniband、以及PCIe Host Bridge(通常就是借助CPU进行交换)这4种方式。而NCCL是Nvidia在软件层面对这些通信方式的封装。
保持更新，更多内容，请参考cnblogs.com/xuyaowen;
z390 芯片组资料：
P2P 显卡通信性能测试：
cuda/samples/1_Utilities/p2pBandwidthLatencyTest
nvidia 驱动安装：
nccl 编译安装过程：
git clone git@github.com:NVIDIA/nccl.git
cd nccl
make -j src.build (进行编译)
cd build
ex
最低0.47元/天 解锁文章
扫一扫
1811
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
