NCCL安装测试

NCCL安装教程

下载NCCL安装包

直接去官网下载安装包（要先注册NVIDIA账号，下载安装固定的nccl与cuda版本组合），历史版本点这里，也可以在github上获取所有版本，点击这里。

根据对应cuda版本下载自己所需要的安装包

解压安装包

这边介绍以github上下载的tar.gz文件为例，构建与自己cuda适应的nccl

tar -zxvf nccl-版本号.tar.gz -C /to/your/path
-C：选择安装路径

构造库文件

cd nccl
make -j src.build
前提已经安装好cuda

如果 CUDA 不在默认的 /usr/local/cuda 路径中，使用以下命令定义 CUDA 路径：

make src.build CUDA_HOME=<to you path>

安装

要在系统上安装 NCCL，请创建一个软件包，然后以 root 身份安装它。

Ubuntu：

sudo apt install build-essential devscripts debhelper fakeroot
make pkg.debian.build

CentOS：

sudo yum install rpm-build rpmdevtools
make pkg.redhat.build

centos构建完成后去对应文件夹内安装

cd /to/your/path/nccl
cd /build/pkg/rpm/x86_64
rpm -ivh  libnccl-2.18.1-1+cuda12.0.x86_64.rpm
rpm -ivh  libnccl-devel-2.18.1-1+cuda12.0.x86_64.rpm
rpm -ivh  libnccl-static-2.18.1-1+cuda12.0.x86_64.rpm

看自己构建的组合安装

ubuntu构建完成后去对应文件夹内安装

cd /to/your/path/nccl
cd /build/pkg/deb/
dpkg -i libnccl2_2.18.1-1+cuda11.8_amd64.deb
dpkg -i libnccl-dev_2.18.1-1+cuda11.8_amd64.deb
看自己构建的组合安装

centos测试是否安装完成

rpm -qa | grep libnccl
rpm -q libnccl
有输出证明安装完成

ubuntu测试是否安装完成

dpkg -l |grep libnccl

测试

NCCL 的测试在https://github.com/nvidia/nccl-tests上单独维护。

git clone https://github.com/NVIDIA/nccl-tests.git
cd nccl-tests
make
./build/all_reduce_perf -b 8 -e 256M -f 2 -g 4