NCCL安装教程
下载NCCL安装包
直接去官网下载安装包(要先注册NVIDIA账号,下载安装固定的nccl与cuda版本组合),历史版本点这里,也可以在github上获取所有版本,点击这里。
根据对应cuda版本下载自己所需要的安装包
解压安装包
这边介绍以github上下载的tar.gz文件为例,构建与自己cuda适应的nccl
tar -zxvf nccl-版本号.tar.gz -C /to/your/path
-C:选择安装路径
构造库文件
cd nccl
make -j src.build
前提已经安装好cuda
如果 CUDA 不在默认的 /usr/local/cuda 路径中,使用以下命令定义 CUDA 路径:
make src.build CUDA_HOME=<to you path>
安装
要在系统上安装 NCCL,请创建一个软件包,然后以 root 身份安装它。
Ubuntu:
sudo apt install build-essential devscripts debhelper fakeroot
make pkg.debian.build
CentOS:
sudo yum install rpm-build rpmdevtools
make pkg.redhat.build
centos构建完成后去对应文件夹内安装
cd /to/your/path/nccl
cd /build/pkg/rpm/x86_64
rpm -ivh libnccl-2.18.1-1+cuda12.0.x86_64.rpm
rpm -ivh libnccl-devel-2.18.1-1+cuda12.0.x86_64.rpm
rpm -ivh libnccl-static-2.18.1-1+cuda12.0.x86_64.rpm
看自己构建的组合安装
ubuntu构建完成后去对应文件夹内安装
cd /to/your/path/nccl
cd /build/pkg/deb/
dpkg -i libnccl2_2.18.1-1+cuda11.8_amd64.deb
dpkg -i libnccl-dev_2.18.1-1+cuda11.8_amd64.deb
看自己构建的组合安装
centos测试是否安装完成
rpm -qa | grep libnccl
rpm -q libnccl
有输出证明安装完成
ubuntu测试是否安装完成
dpkg -l |grep libnccl
测试
NCCL 的测试在https://github.com/nvidia/nccl-tests上单独维护。
git clone https://github.com/NVIDIA/nccl-tests.git
cd nccl-tests
make
./build/all_reduce_perf -b 8 -e 256M -f 2 -g 4