NCCL配置多卡运行

1、下载地址

https://developer.nvidia.com/nccl/nccl-legacy-downloads

2、下载.txz文件

3、解压缩文件

# 进入 /usr/local
cd /usr/local
# 解压
tar -xvf nccl_2.8.3-1+cuda10.1_ppc64le.txz

4、找到自己的cuda路径

whereis cuda

cuda中文件如下，

5、替换include、lib64

sudo cp include/* /usr/local/cuda/include
sudo cp lib/* /usr/local/cuda/lib64

6、创建软连接，重新生成libnccl.so、libnccl.so.2

# cd /usr/local/cuda-10.0/lib64
# 删除原有文件
sudo rm libnccl.so libnccl.so.2
# 创建软连接
sudo ln -s libnccl.so.2.6.4 libnccl.so.2
sudo ln -s libnccl.so.2 libnccl.so
# 查看软链接是否创建成功
ls

9、添加LD_LIBRARY_PATH 环境变量

$ export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/nccl_2.8.3-1+cuda10.1_ppc64le/lib

10、在train.py中指定NCCL路径

# /usr/local/nccl_2.8.3-1+cuda10.1_ppc64le