闲的蛋疼学学paddlepaddle,多gpu通信需要安装NCCL
整体来说,这篇文章是ok的,我也不想重复造轮子。
Linux下NCCL源码编译安装 - chenzhen0530 - 博客园NCCL(NVIDA Collective Communications Library)目的是为了实现Multi-GPU或Multi-node之间的通信; 有两种安装方式,一是具有root权限的安装https://www.cnblogs.com/chenzhen0530/p/13885258.html但是我在编译时候有一点需要修改。在修改 ~/.bashrc 文件时
export PATH=$PATH:/home/XXX/software/nccl/bin
应该改为
export PATH=$PATH:/home/XXX/software/nccl/include
因为make后文件夹下并没有bin文件夹。