多机多卡训练组网及配置NCCL_GDR_IB

GPU+Mellanox HCA GDR TEST 环境部署

1、安装nvidia驱动（建议采用最新驱动），根据操作系统和显卡型号选择即可

https://www.nvidia.cn/Download/index.aspx?lang=cn

2、安装CUDA

https://developer.nvidia.com/cuda-downloads

3、安装对应操作系统版本的Mellanox OFED

https://www.mellanox.com/products/infiniband-drivers/linux/mlnx_ofed

上述安装完成后可以使用nvidia-smi以及ibstat查看GPU/HCA卡的状态

4、关闭selinux；配置cuda环境变量；

# set enforce 0

# export PATH=$PATH:/usr/local/cuda/bin

# export LD_LIBRARY_PATH=/usr/local/cuda/lib:/usr/local/cuda/lib64:$LD_LIBRARY_PATH

5、安装nv_peer_memory

https://github.com/Mellanox/nv_peer_memory

# ./build_module.sh

# rpmbuild --rebuild /tmp/nvidia_peer_memory-1.0-8.src.rpm

# rpm -ivh <path to generated binary rpm file>

6、安装GDR TEST的相关套件并测试（perftest）

https://github.com/linux-rdma/perftest

7、nccl test

https://www.jianshu.com/p/f34c08ccc2ff

https://github.com/NVIDIA/nccl-tests

NCCL环境变量理解（影响通信效率）

https://docs.nvidia.com/deeplearning/nccl/user-guide/docs/env.html

修改环境变量或在nccl.conf中修改相关参数选项。可以改变通信特点，进而起到影响通行性能的作用。

NCCL_P2P_DISABLE 默认是开启P2P通信的，这样一般会更高效，用到点对点通信延迟会有所改善，带宽也是。

NCCL_P2P_LEVEL 开启P2P后可以设置P2P的级别，比如在那些特定条件下可以开启点对点通信，具体的可以参看文档（0-5）

NCCL_SOCKET_NTHREADS 增加它的数量可以提高socker传输的效率，但是会增加CPU的负担

NCCL_BUFFLE_SIZE 缓存数据量，缓存越大一次ring传输的数据就越大自然对带宽的压力最大，但是相应的总延迟次数会少。缺省值是4M（4194304），注意设置的时候使用bytes（字节大小）

NCCL_MAX/MIN_NCHANNELS 最小和最大的rings，rings越多对GPU的显存、带宽的压力都越大，也会影响计算性能

NCCL_CHECKS_DISABLE 在每次集合通信进行前对参数检验校对，这会增加延迟时间，在生产环境中可以设为1.缺省是0

NCCL_CHECK_POINTERS 在每次集合通信进行前对CUDA内存 指针进行校验，这会增加延迟时间，在生产环境中可以设为1.缺省是0

NCCL_NET_GDR_LEVEL GDR触发的条件，默认是当GPU和NIC挂载一个swith上面时使用GDR

NCCL_IGNORE_CPU_AFFINITY 忽略CPU与应用的亲和性使用GPU与nic的亲和性为主

NCCL_ALGO 通信使用的算法，ring Tree Collnet