什么是IB:
InfiniBand(直译为“无限带宽”技术,缩写为IB)是一个用于高性能计算的计算机网络通信标准,它具有极高的吞吐量和极低的延迟,用于计算机与计算机之间的数据互连。InfiniBand也用作服务器与存储系统之间的直接或交换互连,以及存储系统之间的互连。
1、IB是一类特殊的网卡,硬件上包括网卡,连接线,交换机都是由nvidia收购的mellanox定制的
2、IB从字面理解就知道是超高带宽的连接技术,属于一种RDMA技术中的一种
3、IB常用在智算场景,用于GPU间夸节点交换数据,可以将数据直接发送到IB卡;也可以作为高速存储的通道
IB硬件
IB卡:
服务器(已满配8张200Gb IB卡为例):
从服务器上查询IB卡信息:
从查询信息上也可以看出IB卡是Mellanox网卡一种,一张IB卡的性能有几种规格100Gb/200Gb/400Gb,本文主要以200Gb规格为例
IB交换机QM8790:
QM8790有40个接口,每个接口可以支持200Gb带宽,交换机整机交换量为16Tb,这里注意一个细节,交换加整机交换量是 40口*200Gb的两倍,完全可以支持每个接口满载还有富余。
IB的组网:
IB组网以SU为单元,一个SU内能最多能接入20台插有8张IB卡的服务器;再以SU为单元进行扩展,最多可以支持140台插有8张IB卡的服务器组网;
从图中可以看出,一个SU内的一台服务器上的8张IB卡会分别接到8个交换机的下行口。这种接线结构是经过导轨优化后最优的接线方式。从各级交换机的数量*交换带宽,也能看出完全可以满足140台服务器的交换量
IB驱动安装:
IB驱动安装要先于GPU驱动和Cuda安装,否则会影响性能
下载IB驱动,根据自己的系统类型到以下链接选择下载驱动:
可以选择5.8的LTS版本
驱动下载后进行解压,执行解压目录下的安装命令:./mlnxofedinstall --all
安装完重启机器
重启后执行 /etc/init.d/openibd restart
IB驱动安装后在linux系统上除了用ifconfig命令可以看到网卡,也可以用ibdev2netdev命令看到网卡和IB卡名称间的映射关系
最后通过命令检查IB卡状态:ibstat
IB常用命令:
命令 | 说明 | 命令格式 |
ibstat | 端口信息和链路运行状态 | ibstat |
ibstatu | 跟ibstat类似,信息更精简 | ibstatu |
ibdev2netdev | 查看网卡和IB卡名映射关系 | ibdev2netdev |
iblinkinfo | 查看IB网络拓扑信息 | iblinkinfo –C mlx1_0 iblinkinfo –C mlx1_0 -S <SWITCH GUID> |
ibping | 检测联通新 | ibping -C mlx1_0 -S ibping –C mlx1_0 < server LID> |
ib_write_bw | 检测联通性,简单测带宽 | b_write_bw -d mlx1_0 -a -F #server端 ib_write_bw -d mlx1_0 -i 1 <ip> -n 1000 -a -F #client端 |
ibdiagnet | 诊断 | ibdiagnet |
sharp_hello | 验证sharp功能是否正常 | sharp_hello -d mlx1_0 |
IB性能压测:
IB性能压测建议使用nvidia提供的nccl_test工具
nccl_test可以完成单节点内GPU卡检测测试,如果要连带测试IB性能要使用夸节点测试,依赖mpirun命令,要确保各测试节点都安装了nccl_test 和mpi_run测试命令可以参考一下:
#主节点
export LD_LIBRARY_PATH=/usr/lib:/usr/local/mpi/lib:/nccl-test/build/lib:/usr/local/cuda-11.7
mpirun -np 2 -H ip1,ip2,ip3...... -mca plm_rsh_args '-p 31000' -mca btl_openib_allow_ib true -mca orte_base_help_aggregate 0 -x NCCL_DEBUG=INFO -x NCCL_SOCKET_IFNAME=eth0,ib0,ib1 /nccl-tests/build/all_reduce_perf -b 128 -e 8G -f 2 -g 6
#ip1,ip2,ip3 代表要加入测试的各节点ip
#-p 31000 代表mpirun协商的端口
#NCCL_DEBUG=INFO 环境变量,打开NCCL调试信息价
#NCCL_SOCKET_IFNAME=eth0,ib0,ib1 nccl_test能用的网卡和IB卡信息
#/nccl-tests/build/all_reduce_perf -b 128 -e 8G -f 2 -g 8 最终执行的测试命令
#-b:从128B包长起步测试
#-e:到8GB包长结束测试
#-f:每次测试包长为上一次值*2
#-g:代表GPU数据这里是8
ib_write_bw代码实现:
ib最直接的使用代码可以参考以下链接
GitHub - linux-rdma/perftest: Infiniband Verbs Performance Tests
从代码中可以看出使用了很多rdma的接口,代码这块我们可以再开一篇文章单独介绍
在Pytorch中使用IB卡:
可以用一个简单的Pytorch DDP多机例子验证:
下载工程:https://github.com/tingshua-yts/BetterDL.git
先安装好pytorch工程,也可以考虑直接用镜像透传gpu,测试用例需要两台1卡GPU机器,或者两个带1张GPU卡的容器
docker run --gpus all --rm -it --net host nvcr.io/nvidia/pytorch:21.03-py3 /bin/bash
将代码BetterDL拷贝到两台机器或者容器上
cd到目录:BetterDL/test/pytorch/DDP
在机器1上对脚本稍作修改后执行:run_node0_plain.sh
export NCCL_DEBUG=INFO #这个参数帮助打出NCCL信息,能看到是否识别到IB卡
export MASTER_PORT=1234
export MASTER_ADDR=192.168.9.17 #这个IP根据实际情况给出机器1的IP
export WORLD_SIZE=2 #两个实例
export LOCAL_WORLD_SIZE=1 #本机1个实例,占用一张GPU卡
export RANK=0 #本机实例编号,根据多机总实例数进行编号
export LOCAL_RANK=0 #本机内部实例编号
export LOGLEVEL="DEBUG"
python trian_multi_node.py
在机器2上对脚本稍作修改后执行:run_node1_plain.sh
export NCCL_DEBUG=INFO
export MASTER_PORT=1234
export MASTER_ADDR=192.168.9.17 #修改为机器1的IP协商用
export WORLD_SIZE=2 #共2个实例
export LOCAL_WORLD_SIZE=1 #本机1个实例
export RANK=1 #本机实例编号,根据多机总实例数进行编号
export LOCAL_RANK=0 #本机第0个实例
export LOGLEVEL="DEBUG"
python trian_multi_node.py
程序启动后nccl输出以下日志,代表nccl已识别并使用了IB卡