KVM上的Ubuntu Server 16.04.2 LTS测试soft-RoCE



 

编译linux kernel4.15.因为soft-RoCE是在linux kernel4.5以后添加到main line的。编译时选中RDMA_RXE，这个就是soft-RoCE。然后进行编译:

 makemodules_install

 

 makeinstall

 

 makeheaders_install INSTALL_HDR_PATH=/usr

 

完成后重新启动机器

 

接下来编译userspace的部份

 

git clonehttps://github.com/SoftRoCE/librxe-dev.git

 

cd librxe-dev/

安装下面的软件:

 

 apt-get install libibverbs-dev

 

 apt-get install libswitch-perl

 

 aptinstall rdmacm-utils

 

 aptinstall ibverbs-utils

 

完成后，

./configure --libdir=/usr/lib64/ —prefix=

Make

Make install

 

把rxe库文件链接到/usr/lib目录下

 ln-s /usr/lib64/librxe.a /usr/lib/librxe.a

 

 ln-s /usr/lib64/librxe.la /usr/lib/librxe.la

 

 ln-s /usr/lib64/librxe-rdmav2.so /usr/lib/librxe-rdmav2.so

 

 ln-s /usr/lib64/librxe.so /usr/lib/librxe.so

 

检查rxe状态

 

rxe_cfg status

 

启动rxe_cfg

 

 rxe_cfg start

 

把虚拟网卡加入

 

 rxe_cfg add ens3

 

加载必要的module

 modproberdma_rxe

 modprobe ib_uverbs

 

开始测试

 

先测pingpong

 

server端(192.168.200.131)使用 ibv_rc_pingpong -d rxe0 -g 1

client端使用 ibv_rc_pingpong -drxe0 -g 1 192.168.200.131

再测rping

 rping -s -a 192.168.200.131 -v -C 10

rping-c -a 192.168.210.131 -v -C 10