SoftRoCE实践

最新推荐文章于 2023-08-10 02:05:36 发布
最新推荐文章于 2023-08-10 02:05:36 发布
阅读量3.5k 收藏 12
点赞数 2
分类专栏： 技术 文章标签： linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xsx_6361/article/details/111151788
版权
本文介绍了SoftRoCE，一种纯软件实现的RDMA方式，详细阐述了在Linux环境下的搭建过程，包括RoCE接口创建、联通测试、带宽测试（使用rping和ibv_rc_pingpong）以及传统以太网带宽测试（iperf和qperf）。同时，文章还讲解了GID的配置与理解，以及RDMA卡的检测方法。
摘要由CSDN通过智能技术生成

简介

SoftRoCE是RDMA的一种纯软件实现的方式，因此不需要特定的硬件支持，但是其性能与硬件支持的RDMA还是有一些差距的。通过softRoCE我们可以在传统的以太网进行RoCE通信。自4.9.0之后的内核已经内置sofrRoCE驱动，我们直接使用即可。

环境搭建

  1. 实验环境
Server Client
ubuntu 18.04 ubuntu 18.04
kernel 5.4.0 kernel 5.4.0
x86 x86
  1. 安装相关软件
sudo apt-get install libibverbs-dev librdmacm-dev rdma-core
#备注
 - libibverbs-dev - Development files for the libibverbs library
 - librdmacm-dev - Development files for the librdmacm library
 - rdma-core - RDMA core userspace infrastructure and documentation

联通测试

1.在server端和client端创建RoCE interface：

sudo rxe_cfg start
sudo rxe_cfg add enp3s0

	成功后出现：
<
最低0.47元/天 解锁文章
迷之印记
关注
  • 2
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【RDMA】15. RDMA之RoCE & Soft-RoCE
小鱼菜鸟的博客
09-26 813
【RDMA】RDMA 学习资料总目录_bandaoyu的笔记-CSDN博客SavirRDMA 分享1. RDMA概述https://blog.csdn.net/bandaoyu/article/details/112859853https://zhuanlan.zhihu.com/p/1388747382. 比较基于Socket与RDMA的通信https...
用SoftRoCE测试SPDK NVMe-oF target
weixin_37097605的博客
08-03 924
SoftRoCE基本概念 SoftRoCE是RDMA传输的一个软件实现。它是作为Github社区项目开发的，主要贡献来自于IBM、Mellanox和System Fabr...
使用Soft-RoCE实践RDMA
wq897387的专栏
07-23 1122
使用Soft-RoCE实践RDMA
【RDMA】RoCEv2 帧结构|RoCE和RRoCE|Soft-RoCE
热门推荐
bandaoyu的note
06-04 1万+
UC send 1911 1.704461 GID: fe80::9a03:9bff:fe92:1ae6 GID: fe80::9a03:9bff:fe9a:4296 RoCE 134 UC Send Only QP=0x00fd47 RC send 17 0.000203 GID: fe80::9a03:9bff:fe92:1ae6 GID: fe80::9a03:9bff:fe9a:2b3a RoCE 114 RC Se...
RXE-master:SoftRoCE 初始修订版
07-07
RXE OFED Soft RoCE Providers - RDMA over Converged Ethernet 的软件实现 兼容 rdma-3.12 OFED compat-rdma 目录树，将软 RoCE 内核提供程序“rxe”折叠到构建环境中。 在第一次构建之前，您需要执行配置脚本来设置前缀、内核版本、内核源、模块目录和要构建的内核模块。 预计已安装不带 RXE 的 OFED-3.12。 librxe-1.0.0 软 RoCE 用户空间提供程序的 OFED librxe 用户提供程序目录树。
Soft-RoCE部署及通信测试
Eddy的博客
05-01 3752
Soft-RoCE是一种基于软件的RoCE（RDMA over Converged Ethernet）实现。
SOFT_RoCE环境搭建
记忆碎片
03-13 934
然后进行用户态配置，其中rxe_0是你希望的RDMA的设备名，可任意取名。ens33为Soft-RoCE设备所绑定的网络设备名，也就是我们刚才ifconfig看到的网卡名，每个虚拟机可能都不一样。从外到内依次是：物理层-->以太网链路层-->IPv4网络层-->UDP传输层-->IB传输层-->数据。可以看到例子中使用的是RC类型的连接，进行了SEND操作。ibverbs各厂商用户态驱动（包括RXE）如果是m或者y，表示当前内核支持RDMA。ibverbs动态链接库。
ubuntu18.04上Soft-Roce环境搭建配置及性能测试方法
automanliang的专栏
04-08 3492
介绍了在无RDMA网卡的情况下，通过Soft-roce在普通pc上搭建RDMA环境及性能测试方法，通过soft-roce，开发者可以在普通pc上进行rdma软件开发及测试
NVMe of RDMA(Soft-RoCE)环境搭建八：虚拟机环境验证
探索未知，成就非凡
07-06 653
Client：ib_send_bw -d rxe_0 <server端ip，这里的ip是192.168.225.135，注意：这里要确保client端能访问server端>完成前七个步骤后，我们现在有两台虚拟机，我们利用其中一台作为server端，另外一台作为client端，测试Soft-RoCE的通路。完成第1章节后，我们现在有两台虚拟机，我们利用其中一台作为server端，另外一台作为client端，测试Soft-RoCE的通路。
在虚拟机上使用SoftRoCE部署SPDK NVMe-oF
lingshengxiyou的博客
09-01 737
为什么我们需要在虚拟机上部署SPDK NVMe-oF呢？原因很明显：因为随着主机拥有越来越强大的内核，我们能更有效地利用内核资源；而对于NVMe-oF功能测试用例，不需要太多计算和内存资源，那么，我们可以充分利用虚拟机来进行NVMe-oF功能测试。接下来，我们将讨论如何使用虚拟机和SoftRoCE来实现此目的。设置SoftRoCE环境设置两个Fedora26内核为4.15.0-041500-generic的虚拟机。两个虚拟机使用Vagrantfile连接到主机上名为vboxnet0的的网桥。...
RDMA Soft-RoCE实验操作
qq_38158479的博客
04-06 934
手上没有特定的硬件去做这个RoCE的实验，不过可以使用soft-roce去做这个实验，模拟数据包的发送以及接收过程。 使用内容： 使用两台机器，使用Soft-RoCE技术让两台机器互相通信。 参考文章 1：实验操作参考 2：视频 在看篇文章的时候，了解到了perftest性能测试工具，有点范迷糊，这又是什么东东，于是，马上开始面向百度进行了搜索， 找到了一篇说perf觉得还算是比较容易理解的博文， 1：perf简单介绍 ...
RoCE、softRoCE与iWRAP
weixin_34368949的博客
06-15 653
RoCE - RDMA over Converged Ethernet 以太网在全球互联的广域网中毫无异议的老大，但在高带宽、低延时的专有网络领域却明显混不开。伴随网络融合概念兴起，IETF发布了DCB标准，RDMA/Infiniband依赖的无损链路得以解决，以太网可以在专有网络领域内也占有一席之地了，所以RoCE – RDMA Over Converged Ethernet就顺势而生...
15. RDMA之RoCE & Soft-RoCE
weixin_39094034的博客
10-31 1513
Soft-RoCE就是把本来应该卸载到硬件的封包和解析工作，又拿到软件来做。其本身是基于Linux内核的TCP/IP协议栈实现的，网卡本身并不感知收发的数据包是RoCE报文，其驱动程序按照IB规范中的报文格式将用户数据封装成IB传输层报文，然后把报文整体当做数据填入Socket Buffer当中，由网卡进行下一步收发包处理。
centos linux 安装RDMA Soft-RoCE|虚拟机安装Soft-RoCE
最新发布
bandaoyu的note
08-10 2079
softRoCE的目标是在所有支持以太网的设备上都可以部署RDMA传输，可以使不具备RoCE能力的硬件和支持RoCE的硬件间进行基于IB语义的交流。大白话就是模拟RDMA的软件栈，使得在没有RDMA网卡的环境上，也可以运行基于RDMA写的传输程序。但是因为RDMA网卡的一大特色之一就是，传输的动作是网卡上的芯片处理的，普通网卡没有这样的硬件，所以只是实现了0拷贝，而没有真正的RDMA网卡的CPU减负功效。
NVMe of RDMA(Soft-RoCE)环境搭建九：NVMe of RDMA(Soft-RoCE)性能测试
探索未知，成就非凡
07-06 440
由于测试环境限制以及相关环境影响较大，以上测试数据仅作为本文档测试流程输出中的一个组成部分，不代表NVMe相关硬件的实际性能，如要获取实际框架的性能，可以参考该文档在实际硬件上进行精确测试。对比测试本地 NVMe SSD 和 NVMe over RoCE SSD之间的顺序/随机性能。将 NVMe SSD 全盘顺序写2遍后，使用 fio 测试工具。
NVMe of RDMA(Soft-RoCE)环境搭建四：RDMA（Soft-RoCE）软件栈部署
探索未知，成就非凡
07-05 1440
相比于rdma-core自带的示例程序 ，功能更加强大，当然也更复杂。ens33为Soft-RoCE设备所绑定的网络设备名，也就是我们刚才ifconfig看到的网卡名，每个虚拟机可能都不一样。2.由于我们实在虚拟机中进行相关验证，没有对应的支持RDMA的硬件网卡，所以我们这里的RDMA Soft-RoCE。RoCE功能的软件实体）的相关选项，用户态也已经部署了rdma-core，那么此步骤可以跳过。如果CONFIG_RDMA_RXE的值为y或者m，表示当前的操作系统可以使用RXE。
基于soft-RoCE运行OSU Micro Benchmark
ljyfree的专栏
11-17 623
基于Soft RoCE运行OSU Micro Benchmark
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值