【网络】RDMA技术简述

最新推荐文章于 2025-03-22 20:04:27 发布
最新推荐文章于 2025-03-22 20:04:27 发布
阅读量3.3k 收藏 14
点赞数 4
分类专栏： 网络 文章标签： 网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Night_ZW/article/details/108319032
版权

文章目录

概述

传统的基于Socket套接字(TCP/IP协议栈)的网络通信过程

RDMA技术简介

RDMA技术的特点

一、Kernel bypass(内核旁路)

二、Zero-copy(零拷贝)

三、No CPU involvement(不涉及CPU)

RDMA的标准协议

一、Infiniband介绍

二、RoCE

Soft-RoCE

三、iWARP

RDMA如何工作

一、Fabric

二、CA(Channel Adapter)

三、Verbs

四、WQE(Work Queue Element)

五、WQ(Work Queue)

六、Work Queue Pair(Queue Pair)

七、SQ(Send Queue)和RQ(Receive Queue)

八、SRQ(Shared Receive Queue)

九、CQE(Completion Queue Element)

十、CQ(Completion Queue)

十一、WR(Work Request)和WC(Work Completion)

总结

概述

 

互联网时代日益增长的数据量的存储需求和海量数据处理需求导致分布式数据库系统的研究已经成为业界最新的热点问题。分布式数据库拥有优秀的扩展性,可以有效利用多核多机的计算和存储能力。同时,因为近年来内存价格的不断降低,操作系统也可以支持更大的地址空间,研发完全采用内存作为的存储引擎的分布式内存数据库得以实现。然而,由于传统的TCP/IP网络协议栈天然的复杂性,使得内存读取速度和网络传输速度的差距越来越大,网络IO替换磁盘IO成为了分布式内存数据库系统中新的瓶颈,影响了分布式系统的扩展性,制约着分布式内存数据库的性能。随着拥有比TCP/IP网络更高的吞吐量和更低的延迟的远程直接数据存取(RDMA)技术的日益成熟,利用RDMA技术改善分布式内存数据库系统中的网络环境的方式变得越来越流行。

 

那么了解RDMA技术之前，我们先了解下传统的TCP/IP通信的痛点在哪里，然后RDMA针对于这些痛点问题是如何解决的。

 

传统的基于Socket套接字(TCP/IP协议栈)的网络通信过程

 

在描述通信过程时的软硬件关系时，我们通常将模型划分为用户空间，Linux内核空间以及硬件。用户空间和Linux内核空间实际上使用的是同一块物理内存，但是处于安全考虑，Linux将内存划分为用户空间和内核空间。用户层没有权限访问和修改内核空间的内存内容，只能通过系统调用陷入内核态再访问或者修改内核空间的内容。

 

一次典型的Socket通信过程的可以如下图所示进行分层：

 

一次客户端和服务器发送和接收过程的步骤如下：

  1. 客户端和服务器通过Socket库提供的接口建立链接，并分别在内存中申请好发送和接收Buffer。
  2. 客户端通过Socket接口陷入内核态，待发送数据经过TCP/IP协议栈的一层层封装，最后被CPU复制到Socket Buffer(WriteBuffer)中。
  3. 客户端通过网卡驱动，告知网卡可以发送数据了，网卡将通过DMA(Direct Memory Access,直接存储器访问)从WriteBuffer中复制封装好的数据包到内部缓存中，然后将其发送到物理链路。
  4. 服务器网卡收到数据包后，将数据包放到Socket Buffer(ReadBuffer)中，然后CPU将通过内核中的TCP/IP协议栈对报文进行层层解析，取出有效的数据。
  5. 服务器通过Socket接口陷入内核态，CPU将数据从内核空间复制到用户空间。

Socket模型的数据流向大致是像上图这个样子，数据首先需要从用户空间复制一份到内核空间，这一次复制由CPU完成，将数据块从用户空间复制到内核空间的Socket Buffer中。内核中软件TCP/IP协议栈给数据添加各层头部和校验信息。最后网卡会通过DMA从内存中复制数据，并通过物理链路发送给对端的网卡。

而对端是完全相反的过程：硬件将数据包DMA拷贝到内存中，然后CPU会对数据包进行逐层解析和校验，最后将数据复制到用户空间。

上述过程中的关键点是需要CPU参与的把数据从用户空间拷贝到内核空间，以及同样需要CPU全程参与的数据包组装和解析，数据量大的情况下，这将对CPU将造成很大的负担。那么有没有一种解决方案来优化这个通信流程呢？RDMA技术应运而生，那么什么是RDMA呢？

 

RDMA技术简介

 

RDMA(Remote Direct Memory Access)技术全称远程直接内存访问，就是为了解决网络传输中服务器端数据处理的延迟而产生的。

同Socket一样，我们简单描述下通信的过程：

  1. 客户端和服务器分别通过系统调用陷入内核态创建好通信所需要的内存资源。
  2. 服务器通知硬件准备接收数据，告诉硬件将接收到的数据放在哪片内存中。
  3. 客户端通知硬件发送数据，告诉硬件待发送数据位于哪片内存中。
  4. 客户端RDMA网卡从内存中搬移数据，组装报文发送给对端。
  5. 服务器收到报文，对其进行解析并通过DMA将有效载荷写入内存。然后以某种方式通知上层应用，告知其数据已接收并妥善存放到指定位置。

这一过程中的数据流向大致如上图所示。通过和Socket的对比，我们可以明显看到，数据收发绕过了内核并且数据交换过程并不需要CPU参与，报文的组装和解析是由硬件完成的。

通过上面的对比，我们可以明显的体会到RDMA的优势，既将CPU从数据包封装和解析中解放出来，又减少了CPU拷贝数据的功率和时间损耗。

 

RDMA技术的特点

 

一、Kernel bypass(内核旁路)

在数据传输过程中，由于不涉及操作系统，因此应用程序可以直接从用户空间直接进行数据传输，从而减少了上下文切换和延迟。

 

二、Zero-copy(零拷贝)

应用程序可以将数据直接放在目标应用程序的内存缓冲区中，并将数据直接接收到缓冲区中，而无需在网络层之间复制数据。这将减少不必要的缓冲区传输。

 

三、No CPU involvement(不涉及CPU)

应用程序无需使用CPU即可访问远程内存。在传统的网络接口卡（NIC）中，CPU必须将数据移入和移出网络，但在RDMA中，仅需要CPU来进行信令设置和完成，并且数据将直接放入远程内存中。

因此，RDMA有助于提高吞吐量和减少延迟。我们可以在需要低延迟（例如高性能计算（HPC））或高带宽（例如云计算HPC）的应用程序中使用RDMA。

 

RDMA的标准协议

 

RDMA本身指的是一种技术，具体协议层面，包含Infiniband（IB），RDMA over Converged Ethernet（RoCE）和internet Wide Area RDMA Protocol（iWARP）。三种协议都符合RDMA标准，使用相同的上层接口，在不同层次上有一些差别。

 

上图对于几种常见的RDMA技术的协议层次做了非常清晰的对比。

 

一、Infiniband介绍

Infiniband（直译为“无限带宽”技术，缩写为IB）是一个用于高性能计算的计算机网络通信标准，它具有极高的吞吐量和极低的延迟，用于计算机与计算机之间的数据互连。InfiniBand也用作服务器与存储系统之间的直接或交换互连，以及存储系统之间的互连。

与目前计算机的I/O子系统不同，InfiniBand是一个功能完善的网络通信系统。InfiniBand贸易组织把这种新的总线结构称为I/O网络，并把它比作开关，因为所给信息寻求其目的地址的路径是由控制校正信息决定的。InfiniBand使用的是网际协议版本6的128位地址空间，因此它能提供近乎无限量的设备扩展性。

通过InfiniBand传送数据时，数据是以数据包方式传输，这些数据包会组合成一条条信息。这些信息的操作方式可能是远程直接内存存取的读写程序，或者是通过信道接受发送的信息，或者是多点传送传输。就像大型机用户所熟悉的信道传输模式，所有的数据传输都是通过信道适配器来开始和结束的。每个处理器（例如个人电脑或数据中心服务器）都有一个主机通道适配器，而每个周边设备都有一个目标通道适配器。通过这些适配器交流信息可以确保在一定服务品质等级下信息能够得到有效可靠的传送。


二、RoCE

通常，有两个RoCE版本：RoCE v1和RoCE v2。这取决于所使用的网络适配器或卡。

RoCE v1：RoCE v1协议是以太网链路层协议，允许同一以太网广播域（VLAN）中的两个主机进行通信。它使用以太类型0x8915，对于标准以太网帧，该帧长度限制为1500字节，对于以太网巨型帧，其帧长度限制为9000字节。

RoCE v2：RoCE v2协议克服了版本1绑定到单个广播域（VLAN）的限制。通过更改数据包封装以包括IP和UDP标头，RoCE v2现在可以在L2和L3网络中使用。这启用了第3层路由，该路由将RDMA带到具有多个子网的网络，以实现出色的可伸缩性。因此，RoCE v2也被视为可路由RoCE（RRoCE）。由于RoCE v2的到来，现在还可以进行IP多播。

 

Soft-RoCE

RoCE的软件实现称为Soft-RoCE，它为所有启用了以太网的服务器提供RoCE技术。上图描绘了通过网络接口卡（NIC）的RDMA堆栈的完整实现。Soft-RoCE具有ib_rxe内核模块和librxe用户空间库。Soft-RoCE驱动程序可用于Linux平台。安装Mellanox OFED 4.0或上游将自动提供Soft-RoCE用户空间库和内核模块。Soft-RoCE帮助数据中心具有以太网适配器且不具有RDMA硬件的服务器连接到利用基于硬件的RoCE的高性能存储单元，从而使它们能够有效地传递数据。它允许具有以太网适配器的系统与具有基于硬件的RoCE或Soft-RoCE的另一个系统一起运行。

 

三、iWARP

iWRAP - Internet Wide Area RDMA Protocol，或者叫RDMA over TCP，IETF在2007年发布（RFC5040和RFC5041）。业界有两家厂商各自在主推iWRAP和RoCE，Chelsio主推iWRAP，而Mellanox则在融合网络主推RoCE，两家都有关于RoCE vs iWRAP的对比白皮书。

iWRAP的RDMA报文是封装在TCP传输层之上。利用TCP协议，它不必在依赖底层的L2Qos就可以实现无损传输，天生就支持路由组网。而RoCE直到最近的V2版本才支持路由。Chelsio的白皮书成文较早，其对RoCE的主要攻击点是不支持路由功能，在现在这一论据已经失去意义了。

需要注意的是，上述几种协议都需要专门的硬件（网卡）支持。

 

RDMA如何工作

 

在讲解RDMA如何工作之前，先介绍一下相应的名词，这些名词会在之后的RDMA工作流程中频繁出现。

一、Fabric

所谓Fabric，就是支持RDMA的局域网(LAN)。

 

二、CA(Channel Adapter)

CA是Channel Adapter(通道适配器)的缩写。那么，CA就是将系统连接到Fabric的硬件组件。在IBTA中，一个CA就是IB子网中的一个终端结点(End Node)。分为两种类型，一种是HCA, 另一种叫做TCA, 它们合称为xCA。其中， HCA(Host Channel Adapter)是支持"verbs"接口的CA, TCA(Target Channel Adapter)可以理解为"weak CA", 不需要像HCA一样支持很多功能。而在IEEE/IETF中，CA的概念被实体化为RNIC（RDMA Network Interface Card）, iWARP就把一个CA称之为一个RNIC。

简言之，在IBTA阵营中，CA即HCA或TCA；而在iWARP阵营中，CA就是RNIC。总之，无论是HCA、 TCA还是RNIC，它们都是CA, 它们的基本功能本质上都是生产或消费数据包(packet)。

 

三、Verbs

在RDMA的持续演进中，有一个组织叫做OpenFabric Alliance所做的贡献可谓功不可没。Verbs这个词不好翻译，大致可以理解为访问RDMA硬件的“一组标准动作”。每一个Verb可以理解为一个Function。

 

四、WQE(Work Queue Element)

WQE可以认为是一种“任务说明”，这个工作请求是软件下发给硬件的，这份说明中包含了软件所希望硬件去做的任务以及有关这个任务的详细信息。比如，某一份任务是这样的：“我想把位于地址0x12345678的长度为10字节的数据发送给对面的节点”，硬件接到任务之后，就会通过DMA去内存中取数据，组装数据包，然后发送。

 

五、WQ(Work Queue)

WQ(Work Queue)是一个储存工作请求的队列里面存放着WQE(Work Queue Element)。WQ这个队列总是由软件向其中增加WQE（入队），硬件从中取出WQE，这就是软件给硬件“下发任务”的过程。

 

六、Work Queue Pair(Queue Pair)

1.由SEND队列(SQ)和RECEIVE队列(RQ)组成。

2.分配和控制基于队列对。

3.所有流量都通过工作队列。
 

七、SQ(Send Queue)和RQ(Receive Queue)

任何通信过程都要有收发两端，QP就是一个发送工作队列和一个接受工作队列的组合，这两个队列分别称为SQ（Send Queue）和RQ（Receive Queue）。

SQ专门用来存放发送任务，RQ专门用来存放接收任务。在一次SEND-RECV流程中，发送端需要把表示一次发送任务的WQE放到SQ里面。同样的，接收端软件需要给硬件下发一个表示接收任务的WQE，这样硬件才知道收到数据之后放到内存中的哪个位置。上文我们提到的Post操作，对于SQ来说称为Post Send，对于RQ来说称为Post Receive。

在RDMA技术中通信的基本单元是QP，而不是节点。如下图所示，对于每个节点来说，每个进程都可以使用若干个QP，而每个本地QP可以“关联”一个远端的QP。我们用“节点A给节点B发送数据”并不足以完整的描述一次RDMA通信，而应该是类似于“节点A上的QP1给节点C上的QP3发送数据”。

每个节点的每个QP都有一个唯一的编号，称为QPN（Query Pair Number），通过QPN可以唯一确定一个节点上的QP。

 

八、SRQ(Shared Receive Queue)

Shared Receive Queue简称SRQ，意为共享接收队列。概念很好理解，就是一种几个QP共享同一个RQ时，我们称其为SRQ。

使用RQ的情况要远远小于使用SQ，而每个队列都是要消耗内存资源的。当我们需要使用大量的QP时，可以通过SRQ来节省内存。

如下图所示，QP1~QP3一起使用同一个RQ：

 

九、CQE(Completion Queue Element)

CQE跟WQE是相反的概念，如果WQE是软件下发给硬件的“任务书”的话，那么CQE就是硬件完成任务之后返回给软件的“任务报告”。CQE中描述了某个任务是被正确无误的执行，还是遇到了错误，如果遇到了错误，那么错误的原因是什么。

 

十、CQ(Completion Queue)

而CQ就是承载CQE的容器——一个先进先出的队列。

每个CQE都包含某个WQE的完成信息，他们的关系如下图所示：

 

下面我们把CQ和WQ（QP）放在一起，看一下一次SEND-RECV操作中，软硬件的互动

 

接收端应用以WQE的形式下发一次接收任务。

  1. 接收端硬件从RQ中拿到任务书，准备接收数据。
  2. 发送端应用以WQE的形式下发一次SEND任务。
  3. 发送端硬件从SQ中拿到任务书，从内存中拿到待发送数据，组装数据包。
  4. 发送端网卡将数据包通过物理链路发送给接收端网卡。
  5. 接收端收到数据，进行校验后回复ACK报文给发送端。
  6. 接收端硬件将数据放到WQE中指定的位置，然后生成“任务报告”CQE，放置到CQ中。
  7. 接收端应用取得任务完成信息。
  8. 发送端网卡收到ACK后，生成CQE，放置到CQ中。
  9. 接收端应用取得任务完成信息。

至此，通过WQ和CQ这两种媒介，两端软硬件共同完成了一次收发过程。

 

十一、WR(Work Request)和WC(Work Completion)

WR全称为Work Request，意为工作请求；WC全称Work Completion，意为工作完成。这两者其实是WQE和CQE在用户层的“映射”。因为应用是通过调用协议栈接口来完成RDMA通信的，WQE和CQE本身并不对用户可见，是驱动中的概念。用户真正通过API下发的是WR，收到的是WC。

WR/WC和WQE/CQE是相同的概念在不同层次的实体，他们都是“任务书”和“任务报告”。关系如下图所示

 

 

总结

 

每一个技术都有产生的原因，RDMA 就是为了解决网络传输中客户端与服务器端数据处理的延迟而产生的。它消除了数据包在用户空间和内核空间复制移动和上下文切换的开销，因而能解放内存带宽和CPU周期用于改进应用系统性能。这在大规模并行计算机集群中特别有用。目前分布式计算系统的越来越普及，这门新兴的技术会越来越流行。

本文主要理解RDMA是什么，又是怎么带来性能优化就够了，RDMA是一个非常复杂的技术涉及软硬件，后续会出个系列文章来详细描述。下面参考资料列出了一些RDMA的资料，想深入理解可以提前看看。

 

参考资料:

  • https://www.mellanox.com/related-docs/prod_software/RDMA_Aware_Programming_user_manual.pdf
  • https://www.snia.org/sites/default/files/files2/files2/SDC2013/presentations/Hardware/DavidDeming_IBA_Software_RDMA.pdf
  • http://www.reports.ias.ac.in/report/12829/understanding-the-concepts-and-mechanisms-of-rdma
  • https://www.mellanox.com/related-docs/whitepapers/WP_RoCE_vs_iWARP.pdf
  • https://www.snia.org/sites/default/files/ESF/RoCE-vs.-iWARP-Final.pdf
  • https://cw.infinibandta.org/document/dl/7148
  • https://community.mellanox.com/s/article/roce-v2-considerations
  • https://zhuanlan.zhihu.com/p/141267386
分享大数据行业的一些前沿技术和手撕一些开源库的源代码
微信公众号名称：技术茶馆
微信公众号ID    :    Night_ZW
【重识云原生】第四章云网络4.9.1节——网络卸载加速技术综述
junbaozi的专栏
07-10 1190
网络offload主要是指将原本在内核网络协议栈中进行的IP分片、TCP分段、重组、checksum校验等操作，转移到网卡硬件中进行，CPU的发包路径更短，消耗更低，提高处理性能。
一文带你初识RDMA技术——RDMA概念，特点，协议，通信流程
NewB20143864的博客
03-12 1万+
文章目录
【RDMA】2. 比较基于Socket与RDMA的通信
bandaoyu的note
01-21 2922
本篇的目的是通过对比一次典型的Socket和RDMA通信，直观的展示RDMA技术相比传统以太网的优势，尽量不涉及协议和软件实现细节。 假设本端的某个应用想把自己内存中的数据复制到对端某个应用可以访问的内存中（或者通俗的讲，本端要给对端发送数据），我们来看一下Socket和RDMA的SEND-RECV语义都做了哪些操作。 Socket 在描述通信过程时的软硬件关系时，我们通常将模型划分为用户层Userspace，内核Kernel以及硬件Hardware。Userspace和Kernel实际上使用的是同一
RDMA栈架构
最新发布
m0_74186706的博客
03-22 1014
特性InfiniBand传统 PCI/PCI-X传输模式全双工（双向同步）半双工（单向交替）延迟极低（微秒级）较高扩展性支持大规模集群互连限于本地总线连接适用场景高性能计算、分布式存储传统服务器内部设备连接2.InfiniBand硬件组件_编址InfiniBand根其他互联技术一样，它的规范页描述多种硬件组件，其中一些事数据包端点（数据的始发站或者目的地），有些会在子网或子网之间转发数据包。常见组件 ：主机信道适配器（HCA）、交换机、路由器。
RDMA
weixin_34092370的博客
07-01 370
什么是RDMA？ 来源 https://blog.csdn.net/u011459120/article/details/78469098 1. 概述 RDMA是Remote Direct Memory Access的缩写，通俗的说可以看成是远程的DMA技术，为了解决网络传输中服务器端数据处理的延迟而产生的。RDMA允许用户态的应用程序直接读取或写入远程内存，而无内核干预和内存拷贝发生。起初，只应...
科普文：软件架构网络系列之【RDMA应用：一文看懂高性能网络】
为无为，事无事，味无味。
10-28 1562
InfiniBand (IB)是一种用于高性能计算的网络通信标准，具有极高的吞吐量和极低的延迟。IB用于计算机之间和计算机内部的数据互连，还可以用作服务器和存储系统之间的直接或交换互连，以及存储系统之间的互连。IB的设计目标：综合考虑计算、网络和存储技术，设计一个可扩展的、高性能的通信和I/O体系结构。IB的主要优点：高性能，超算TOP500中一半左右采用IB；低延迟，IB端到端测量延迟为1µs；高效率，IB原生支持RDMA等协议，帮助客户提高工作负载处理效率。
rdma网络介绍
魏言华的博客
09-27 290
【RDMA技术快速入门】：Mellanox ConnectX-2网卡的10分钟激活指南
![【RDMA技术快速入门】：Mellanox ConnectX-2网卡的10分钟激活指南]...第一章简要介绍了RDMA技术的应用背景和发展趋势。第二章详细探讨了Mellanox ConnectX-2网卡的硬件特性。第
RDMA故障排除全指南：【快速解决】网络连接问题不再难倒你
![RDMA故障排除全指南：【快速解决】...本文从RDMA技术的概念入手，详细介绍了RDMA的基础故障诊断方法，包括网络架构解析、环境搭建、常见故障类型识别及排查。进一步，文章探讨了RDMA网络性能分析的工具与方法、性能
【存储】什么是iSER（iSCSI Extensions for RDMA）
小鱼菜鸟的博客
11-01 4540
什么是 ISER？ iSER 代表“用于 RDMA 的 iSCSI 扩展”(iSCSI Extensions for RDMA)。它是 iSCSI 数据传输模型的扩展，iSCSI 是 TCP/IP 的存储网络标准。iSER在利用 iSCSI 组件的同时使用RDMA 协议套件 。 即RDMA可以和成熟的iSCS协议配合，优化iSCSI...
【RDMA存储大提速】：SAN性能翻倍的秘密武器
!... # 摘要 远程直接内存访问（RDMA）技术是现代数据中心和高性能计算环境中的关键技术，它...接着，探讨了RDMA技术在存储系统中的应用，包括其在存储区域网络（SAN）中的角色和存储加速的优势，并通过案例分析展示其性
RDMA原理分析、对比和技术实现解析.rar
06-03
第1章 RDMA背景简介 ............................................. 5 第2章 哪些网络协议支持RDMA ..................................... 8 2.1 InfiniBand(IB)........................................... 8 2.2 RDMA过融合以太网(RoCE)................................... 8 2.3 互联网广域RDMA协议(iWARP)................................ 8 第3章 RDMA技术优势 ............................................. 9 第4章 RDMA有哪些不同实现 ...................................... 10 第5章 RDMA有哪些标准组织 ...................................... 14 第6章 应用和RNIC传输接口层 .................................... 18 6.1 内存Verbs（Memory Verbs）............................... 19 6.2 消息Verbs（Messaging Verbs）............................ 20 第7章 RDMA传输分类方式 ........................................ 20 7.1 RDMA原语................................................ 21 7.2 RDMA 队列对（QP）....................................... 23 7.3 RDMA完成事件............................................ 23 7.4 RDMA传输类型............................................ 24 7.5 RDMA双边操作解析........................................ 26 7.6 RDMA单边操作解析........................................ 27 7.7 RDMA技术简单总结........................................ 27 第8章 InfiniBand技术和协议架构分析 ............................ 29 8.1 InfiniBand技术的发展.................................... 29 8.2 InfiniBand技术的优势.................................... 30 8.3 InfiniBand基本概念...................................... 32 8.4 InfiniBand协议简介...................................... 33 8.4.1 物理层 ............................................ 34 8.4.2 链路层 ............................................ 34 8.4.3 网络层 ............................................ 34 8.4.4 传输层 ............................................ 35 8.4.5 上层协议 .......................................... 35 8.5 IB应用场景.............................................. 36 第9章 InfiniBand主流厂商和产品分析 ............................ 37 9.1 InfiniBand网络和拓扑.................................... 38 9.2 软件协议栈OFED.......................................... 42 9.3 InfiniBand网络管理...................................... 43 9.4 并行计算集群能力........................................ 44 9.5 基于socket网络应用能力.................................. 45 9.6 存储支持能力............................................ 45 9.7 Mellanox产品介绍........................................ 46 9.8 Infiniband交换机........................................ 48 9.9 InfiniBand适配器........................................ 51 9.10 Infiniband路由器和网关设备............................. 52 9.11 Infiniband线缆和收发器................................. 53 9.12 InfiniBand主要构件总结................................. 54 9.13 InfiniBand对现有应用的支持和ULPs支持................... 55 第10章 RDMA over TCP(iWARP)协议和工作原理 ..................... 56 10.1 RDMA相关简介........................................... 57 10.2 RDMA工作原理........................................... 59 10.3 RDMA 操作类型.......................................... 61 10.4 RDMA over TCP详解...................................... 61 10.5 RDMA标准组织............................................ 7 第11章 RoCE（RDMA over Converged Ethernet）原理 ............... 65 第12章 不同RDMA技术的比较 ..................................... 67 12.1 IB和TCP、Ethernet比较.................................. 69 12.2 RoCE和InfiniBand比较................................... 70 12.3 RoCE和IB协议的技术区别................................. 71 12.4 RoCE和iWARP的区别...................................... 71 第13章 Intel Omni-Path和InfiniBand对比分析 .................... 72 13.1 Intel True Scale Fabric介绍............................ 73 13.2 Intel True Scale InfiniBand产品........................ 74 13.3 Intel Omni-Path产品.................................... 76 第14章 RDMA关键技术延伸 ....................................... 80 14.1 RDMA指令的选择......................................... 80 14.2 慎用atomic类指令....................................... 81 14.3 减少交互次数........................................... 82 14.3.1 Wr 聚合 .......................................... 82 14.3.2 SGE 聚合 ......................................... 82 14.3.3 使用imm数据 ...................................... 83 14.3.4 使用inline数据 ................................... 83 14.3.5 CQE中使用inline数据 .............................. 83 14.3.6 WC聚合 ........................................... 84 14.4 运行模式选择........................................... 84 14.4.1 连接的模式 ....................................... 84 14.4.2 运行模式 ......................................... 85 14.5 性能与并发............................................. 86 14.6 避免CPU缓存抖动........................................ 87 14.7 避免芯片内部的缓存Miss................................. 87 14.8 时延的隐藏............................................. 88 14.8.1 利用Prefetch预取指令 ............................. 88 14.8.2 异步交互操作优先 ................................. 88 14.9 RDMA性能分析........................................... 89
个人总结的RDMA网络原理
qq_14945327的博客
06-24 2946
个人总结的RDMA网络原理
科普文：软件架构网络系列之【RDMA技术梳理】
为无为，事无事，味无味。
12-02 2485
有条件的装在两台服务器上，没条件的装在一台服务器上。RDMA 有一堆的管理工具和测试工具，慢慢都归集于linux-rdma/rdma-core[1]项目下，甚至这些工具都有 man 手册，比如ibv_devices[2],可以说非常友好了，你只需要知晓有哪些工具，大概是干什么的，具体使用的时候查询它的 man 手册就好了。所谓直接，指的是可以像访问本地内存一样，绕过传统以太网复杂的TCP/IP网络协议栈读写远端内存，而这个过程对端是不感知的，而且这个读写过程的大部分工作是由硬件而不是软件完成的。
初识RDMA技术——RDMA概念，特点，协议，通信流程
kaili的博客
11-29 1万+
1. RDMA概念 在DMA技术中，外部设备（PCIe设备）能够绕过CPU直接访问主机的系统主存； RDMA（Remote Direct Memory Access）在概念上是相对于DMA而言的。指外部设备能够绕过CPU，不仅可以访问本地主机的主存，它还可以访问另一台远端主机上用户态的系统主存。 2. RMDA与Socket Socket通信示意图： 在传统的Socket套接字网络中，应用程序向操作系统申请网络资源时，要通过特定的API来管理程序的行为。 RDMA通信示意图： RDMA仅仅使用操作系
【RDMA】无损网络和PFC（基于优先级的流量控制）|ECN
热门推荐
bandaoyu的note
03-31 2万+
目录 前言 一、为什么会产生拥塞 二、PFC如何实现流控 原文：《我们为什么需要RDMA？为什么需要无损网络？》https://www.sohu.com/a/258041228_100289134 前言 RDMA技术：降低数据中心内部网络延迟，提高处理效率。 当前RDMA在以太网上的传输协议是RoCEv2，RoCEv2是基于无连接协议的UDP协议，相比面向连接的TCP协议，UDP协议更加快速、占用CPU资源更少，但其不像TCP协议那样有滑动窗口、确认应答等机制来实现可靠传输，一旦出现丢包，依靠
RDMA概念，协议，通信流程详解
大隐隐于野
09-12 2521
RDMA有两种基本操作，包括和。Memory verbs：包括read、write和atomic操作。RDMA Read：从远程主机读取部分内存。调用者指定远程虚拟地址，像本地内存地址一样用来拷贝。在执行 RDMA 读操作之前，远程主机必须提供适当的权限来访问它的内存。一旦权限设置完成， RDMA 读操作就可以在对远程主机没有任何通知的条件下执行。不管是 RDMA 读还是 RDMA 写，远程主机都不会意识到操作正在执行 （除了权限和相关资源的准备操作）。
Ethernet RDMA技术详解
"Ethernet RDMA Technologies.pdf 是一份详细介绍以太网RDMA技术的高清完整版文档，涵盖了该技术的基础概念、问题背景、协议细节以及 verbs 和RNIC接口等内容，旨在探讨通过TCP实现的RDMA技术在数据中心网络基础设施...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值