[精华] RDMA技术原理分析、主流实现对比和解析

最新推荐文章于 2024-06-19 11:30:36 发布
最新推荐文章于 2024-06-19 11:30:36 发布
阅读量6.5k 收藏 31
点赞数 7

640?wx_fmt=png&wxfrom=5&wx_lazy=1


640?wx_fmt=gif&wxfrom=5&wx_lazy=1

      摘要: 远程直接内存访问(即Remote Direct Memory Access)是一种直接内存访问技术，它将数据直接从一台计算机的内存传输到另一台计算机，无需双方操作系统的介入，本文旨在技术引导，详细内容请通过文末“阅读原文”参阅<RDMA原理分析、对比和技术实现解析>电子书。


      RDMA技术最早出现在Infiniband网络，用于HPC高性能计算集群的互联。传统的基于Socket套接字(TCP/IP协议栈)的网络通信，需要经过操作系统软件协议栈，数据在系统DRAM、处理器Cache和网卡Buffer之间来回拷贝搬移，因此占用了大量的CPU计算资源和内存总线带宽，也加大了网络延时。举例来说，40Gbps的TCP/IP流能耗尽主流服务器的所有CPU资源；RDMA则解决了传统TCP/IP通信的技术痛点。例如，在40Gbps场景下，CPU占用率从100%下降到5%，网络延时从ms级降低到10us以下。

 

      RDMA是一种新的内存访问技术，RDMA让计算机可以直接存取其他计算机的内存，而不需要经过处理器耗时的处理。RDMA将数据从一个系统快速移动到远程系统存储器中，而不对操作系统造成任何影响。RDMA技术的原理及其与TCP/IP架构的对比如下图所示。


640?wx_fmt=png


      因此，RDMA可以简单理解为利用相关的硬件和网络技术，服务器的网卡之间可以直接读内存，最终达到高带宽、低延迟和低资源利用率的效果。应用程序不需要参与数据传输过程，只需要指定内存读写地址，开启传输并等待传输完成即可。


      RDMA最早在Infiniband传输网络上实现，技术先进，但是价格高昂(只有Mellanox和Intel供应商提供全套网络解决方案)，后来业界厂家把RDMA移植到传统Ethernet以太网上，降低了RDMA的使用成本，推动了RDMA技术普及。在Ethernet以太网上，根据协议栈融合度的差异，分为iWARP和RoCE两种技术，而RoCE又包括RoCEv1和RoCEv2两个版本(RoCEv2的最大改进是支持IP路由)，各RDMA网络协议栈的对比如下图所示。


640?wx_fmt=png

  • Infiniband，支持RDMA的新一代网络协议。 由于这是一种新的网络技术，因此需要支持该技术的NIC和交换机。

  • RoCE，一个允许在以太网上执行RDMA的网络协议。 其较低的网络标头是以太网标头，其较高的网络标头（包括数据）是InfiniBand标头。 这支持在标准以太网基础设施(交换机)上使用RDMA。 只有网卡应该是特殊的，支持RoCE。

  • iWARP，一个允许在TCP上执行RDMA的网络协议。 IB和RoCE中存在的功能在iWARP中不受支持。 这支持在标准以太网基础设施(交换机)上使用RDMA。 只有网卡应该是特殊的，并且支持iWARP(如果使用CPU卸载)，否则所有iWARP堆栈都可以在软件中实现，并且丧失了大部分RDMA性能优势。

      RDMA应用和RNIC(RDMA-aware Network Interface Controller)之间的传输接口层(Software Transport Interface)被称为Verbs或RDMA API，RDMA API (Verbs)主要有两种Verbs：


  • 内存Verbs(Memory Verbs)，也叫One-SidedRDMA。包括RDMA Reads, RDMA Writes, RDMA Atomic。这种模式下的RDMA访问完全不需要远端机的任何确认。

  • 消息Verbs(Messaging Verbs)，也叫Two-SidedRDMA。包括RDMA Send, RDMA Receive。这种模式下的RDMA访问需要远端机CPU的参与。


      RDMA over TCP(iWARP)协议能够工作在标准的基于TCP/IP协议的网络，如目前在各个数据中心广泛使用的以太网。iWARP并没有指定物理层信息，所以能够工作在任何使用TCP/IP协议的网络上层。iWARP允许很多传输类型来共享相同的物理连接，如网络、I/O、文件系统、块存储和处理器之间的消息通讯。


640?wx_fmt=png


     从RDMA over TCP的协议栈来看，最上面三层构成iWARP协议族，用来保证高速网络的互操作性。


      RDMA over Converged Ethernet (RoCE)是一种网络协议，允许应用通过以太网实现远程内存访问。目前RoCE有两个协议版本。


  • RoCE v1是一种链路层协议，允许在同一个广播域下的任意两台主机直接访问。

  • RoCE v2是一种Internet层协议，即可以实现路由功能。虽然RoCE协议这些好处都是基于融合以太网的特性，但是RoCE协议也可以使用在传统以太网网络或者非融合以太网络中。


      目前，虽然IB、以太网RoCE、以太网iWARP这三种RDMA技术使用统一的API，但它们有着不同的物理层和链路层。在以太网解决方案中，RoCE相对于iWARP来说有着明显的优势，这些优势体现在延时、吞吐率和 CPU负载。RoCE被很多主流的方案所支持，并且被包含在Windows服务软件中。


      RDMA技术基于传统网络的概念，但与IP网络又有些不同。最关键的不同是RDMA提供了一种消息服务， 利用这种服务，应用程序可以直接访问远程计算机上的虚拟内存。消息服务可以用来进行网络中进程间通信(IPC)、远程服务器通信和在一些上层协议的协助下与存储设备进行数据传递。上层应用协议ULPs(Upper Layer Protocols)有很多，例如iSCSI的RDMA扩展(iSER)、SCSI RDMA协议(SRP)等，主流的SMB、Samba 、Lustre、ZFS等也支持RDMA。


      RoCE和InfiniBand，一个定义了如何在以太网上运行RDMA，而另一个则定义了如何在IB网络中运行RDMA。RoCE期望能够将IB的应用(主要是基于集群的应用)迁移到融合以太网中，而在其他应用中，IB网络仍将能够提供比RoCE更高的带宽和更低的时延。RoCE和IB协议的技术区别:


  • 拥塞控制：RoCE所依赖的无丢包网络基于以太网流控或PFC(Priority Flow Control)来实现。RoCEv2 则是定义了拥塞控制协议，使用ECN做标记和CNP帧来做确认。而IB则是使用基于信用的算法来保证HCA-HCA之间的无丢包通信。

  • 时延：当前IB交换机普遍要比以太交换机拥有更低的时延，以太网交换机一般的Port-to-Port时延在230ns，相比IB交换机在同样端口数的情况下100ns的时延，以太交换机还是要高出不少。

  • 配置：配置一个DCB以太网络要远比配置一个IB网络要复杂的多，同理，运维也要复杂的多。


      RoCE和iWARP，一个是基于无连接协议UDP，一个是基于面向连接的协议(如TCP)。RoCEv1只能局限在一个二层广播域内，而RoCEv2和iWARP都能够支持三层路由。相比RoCE，在大型组网的情况下，iWARP的大量TCP连接会占用大量的额内存资源，对系统规格要求更高。另外，RoCE支持组播，而iWARP还没有相关的标准定义。


      Intel收购了Qlogic的InfiniBand业务的Intel又另辟新径，推出了一整套叫做“True Scale Fabric”的高性能计算架构的解决方案(包括IB和Omni-Path)，独立提出了一套Omni-Path Host Fabric Interface接口和对应的交换机产品。提供Verbs和PSM(性能扩展消息库)两个编程接口，PSM是专门面向 MPI 通信设计的接口。


640?wx_fmt=png


      Intel在CPU上集成了Omni-Path相关功能，这也意味着Omni-Path通信效率上更加高效，但会让自己的网络依赖于CPU，至少在处理器上开放性还是做的比较有局限性。


      通过收购Cray互联部门，Intel在 Omni-Path引入了1.5层的概念。它被称作链接传输层(Link Transport Layer)，基于Cray的Aries基础互联技术优化底层数据通信，提供可靠的2层数据包交付、流控和单连璐控制。这也算是对收购Cray的Aries技术的充分利用。


      基于作者对RDMA理解，已经对相关技术总结整理成的<RDMA原理分析、对比和技术实现解析>电子书，资料目录如下。

640?wx_fmt=jpeg

640?wx_fmt=jpeg

640?wx_fmt=jpeg

      本书涉及到大部分的内容已在本号推送过，但是内容有所增加且经过梳理，如果怕麻烦零散阅读，那就通过原文链接支付少量费用获取吧，也算是您对咱们公号持续运营的支持。


通票赠送进行中... ...



温馨提示：
请搜索“ICT_Architect”或“扫一扫”二维码关注公众号，点击原文链接获取更多技术资料。

640?wx_fmt=png

求知若渴, 虚心若愚—Stay hungry, Stay foolish

640?wx_fmt=gif

架构师技术联盟
关注
  • 7
    点赞
  • 踩
  • 31
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
RDMA原理分析、对比和技术实现解析.zip
09-03
远程直接内存访问（Remote Direct Memory Access，RDMA）是一种高效的数据传输技术，它允许网络设备直接读取或...理解并掌握RDMA的工作原理和实现方式，对于任何寻求优化网络性能的IT专业人士来说，都是至关重要的。
RDMA概念，协议，通信流程详解
大隐隐于野
09-12 948
RDMA有两种基本操作，包括和。Memory verbs：包括read、write和atomic操作。RDMA Read：从远程主机读取部分内存。调用者指定远程虚拟地址，像本地内存地址一样用来拷贝。在执行 RDMA 读操作之前，远程主机必须提供适当的权限来访问它的内存。一旦权限设置完成， RDMA 读操作就可以在对远程主机没有任何通知的条件下执行。不管是 RDMA 读还是 RDMA 写，远程主机都不会意识到操作正在执行 （除了权限和相关资源的准备操作）。
RDMA 架构与实践(技术详解（一）：RDMA概述)
bandaoyu的note
04-14 7506
RDMA 架构与实践 | https://houmin.cc/posts/454a90d3/ RDMA，即Remote Direct Memory Access，是一种绕过远程主机OS kernel访问其内存中数据的技术，概念源自于DMA技术。在 DMA 技术中，外部设备（PCIe 设备）能够绕过 CPU 直接访问host memory；而 RDMA 则是指外部设备能够绕过 CPU，不仅可以访问本地主机的内存，还能够访问另一台主机上的用户态内存。由于不经过操作系统，不仅节省了大量 CPU 资源......
Rcmp: Reconstructing RDMA-Based Memory Disaggregation via CXL——论文阅读
最新发布
重新开始写博客
06-19 1117
针对RDMA和CXL结合的内存分解。本文提出基于RDMA和CXL的内存池Rcmp，通过CXL提高了基于RDMA的系统的性能，并利用RDMA克服了CXL的距离限制。包括4个创新点：（1）基于全局页面的内存空间管理，支持细粒度的数据访问，避免IO放大。（2）使用不同缓存区结构避免通信阻塞，机架内访问使用环形缓存区，机架间访问使用双层缓冲区，第一级存储已完成的访问避免阻塞，第二级使用环形缓存区，执行完时将请求添加到第一级缓冲区。
RDMA原理分析、对比和技术实现解析.rar
06-03
第1章 RDMA背景简介 ............................................. 5 第2章 哪些网络协议支持RDMA ..................................... 8 2.1 InfiniBand(IB)........................................... 8 2.2 RDMA过融合以太网(RoCE)................................... 8 2.3 互联网广域RDMA协议(iWARP)................................ 8 第3章 RDMA技术优势 ............................................. 9 第4章 RDMA有哪些不同实现 ...................................... 10 第5章 RDMA有哪些标准组织 ...................................... 14 第6章 应用和RNIC传输接口层 .................................... 18 6.1 内存Verbs（Memory Verbs）............................... 19 6.2 消息Verbs（Messaging Verbs）............................ 20 第7章 RDMA传输分类方式 ........................................ 20 7.1 RDMA原语................................................ 21 7.2 RDMA 队列对（QP）....................................... 23 7.3 RDMA完成事件............................................ 23 7.4 RDMA传输类型............................................ 24 7.5 RDMA双边操作解析........................................ 26 7.6 RDMA单边操作解析........................................ 27 7.7 RDMA技术简单总结........................................ 27 第8章 InfiniBand技术和协议架构分析 ............................ 29 8.1 InfiniBand技术的发展.................................... 29 8.2 InfiniBand技术的优势.................................... 30 8.3 InfiniBand基本概念...................................... 32 8.4 InfiniBand协议简介...................................... 33 8.4.1 物理层 ............................................ 34 8.4.2 链路层 ............................................ 34 8.4.3 网络层 ............................................ 34 8.4.4 传输层 ............................................ 35 8.4.5 上层协议 .......................................... 35 8.5 IB应用场景.............................................. 36 第9章 InfiniBand主流厂商和产品分析 ............................ 37 9.1 InfiniBand网络和拓扑.................................... 38 9.2 软件协议栈OFED.......................................... 42 9.3 InfiniBand网络管理...................................... 43 9.4 并行计算集群能力........................................ 44 9.5 基于socket网络应用能力.................................. 45 9.6 存储支持能力............................................ 45 9.7 Mellanox产品介绍........................................ 46 9.8 Infiniband交换机........................................ 48 9.9 InfiniBand适配器........................................ 51 9.10 Infiniband路由器和网关设备............................. 52 9.11 Infiniband线缆和收发器................................. 53 9.12 InfiniBand主要构件总结................................. 54 9.13 InfiniBand对现有应用的支持和ULPs支持................... 55 第10章 RDMA over TCP(iWARP)协议和工作原理 ..................... 56 10.1 RDMA相关简介........................................... 57 10.2 RDMA工作原理........................................... 59 10.3 RDMA 操作类型.......................................... 61 10.4 RDMA over TCP详解...................................... 61 10.5 RDMA标准组织............................................ 7 第11章 RoCE（RDMA over Converged Ethernet）原理 ............... 65 第12章 不同RDMA技术的比较 ..................................... 67 12.1 IB和TCP、Ethernet比较.................................. 69 12.2 RoCE和InfiniBand比较................................... 70 12.3 RoCE和IB协议的技术区别................................. 71 12.4 RoCE和iWARP的区别...................................... 71 第13章 Intel Omni-Path和InfiniBand对比分析 .................... 72 13.1 Intel True Scale Fabric介绍............................ 73 13.2 Intel True Scale InfiniBand产品........................ 74 13.3 Intel Omni-Path产品.................................... 76 第14章 RDMA关键技术延伸 ....................................... 80 14.1 RDMA指令的选择......................................... 80 14.2 慎用atomic类指令....................................... 81 14.3 减少交互次数........................................... 82 14.3.1 Wr 聚合 .......................................... 82 14.3.2 SGE 聚合 ......................................... 82 14.3.3 使用imm数据 ...................................... 83 14.3.4 使用inline数据 ................................... 83 14.3.5 CQE中使用inline数据 .............................. 83 14.3.6 WC聚合 ........................................... 84 14.4 运行模式选择........................................... 84 14.4.1 连接的模式 ....................................... 84 14.4.2 运行模式 ......................................... 85 14.5 性能与并发............................................. 86 14.6 避免CPU缓存抖动........................................ 87 14.7 避免芯片内部的缓存Miss................................. 87 14.8 时延的隐藏............................................. 88 14.8.1 利用Prefetch预取指令 ............................. 88 14.8.2 异步交互操作优先 ................................. 88 14.9 RDMA性能分析........................................... 89
【RDMA】技术详解（一）：RDMA概述
热门推荐
bandaoyu的note
01-20 5万+
原文：https://blog.csdn.net/qq_21125183/article/details/86522475 1. DMA和RDMA概念 1.1 DMA DMA(直接内存访问)是一种能力，允许在计算机主板上的设备直接把数据发送到内存中去，数据搬运不需要CPU的参与。 传统内存访问需要通过CPU进行数据copy来移动数据，通过CPU将内存中的Buffer1移动到Buffer2中。DMA模式：可以同DMA Engine之间通过硬件将数据从Buffer1移动到Buffer2,而不需要操作系统
读懂什么是RDMA
查理王的博客
04-24 3039
RDMA(Remote Direct Memory Access)，全称远端内存直接访问技术，可以在极少占用CPU的情况下，把数据从一台服务器传输到另一台服务器，或从存储到服务器。传统应用要发送数据，‍‍需要通过OS封装TCP/IP，‍‍然后依次经过主缓存、网卡缓存，‍‍再发出去。‍‍这样会导致两个限制。限制一：TCP/IP协议栈处理会带来数10微秒的时延。‍‍TCP协议栈在接收发送报文时，‍‍内核需要做多次上下文的切换，‍‍每次切换需要耗费5-10微秒。
RDMA技术详解——RDMA的三种实现方式
咸鱼弟的博客
08-21 1万+
RDMA作为一种host-offload, host-bypass技术，使低延迟、高带宽的直接的内存到内存的数据通信成为了可能。目前支持RDMA的网络协议有： 1、InfiniBand(IB): 从一开始就支持RDMA的新一代网络协议。由于这是一种新的网络技术，因此需要支持该技术的网卡和交换机。 2、RDMA过融合以太网(RoCE): 即RDMA over Ethernet, 允许通过以太网执行RDMA的网络协议。这允许在标准以太网基础架构(交换机)上使用RDMA，只不过网卡必须是支持RoCE的特殊的
RDMA驱动软件简介（一）
墨染锦年的博客
09-08 1616
1 前言 本节主要概述一下当前所使用的TCP/IP通信模式，在当前高吞吐量、低时延的业务需求下所存在的一些瓶颈和弊端，同时简单介绍一下RDMA技术特性以及该技术在网络数据传输过程中所具有的优势。 1.1 传统TCP/IP通信模式 传统的TCP/IP网络通信，数据需要通过用户空间发送到远程机器的用户空间。数据发送方需要将数据从用户应用空间Buffer复制到内核空间的Socket Buffer中。然后Kernel空间中添加数据包头，进行数据封装。通过一系列多层网络协议的数据包处理工作，这些协议包括传输控制协议（
RDMA原理分析及实现解析.zip
04-22
远程直接内存访问（Remote Direct Memory Access，RDMA）是一种先进的网络技术，允许计算机之间通过网络直接交换数据，而无需经过...了解和掌握RDMA原理及其实现，对于IT专业人士来说，是提升系统性能和效率的关键。
RDMA原理分析技术实现解析
08-10
RDMA背景介绍、网络协议、优势、标准、应用和RNIC接口、传输分类方式、InfiniBand技术、IWARP技术、RoCE原理、不同RDMA技术比较、RDMA关键技术延伸
RDMA原理分析和技术实现
01-18
第1章 RDMA背景简介 ............................................. 5 第2章 哪些网络协议支持RDMA ..................................... 8 2.1 InfiniBand(IB)........................................... 8 ...
c语言利用RDMA技术实现客户端和服务器端互相读取对方内存
04-10
RDMA技术的应用场景广泛，包括高性能计算、大数据分析、云计算等，它的低延迟和高带宽特性使其成为处理大量数据传输的理想选择。在C语言中实现RDMA，不仅能够深入理解这一技术，还为开发者提供了更灵活的控制和优化...
RDMA技术调研 .pdf
03-02
RDMA技术调研 RDMA（Remote Direct Memory Access，远程直接内存访问）是一种技术，允许设备直接访问主机内存，而不需要 CPU 的干预。...了解 RDMA 技术的原理、协议和编程方法是学习和应用 RDMA 技术的基础。
RDMA原理.pptx
08-29
深入浅出，一文带你快速了解RDMA
zhuoweichen1的专栏
06-30 6445
RDMA技术全解析
初识RDMA技术——RDMA概念，特点，协议，通信流程
kaili的博客
11-29 1万+
1. RDMA概念 在DMA技术中，外部设备（PCIe设备）能够绕过CPU直接访问主机的系统主存； RDMA（Remote Direct Memory Access）在概念上是相对于DMA而言的。指外部设备能够绕过CPU，不仅可以访问本地主机的主存，它还可以访问另一台远端主机上用户态的系统主存。 2. RMDA与Socket Socket通信示意图： 在传统的Socket套接字网络中，应用程序向操作系统申请网络资源时，要通过特定的API来管理程序的行为。 RDMA通信示意图： RDMA仅仅使用操作系
全网最全的RDMA拥塞控制入门基础教程
江月的博客
11-01 2175
在许多方面，它与传统的广域网相反。当前RDMA在以太网上的传输协议是RoCEv2，RoCEv2是基于无连接协议的UDP协议，相比面向连接的TCP协议，UDP协议更加快速、占用CPU资源更少，但其不像TCP协议那样有滑动窗口、确认应答等机制来实现可靠传输，一旦出现丢包，依靠上层应用检查到了再做重传，会大大降低RDMA的传输效率。发送方（RP）以最高速开始发送，沿途过程中如果有拥塞，会被标记ECN显示拥塞，当这个被标记的报文转发到接收方（NP）的时候，接收方（NP）会回应一个CNP报文，通知发送方（RP）。
rdma原理分析、对比和技术实现解析.pdfvip
06-15
RDMA 是一种新型的加速技术，它实现了直接内存访问（DMA）技术和网络通信相结合的效果。 RDMA 技术可以降低网络通信的时延、提高网络通信的吞吐量，同时也减轻了数据中心的 CPU 负载，使得广域网和局域网之间的数据传输更加快速和高效。 在 RDMA 的实现过程中，现阶段主要有两种实现方式：InfiniBand 和 RoCE。二者的本质区别在于在数据传输过程中，InfiniBand 通过一种特殊的硬件网络传输，而 RoCE 基于标准以太网设备进行传输。 RDMA 技术并没有完全取消 CPU 的介入，而是将 DMA 的控制权移到了网卡的硬件中，减轻了 CPU 的负担。它在传输过程中采用了“零拷贝”技术，减小了传输的数据包大小，从而提高了传输速度和效率。 RDMA 技术在现代数据中心中的应用越来越广泛。它能够加速大型数据处理和分布式应用的数据传输，提高了数据中心的效率和响应速度，充分利用了现代硬件技术的提升，推动数据传输技术的进一步发展。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值