RDMA
文章平均质量分 88
咸鱼弟
在你想要放弃的那一刻, 想想为什么当初走到了这里。
展开
-
RDMA简介
RDMA简介简介Remotedata transfers between nodes in a networkDirectno Operating System Kernel involvement in transfers everything about a transfer offloaded onto Interface CardMemorytransfers between user space application virtual memory no extra原创 2022-05-22 16:57:53 · 1545 阅读 · 0 评论 -
RDMA之无损网络
1、why为什么我们需要RDMA?为什么我们需要无损网络?这些先进的技术究竟能给我们带来什么好处?只从网络层面来看可能无法得出令人满意的答案,下面分别从前端业务和后端应用,简单列举几个例子,相信大家可以从中解开疑惑。当今互联网中大量的在线业务,例如在线搜索、购物、直播等,它需要以非常快的速度对高频率的用户请求做出应答,数据中心内任何一个环节导致延迟,都会对终端用户的访问体验造成极大的影响,从而影响其流量、口碑、活跃用户等。还有在机器学习和AI的技术趋势下,对计算能力的需求是呈几何级数上升原创 2021-09-16 17:15:02 · 1394 阅读 · 4 评论 -
【RoCE】Flow Control
概览RoCE可以实现lossless无损网络环境,在二层网络上做到可靠网络传输,从而对原本在光纤网络环境下的应用在以太网环境下提供相同的服务,而不必对应用逻辑和上层协议更改。实现无损的方法有Global Pause, PFC, Dropless Receive Queue。1.什么是802.3x Flow Control(Global Pause)?以太网标准(802.3)设计时是不可靠的网络。不保证网络包会到达目的地像上层协议(如TCP)设计的将会到达目的地一样。后来,IEEE 802...原创 2021-09-15 14:40:42 · 523 阅读 · 4 评论 -
【RoCE】拥塞控制机制(ECN, DC-QCN)
原文[RoCE]拥塞控制机制(ECN, DC-QCN) - blackwall - 博客园1.网络拥塞问题 在网络交换机中,当入口流量大于出口流量的带宽时会发生网络拥塞。典型的例子是多个发送方同时向同一个目的地发送网络数据。交换机的缓存可以处理暂时的拥塞,但是当拥塞太久时,交换机的缓存就会https://www.cnblogs.com/burningTheStar/p/8566746.html1.网络拥塞问题在网络交换机中,当入口流量大于出口流量的带宽时会发生网络拥塞。典型的例子是多个发送方同时向同原创 2021-09-15 10:34:09 · 4782 阅读 · 4 评论 -
RDMA技术详解——RDMA常见概念
FabricA local-area RDMA network is usually referred to as a fabric. 所谓Fabric,就是支持RDMA的局域网(LAN)。CA(Channel Adapter)A channel adapter is the hardware component that connects a system to the fabric. CA是Channel Adapter(通道适配器)的缩写。那么,CA就是将系统连接到Fabric的硬件组原创 2021-08-29 21:14:43 · 2921 阅读 · 4 评论 -
RDMA技术详解——Send/Receive操作
英文:https://zcopy.wordpress.com/2010/10/08/quick-concepts-part-1-%E2%80%93-introduction-to-rdma/1. 前言RDMA指的是远程直接内存访问,这是一种通过网络在两个应用程序之间搬运缓冲区里的数据的方法。RDMA与传统的网络接口不同,因为它绕过了操作系统。这允许实现了RDMA的程序具有如下特点:绝对的最低时延 最高的吞吐量 最小的CPU足迹 (也就是说,需要CPU参与的地方被最小化)2. RDMA翻译 2021-08-25 11:00:08 · 1123 阅读 · 5 评论 -
RDMA技术详解——RDMA核心概念
1.1 Memory Registration(MR) | 内存注册 RDMA 就是用来对内存进行数据传输。那么怎样才能对内存进行传输,很简单,注册。 因为RDMA硬件对用来做数据传输的内存是有特殊要求的。在数据传输过程中,应用程序不能修改数据所在的内存。 操作系统不能对数据所在的内存进行page out操作 – 物理地址和虚拟地址的映射必须是固定不变的。 注意无论是DMA或者RDMA都要求物理地址连续,这是由DMA引擎所决定的。 那么怎么进行内存注册呢?...原创 2021-08-22 17:21:05 · 2210 阅读 · 4 评论 -
RDMA技术详解——RDMA优缺点
1.1. RDMA的优势 传统的TCP/IP技术在数据包处理过程中,要经过操作系统及其他软件层,需要占用大量的服务器资源和内存总线带宽,数据在系统内存、处理器缓存和网络控制器缓存之间来回进行复制移动,给服务器的CPU和内存造成了沉重负担。尤其是网络带宽、处理器速度与内存带宽三者的严重"不匹配性",更加剧了网络延迟效应。 RDMA技术,最大的突破是将网络层和传输层放到了硬件中,服务器的网卡上来实现,数据报文进入网卡后,在网卡硬件上就完成四层解析,直接上送到应用层软件,四层解...原创 2021-08-22 08:25:29 · 3142 阅读 · 5 评论 -
RDMA技术详解——RDMA的三种实现方式
RDMA作为一种host-offload, host-bypass技术,使低延迟、高带宽的直接的内存到内存的数据通信成为了可能。目前支持RDMA的网络协议有:1、InfiniBand(IB): 从一开始就支持RDMA的新一代网络协议。由于这是一种新的网络技术,因此需要支持该技术的网卡和交换机。2、RDMA过融合以太网(RoCE): 即RDMA over Ethernet, 允许通过以太网执行RDMA的网络协议。这允许在标准以太网基础架构(交换机)上使用RDMA,只不过网卡必须是支持RoCE的特殊的原创 2021-08-21 19:13:56 · 10150 阅读 · 6 评论 -
RDMA技术详解——DMA和RDMA概念
1.1 DMADMA(Direct Memory Access,直接内存访问)是一种能力,允许在计算机主板上的设备直接把数据发送到内存中去,数据搬运不需要CPU的参与。如下图所示 红线部分为传统内存访问,需要通过CPU进行数据copy来移动数据,通过CPU将内存中的Buffer1移动到Buffer2中。在DMA模式:可以同DMA Engine之间通过硬件将数据从Buffer1移动到Buffer2,而不需要操作系统CPU的参与,大大降低了CPU Copy的开销。1.2 RDMA...原创 2021-08-21 18:46:24 · 1841 阅读 · 8 评论