Nvidia_Mellanox_CX5和6DX系列网卡_RDMA_RoCE_无损和有损_DCQCN拥塞控制等技术简介-一文入门RDMA和RoCE有损无损 rdma rocev2 无损 有损

已于 2023-11-10 08:56:02 修改
阅读量3.7k 收藏 21
点赞数 2
分类专栏： RDMA 文章标签： 网络 云计算 linux
于 2023-07-23 18:09:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ssbandjl/article/details/131881759
版权

最新链接: https://cloud.tencent.com/developer/article/2304247

简介

随着互联网, 人工智能等兴起, 跨机通信对带宽和时延都提出了更高的要求, RDMA技术也不断迭代演进, 如: RoCE(RDMA融合以太网)协议, 从RoCEv1 -> RoCEv2, 以及IB协议, Mellanox的RDMA网卡cx4, cx5, cx6/cx6DX, cx7等, 本文主要基于CX5和CX6DX对RoCE技术进行简介, 一文入门RDMA和RoCE有损及无损关键技术

术语

RoCE: RDMA融合以太网, 继承RDMA所有的优势

WQE: 工作队列元素, 可发音(wuki)

CQE: 完成队列元素, 可发音(cookie)

RDMA Atomic: 原子操作, 主要用于分布式锁, Redis缓存等场景

DCQCN: 数据中心量化拥塞通知

ZTR(Zero Touch RoCE)

PCP(Priority Code Point): 优先级代码点用于对网络流量进行分类和管理，并在第 2 层以太网中提供 QoS。 它使用 VLAN 标头中的 3 位 PCP 字段对数据包进行分类。 差分服务或 DiffServ 使用 IP 标头中 8 位 DS 字段中的 6 位 DSCP 进行数据包分类

ECN: 显式拥塞通知 (Explicit Congestion Notification) 是互联网协议和传输控制协议的扩展，在 RFC 3168 (2001) 中定义。 ECN 允许在不丢失数据包的情况下进行网络拥塞的端到端通知。 ECN 是一项可选功能，当底层网络基础设施也支持时，可以在两个启用 ECN 的端点之间使用

DSCP(differentiated services code point): 差分服务代码点, 差分服务或 DiffServ 是一种计算机网络体系结构，它指定了一种在现代 IP 网络上分类和管理网络流量并提供服务质量 (QoS) 的机制。 例如，DiffServ 可用于为语音或流媒体等关键网络流量提供低延迟，同时为 Web 流量或文件传输等非关键服务提供尽力而为的服务。DiffServ 在 IP 标头的 8 位差分服务字段（DS 字段）中使用 6 位差分服务代码点 (DSCP)，用于数据包分类。 DS 字段取代了过时的 IPv4 TOS 字段

Cos: class of service 服务分类

CX-6 DX: Datacenter系列

OOS: out of sequence, 出现乱序

PSN: package sequence num, 包序号, 一个包按MTU拆分成多个包, 每个包有个序号PSN

前置知识

GoBackN机制

RDMA基本概念

RDMA如何工作

在这里插入图片描述
发送端CPU准备好发送数据后会敲一次门铃, 而接收方收到网卡数据后不会通知CPU(降低开销)

IBA通信技术栈

在这里插入图片描述

RDMA常见操作

在这里插入图片描述

RoCE与RoCEv2对比

在这里插入图片描述

  1. RoCEv2没有RoCE的GRH(全局路由头)
  2. L2二层以太头中可能包含了802.1Q标签(PCP或VLAN_ID)
  3. RoCEv2的IP头可能包含ECN标记, 和DSCP
  4. IP协议端口号表明该包是UDP报文
  5. UDP目的端口4791(保留端口)表明, 下一个头是IB的BTH(BasicTranspotHeader 基本传输头占用12字节)
  6. 可通过抓包对比两者差异(注意IPv6与IPv4的差异), 如下图所示:
  7. 在这里插入图片描述
    在这里插入图片描述

如何让RoCE工作的更好

配置流控(L2 PCP / L3 DSCP)

Sender发送方 -> Receiver接收方

流控为链路层协议, 在接收方的RX Buffer接收缓存区设置高和低水位, 接收方Buffer填满时, 发送暂停帧Pause给发送方, 发送方XOFF, 并暂停发包, 等接收方释放出接收Buffer后, 给发送方发送一个UN-Pause帧, 发送方XON, 重新开始发送, 该方案不会跨越交换机在这里插入图片描述
多流问题: 暂停帧不区分流, 会影响其他流在这里插入图片描述
解决: 无损方案, PFC优先级流控, 用8个优先级(0-7), 独立控制每个流分类服务CoS, 网卡可将Buffer切分, 比如一半启动无损, 一半保持有损

在这里插入图片描述

在这里插入图片描述

802.3x PAUSE帧和PFC帧格式参考

在这里插入图片描述

主机侧: 可通过ethtool, mlnx_qos工具查看和配置PFC流控, 交换机侧也需要做对应的配置, 如果是跨机房,也需要保持类似的配置(无损痛点之一, 有时候交换机不在咱们得控制范围, 所以这种规模的网络, 限制了无损的配置)

在这里插入图片描述

拥塞管理/算法(DCQCN, ZTR_RTTCC,自定义PCC算法)

拥塞问题:

在这里插入图片描述

ReactionPoint 响应端(发送方网卡) --------------- Congestion Point 拥塞点交换机 -------------------- NotificationPoint 通知发起方(接收方网卡)

原理: 当交换机检测到拥塞时, 将出口包打上ECN标记, 接收端收到ECN包后, 因为有发送端的QP信息, 发送拥塞通知包CNP给发送端, 这时候假如发送端收到多个接收端发来的ECN包, 发送方需要有一个分布式拥塞控制算法(DCQCN, 由Mellanox和微软共同开发), 来降速和调度发送, 一段时间发端没有收到CNP时, 这个时候需要恢复流量, 目前是按照三个阶段来恢复, 快速恢复FR(fast recovery) -> 二分递增AI(additive increase) -> 更快增加HAI(hyper increase)

在这里插入图片描述

在这里插入图片描述

在cx6 DX网卡上可自定义拥塞控制算法, 比如阿里和google都有自己的拥塞管理算法, 算法参考:

在这里插入图片描述

在这里插入图片描述

CNP帧格式:

在这里插入图片描述

配置流控:

在这里插入图片描述

QoS保证质量

主要是二层的PCP和三层的DSCP, 进行流分类, 保证服务质量

在这里插入图片描述

网卡接收缓冲区的细粒度控制

将RX Buffer切片, 比如8片, 进行更细粒度的优先级队列控制

在这里插入图片描述

其他

一键配置: 可通过脚本检测和配置, 用于管理 RoCE 部署的系统高性能网络接口配置的命令行实用程序, 参考: https://github.com/NVIDIA/doroce-linux

在这里插入图片描述

无损缺点

配置复杂

拥塞严重时会带来暂停发送的问题

  • 延迟增加
  • 暂停帧风暴PauseStorm
  • 配置复杂, 每个Fabric节点需要保持一致的无损配置
  • 受限制, 比如大型网络, 或客户的网络中, 没有权限去配置无损

为了更好的推广和使用RoCE, 有损配置解决了部分无损的配置难题

有损RoCE(CONNECTX-5/6 DX系列网卡)

在这里插入图片描述

CX-5

慢重启

在这里插入图片描述

硬件丢包时, 发送方给自己发送一个CNP, CNP计数加1

接收方发送一个OOS_NACK(乱序包, 消极应答)和CNP, 发送方收到CNP后, 计数器再加1, 并降低速率

cx5默认启用该功能

慢启动

发生慢重启后, 其他QP启动后, 以受限速率发包, 直到拥塞解除

传输窗口

网络拥塞时, 原来的Go-BackN可能需要重传大量已经到达接收端但是被忽略的包

现在以一个窗口大小, 降低重传代价

在这里插入图片描述

自适应重传超时

发送方动态调整ACK_TIMEOUT(比如发送了3个PSN, 等接收方回复PSN3的ACK时间超时了)

在这里插入图片描述

在这里插入图片描述

CX-6 DX

选择性重传

发送方只需要重传丢失的包即可, 接收方相当于支持乱序重组

在这里插入图片描述

避免接收方广播

在这里插入图片描述

配置流程

在这里插入图片描述

RC和DC服务类型:

在这里插入图片描述

排查和调试

在这里插入图片描述

参考

Nvidia RoCE: https://docs.nvidia.com/networking/pages/viewpage.action?pageId=12013422

What is RDMA 什么是RDMA

https://enterprise-support.nvidia.com/s/article/What-is-RDMA

IB规范卷1: Supplement to InfiniBandTM Architecture Specification Volume 1 Release 1.2.1 - Annex 17: RoCEv2

https://cw.infinibandta.org/document/dl/7781

RDMA/RoCE Solutions 解决方案

https://enterprise-support.nvidia.com/s/article/rdma-roce-solutions

Understanding QoS Configuration for RoCE 理解QoS

https://enterprise-support.nvidia.com/s/article/understanding-qos-configuration-for-roce

mlnx_qos Manual

https://enterprise-support.nvidia.com/s/article/mlnx-qos

Understanding RoCEv2 Congestion Management 拥塞管理

https://enterprise-support.nvidia.com/s/article/understanding-rocev2-congestion-management

DCQCN Congestion Control Algorithm 流控算法

https://enterprise-support.nvidia.com/s/article/DCQCN-CC-algorithm

ECN/DCQCN parameters introduction

https://enterprise-support.nvidia.com/s/article/dcqcn-parameters

Enable/Disable Lossy RoCE Accelerations

https://enterprise-support.nvidia.com/s/article/How-to-Enable-Disable-Lossy-RoCE-Accelerations

Understanding MLX5 Ethtool Counters 理解计数器

https://enterprise-support.nvidia.com/s/article/understanding-mlx5-ethtool-counters

Understanding MLX5 Linux Counters and Status Parameters

https://enterprise-support.nvidia.com/s/article/understanding-mlx5-linux-counters-and-status-parameters

Dump RDMA traffic with tcpdump 抓包

https://enterprise-support.nvidia.com/s/article/how-to-dump-rdma-traffic-using-the-inbox-tcpdump-tool–

connectx-4-x

RoCE Debug Flow

https://enterprise-support.nvidia.com/s/article/RoCE-Debug-Flow-for-Linux

RDMA Sample Code 编程示例

[basic rdma pingpong] https://github.com/linux-rdma/rdma-core/tree/master/libibverbs/examples

[performance benchmarks] https://github.com/linux-rdma/perftest

[latency test] https://github.com/michaelbe2/rdma_samples/tree/master/rc_write_latency

[incast flow control] https://github.com/michaelbe2/rdma_fc

晓兵

博客: https://logread.cn | https://blog.csdn.net/ssbandjl | https://cloud.tencent.com/developer/user/5060293/articles

weixin: ssbandjl

公众号: 云原生云

DAOS IO全路径详解(视频)
DAOS 项目简介(视频)
欢迎对DAOS, SPDK, RDMA等高性能技术感兴趣的朋友加入[DAOS技术交流(群)]

ssbandjl
关注
  • 2
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
深度解读RoCE v2网络技术
FS_China的博客
01-26 1542
RoCE v2是一种专为实现以太网环境下低延迟、高吞吐量数据传输而设计的RDMA协议。相较于涉及多重处理层次的传统数据传输方式，RoCE v2实现了系统间的直接内存访问机制，最大限度地减少了CPU的参与和降低通信延迟。这一特性赋予了RoCE v2在对数据交换速度及效率有着极高要求的应用场景中无可比拟的优势，例如高性能计算（HPC）环境、数据中心以及云计算架构。RoCE v2是在前一代RoCE v1的基础上演进而来的，通过引入一系列改进措施有效解决了原有局限性问题，并全面提升了性能表现。
RoCEv2网络部署----Mellanox网卡配置
老网工的岁月独白
11-01 4903
mlnx_qos -i ens1np0 -s ets,ets,ets,ets,ets,ets,strict,strict -t 10,10,10,50,10,10,0,0 设置出向队列调度，tc7，tc6严格优先级，tc0-5按权重轮询。mlnx_qos -i ens1np0 -f 0,0,0,1,0,0,0,0 开启priority 3 pfc。mlnx_qos -i ens1np0 -r 0,0,0,0,0,0,30,20 队列限速。设置队列3 PFC，后面打流测试让RoCEv2流量跑在队列3中，
CX7-IB卡升级FW固件
最新发布
zhuyuanpo001的博客
05-27 529
Mellanox网卡，NVIDIA网卡，IB卡升级FW固件，CX7网卡升级FW固件
Mellanox驱动加载与RoCE & soft-RoCE(RDMA)
开源&&分享
08-12 3093
处理器(cpu) 内存 I/o设备(外设)三者之间的关系（1）没有DMA参与的访问方式：假设I/O设备为一个普通网卡，为了从内存拿到需要发送的数据，然后组装数据包发送到物理链路上，网卡需要通过总线告知CPU自己的数据请求。然后CPU将会把内存缓冲区中的数据复制到自己内部的寄存器中，再复制到I/O设备的存储空间中。如果数据量比较大，那么很长一段时间内CPU都会忙于搬移数据，而无法投入到其他工作中去。CPU的最主要工作是计算，而不是进行数据复制，这种工作属于白白浪费了它的计算能力。......
ROCEv2拥塞管理
老网工的岁月独白
10-13 4358
RDMA RDMA(远程直接数据存取)就是为了解决网络传输中服务器端数据处理的延迟而产生的，无需使用CPU，就可以从一个主机或服务器的内存直接访问另一主机或服务器的内存。它释放了CPU去执行其应做的工作，比如运行应用程序和处理大量数据。这既提高了带宽又降低了延迟、抖动和 CPU 消耗。 RDMA网络 目前，大致有三类RDMA网络，分别是Infiniband、RoCE、iWARP。其中，Infiniband是一种专为RDMA设计的网络，从硬件级别保证可靠传输 ，而RoCE 和 iWARP都是基于以太网的RDM
RDMA 协议中的王者：RoCE v2网络，低延迟、高吞吐量！
网络技术联盟站
02-13 2870
RoCE（RDMA over Converged Ethernet）是一种基于以太网的远程直接内存访问协议，旨在通过以太网网络实现高性能、低延迟的数据传输。RoCE早期版本（RoCE v1）存在一些局限性，随着技术的不断发展，RoCE v2应运而生，弥补了先前版本的一些缺陷。远程直接内存访问（RDMA）是一种数据传输方式，它允许数据在不涉及主机CPU的情况下从一台计算机的内存传输到另一台计算机的内存。这种方式降低了传统TCP/IP协议栈的开销，提高了数据传输效率。
InfiniBand 和 RoCEv2 是什么
qq_45206551的博客
09-19 786
RoCEv2是对RoCEv1的改进和扩展，提供了更高的性能、更低的延迟和更好的兼容性。InfiniBand的设计目标是提供一种高效的、可靠的互连技术，以满足高性能计算和数据中心环境中对低延迟和高带宽的需求。它采用了一种点对点的通信模型，通过直接内存访问（DMA）技术实现了主机内存之间的直接数据传输，从而减少了CPU的干预和数据拷贝的开销。链路层（Link Layer）：InfiniBand的链路层负责处理物理层和数据链路层的功能，包括数据包的传输、错误检测和纠正、流量控制等。
Mellanox CX-5网卡支持OVS流表加速功能的调研
360技术
04-12 4777
奇技 · 指南本文主要对Mellanox CX-5网卡支持OVS流表加速功能进行了调研，简单介绍了配套软件的版本要求，并描述了整体测试的步骤，另外对其支持VF热迁移也进行了初步的调研，希望...
关于InfiniBand的技术问答
FS_China的博客
03-09 1745
CX7 NDR网卡使用英伟达（NVIDIA）的400GBASE-SR4或400GBASE-DR4光模块，而QM97XX系列交换机使用800GBASE-SR8（相当于2x400GBASE-SR4）或800GBASE-DR8（相当于2x400GBASE-DR4）光模块。在IB网络集群解决方案中，飞速（FS）的专业团队将根据您的需求和网络规模提供合适的解决方案，确保网络稳定性和高性能。答：可以使用OFED中包含的opensm和命令脚本工具进行简单的管理和监控，但缺少UFM友好的图形用户界面和许多功能。
运行 RoCEv2 的网络注意事项
m0_62973599的博客
12-30 2856
RDMA over Converged Ethernet (RoCE) 是一种网络协议，它利用远程直接内存访问 (RDMA) 功能来显着加速托管在服务器集群和存储阵列上的应用程序之间的通信。RoCE 结合了 IBTA RDMA 语义，允许设备在应用程序级别执行直接内存到内存传输，而无需主机 CPU。与基于软件的协议相比，传输处理和内存转换和放置均由硬件执行，从而显着降低延迟、提高吞吐量和提高性能。
RoCEv2网络部署实践
老网工的岁月独白
03-09 2710
另外在VxLAN这样的overlay的网络中，我们必须还要考虑到内外层报文ECN的一致性，例如：Spine链路拥塞时ECN置位也只是在外层报文， 这就要求Leaf到接收端时先要将外层的ECN状态同步到内层报文，然后再剥离外层报文送到接收端侧。最后，很多时候无损网络部署时会将PFC和ECN同时部署，考虑到PFC可能的死锁等问题，一般发生拥塞时会首先触发ECN，使终端主动降速。队列调度：出向时，将不同标记的流量放到不同队列，通常信令类流量绝对优先，ROCEv2和普通流量加权重轮询调度，也就是SP+WRR。
【RDMA】RDMA网卡通讯
eternal963的博客
03-03 1255
记录小白RDMA网卡通讯基本操作
roce是网卡的一部分
jason的笔记
09-22 7239
roce分为软件实现的roce和硬件实现的roce，硬件roce就是在普通网卡中添加一个模块，其中pf和vf 都可以使用roce 由于roce是网卡的一部分，因此roce在初始化的时候是包含在网卡初始化中的过程中，例如下面这个roce就会注册 自己的初始化函数到网卡驱动中 static const struct hnae3_client_ops hns_roce_hw_v2_ops = { ....
RoCEv2 无损队列缓存
老网工的岁月独白
06-17 2232
RoCE的技术方案是将以太网通过PFC和ECN的加持后进化成“无损网络”，用来支持在以太网上承载RDMA业务。 RDMA流量通过DSCP标记进入到以太网交换机的无损队列转发。无损队列和有损队列的重要区别就是其缓存的划分。 缓存空间存在于芯片中，芯片上的所有端口共用该芯片的缓存空间，端口上的所有队列共用该端口的缓存空间。缓存空间可以划分为芯片级、端口级、队列级。队列一般分为有损队列与无损队列。区别是无损队列多了Headroom缓存空间。无损队列的缓存空间 芯片级 1.Static Buffer 静态缓存是在芯
基于ROCEV2的拥塞控制
weixin_46098570的博客
09-28 677
公平性要求多个流公平共享拥塞链路带宽；基于 PFC 协议，数据中心可以运行接近无损的以太网， 但由于 PFC 协议是端口级别的粗粒度流量暂停，在保证以太网 L2 层无损的同时，频繁的 PFC 触发会带来吞吐量的降低，同时还会导致流级别的拥塞扩散，死锁，PFC暂停帧风暴和行头阻塞等性能问题。对于速率减少，DCQCN 每接收到一个 CNP 数据包，则认为该流路径上产生拥塞，参考当前路径的拥塞参数𝛼，按照公式（3-2）减少发送速率，其中𝑅𝑐 表示当前流发送速率，𝑅𝑡 保存上一次降速前的速率，用于速率恢复。
RDMA RoCev2 CM建链和Socket建链测试
jacicson1987的专栏
07-11 2375
RDMA在高性能计算，AI大模型训练中发挥着重要的作用。主流支持RDMA的协议有IB、RoCev1、RoCev2、iWARP。其中RoCev2是应用最广泛的协议，因为其RDMA over UDP/IP，不依赖昂贵的IB网络设备，同时支持路由，性能上也接近原生IB水准。
rdma rocev2报文格式总结
qq_38158479的博客
02-15 5795
rdma rocev2报文格式总结
带宽优化新思路：RoCE网卡聚合实现X2增长
华为云官方博客
10-08 756
RoCE也可以组Bond，只是比普通网卡多了一些约束。
如何使用mlnx_qos修改mellanox网卡的xoff threshold和xon threshold
06-06
要使用`mlnx_qos`工具修改Mellanox网卡的XOFF threshold和XON threshold，可以按照以下步骤进行操作： 1. 安装`mlnx_qos`工具。如果你使用的是Red Hat或CentOS系统，可以使用以下命令安装： ``` yum install mlnx-qos -y ``` 如果你使用的是Ubuntu系统，可以使用以下命令安装： ``` apt-get install mlnx-qos -y ``` 2. 使用以下命令列出所有可用的网卡： ``` mlnx_qos -i ``` 3. 使用以下命令查看指定网卡的当前配置： ``` mlnx_qos -i <interface> -s ``` 其中，`<interface>`是你要配置的网卡的名称。 4. 使用以下命令修改指定网卡的XOFF threshold和XON threshold： ``` mlnx_qos -i <interface> -x <xoff_threshold> -o <xon_threshold> ``` 其中，`<xoff_threshold>`是你要设置的XOFF threshold的值，`<xon_threshold>`是你要设置的XON threshold的值。 例如，要将eth0网卡的XOFF threshold设置为8192，XON threshold设置为8192，可以使用以下命令： ``` mlnx_qos -i eth0 -x 8192 -o 8192 ``` 需要注意的是，使用`mlnx_qos`工具修改网卡配置可能会影响网络性能，请谨慎操作。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值