目录
5.1.2 ECMP(ECMP构建多条等价负载链路,HASH选择到已拥塞链路发送加剧拥塞）
1.rdma介绍
在网络融合的大趋势下出现的RoCE，使高速、超低延时、极低cpu使用率的RDMA得以部署在目前使用最广泛的以太网上。
对比传统DMA的内部总线IO，RDMA通过网络在两个端点的应用软件之间实现buffer的直接传递；
而对比传统的网络传输，RDMA又无需操作系统和协议栈的介入。
RDMA可以轻易实现端点间的超低延时、超高吞吐量传输，而且基本不需要CPU、OS的资源参与，在高速网络环境下，不必再为网络数据的处理和搬移耗费过多资源。
一言概之，RDMA三大特性：CPU offload 、kernel bypass、zero-copy。
传统方式
rdma方式
如上图，在传统模式下，两台服务器上的应用之间传输数据，过程是这样的：
首先要把数据从应用缓存拷贝到Kernel中的TCP协议栈缓存；
然后再拷贝到驱动层；
最后拷贝到网卡缓存。
多次内存拷贝需要CPU多次介入，导致处理延时大，达到数十微秒。同时整个过程中CPU过多参与，大量消耗CPU性能，影响正常的数据计算。
在RDMA 模式下，应用数据可以绕过Kernel协议栈直接向网卡写数据，带来的显著好处有：
处理延时由数十微秒降低到1微秒内；
整个过程几乎不需要CPU参与，节省性能；
传输带宽更高。
2. rdma原理
传统的网络架构以“网络为中心”，网络公用的软件部分被实现到OS的协议栈，所以OS在所有应用的网络请求时都必须参与其中，并且socket、skbuff、ring buffer的转换都伴随着数据报文的拷贝，容易产生性能瓶颈。
网络环境下的CPU负载消耗
RDMA提供了基于消息队列的点对点通信，每个应用都可以直接获取自己的消息，无需OS和协议栈的介入。
消息服务建立在通信双方本端和远端应用之间创建的channel-IO连接之上。
当应用需要通信时，就会创建一条Channel连接，每条Channel的首尾端点是两对Queue Pairs（QP），每对QP由Send Queue（SQ）和Receive Queue（RQ）构成，这些队列中管理着各种类型的消息。
QP会被映射到应用的虚拟地址空间，使得应用直接通过它访问RNIC。除了QP描述的两种基本队列之外，RDMA还提供一种队列-Complete Queue（CQ），CQ用来知会用户WQ上的消息已经被处理完。
RDMA提供了一套software transport interface，方便用户创建传输请求-Work Request（WR），WR中描述了应用希望传输到Channel对端的消息内容。
WR通知给QP中的某个队列-Work Queue（WQ）。
在WQ中，用户的WR被转化为Work Queue Ellement（WQE）的格式，等待RNIC的异步调度解析，并从WQE指向的buffer中拿到真正的消息发送到Channel对端。
3. rdma传输
RDMA 的send/receive和read/write传输
RDMA共有三种底层数据传输模式。
SEND/RECEIVE是双边操作，即必须要远端的应用感知参与才能完成收发。
READ和WRITE是单边操作，只需要本端明确信息的源和目的地址，远端应用不必感知此次通信，数据的读或存都通过远端的DMA在RNIC与应用buffer之间完成，再由远端RNIC封装成消息返回到本端。
在实际中，SEND/RECEIVE多用于连接控制类报文，而数据报文多是通过READ/WRITE来完成的。
3.1双边操作
对于双边操作为例，A向B发送数据的流程如下：
首先，A和B都要创建并初始化好各自的QP，CQ
A和B分别向自己的WQ中注册WQE，对于A，WQ=SQ，WQE描述指向一个等到被发送的数据；对于B，WQ=RQ，WQE描述指向一块用于存储数据的buffer。
A的RNIC异步调度轮到A的WQE，解析到这是一个SEND消息，从buffer中直接向B发出数据。数据流到达B的RNIC后，B的WQE被消耗，并把数据直接存储到WQE指向的存储位置。
AB通信完成后，A的CQ中会产生一个完成消息CQE表示发送完成。与此同时，B的CQ中也会产生一个完成消息表示接收完成。每个WQ中WQE的处理完成都会产生一个CQE。
双边操作与传统网络的底层buffer pool类似，收发双方的参与过程并无差别，区别在零拷贝、kernel bypass，实际上传统网络中一些高级的网络SOC已经实现类似功能。
对于RDMA，这是一种复杂的消息传输模式，多用于传输短的控制消息。
3.2 单边操作
对于单边操作，以存储网络环境下的存储为例（A作为文件系统，B作为存储介质）：
首先A、B建立连接，QP已经创建并且初始化。
数据被存档在A的buffer地址VA，注意VA应该提前注册到A的RNIC，并拿到返回的local key，相当于RDMA操作这块buffer的权限。
A把数据地址VA，key封装到专用的报文传送到B，这相当于A把数据buffer的操作权交给了B。同时A在它的WQ中注册进一个WR，以用于接收数据传输的B返回的状态。
B在收到A的送过来的数据VA和R_key后，RNIC会把它们连同存储地址VB到封装RDMA READ，这个过程A、B两端不需要任何软件参与，就可以将A的数据存储到B的VB虚拟地址。
B在存储完成后，会向A返回整个数据传输的状态信息。
单边操作传输方式是RDMA与传统网络传输的最大不同，提供直接访问远程的虚拟地址，无须远程应用的参与，这种方式适用于批量数据传输。
4 RoCEv2的封包格式
RoCEv2的协议栈包括IB传输层、UDP、IP和Ethernet，其中，后面三层都使用了TCP/IP中相应层次的封包格式。
4.1 RoCEv2的封包格式
RoCEv2的封包格式如下图所示
其中，UDP包头中，目的端口号为4791即代表是RoCEv2帧。
IB BTH即InfiniBand Base Transport Header，定义了IB传输层的相应头部字段。
IB Payload即为消息负载。ICRC和FCS分别对应冗余检测和帧校验。
4.2 IB BTH格式和字段定义
其中，Opcode用于表明该包的type或IB PayLoad中更高层的协议类型。
S是Solicited Event的缩写，表明回应者产生应该产生一个事件。
M是MigReq的缩写，一般用于迁移状态。Pad表明有多少额外字节被填充到IB PayLoad中。
TVer即Transport Header Version，表明该包的版本号。
Partition Key用来表征与本Packet关联的逻辑内存分区。
rsvd是reserved的缩写，该字段是保留的。
Destination QP表明目的端Queue Pair序号。
A是Acknowledge Request，表示该packet的应答可由响应者调度。
PSN是Packet Sequence Number，用来检测丢失或重复的数据包。
如前文所述，RDMA是一种智能网卡与软件架构充分优化的远端内存直接高速访问技术，通过将RDMA技术固化于网卡上实现，
即，在RoCEv2协议栈中，IB BTH、UDP、IP以及Ethernet Layer全是固化在网卡上的。
用户空间的Application通过OFA Stack(亦或其他组织编写的RDMA stack)提供的verbs编程接口(比如WRITE、READ、SEND等)形成IB payload，接下来便直接进入硬件，由RDMA网卡实现负载的层层封装。
如上图，在传统模式下，两台服务器上的应用之间传输数据，过程是这样的：
首先要把数据从应用缓存拷贝到Kernel中的TCP协议栈缓存；
然后再拷贝到驱动层；
最后拷贝到网卡缓存。
多次内存拷贝需要CPU多次介入，导致处理延时大，达到数十微秒。同时整个过程中CPU过多参与，大量消耗CPU性能，影响正常的数据计算。
在RDMA 模式下，应用数据可以绕过Kernel协议栈直接向网卡写数据，带来的显著好处有：
处理延时由数十微秒降低到1微秒内；
整个过程几乎不需要CPU参与，节省性能；
传输带宽更高。
5 无损网络和PFC
当前RDMA在以太网上的传输协议是RoCEv2，RoCEv2是基于无连接协议的UDP协议，相比面向连接的TCP协议，UDP协议更加快速、占用CPU资源更少，但其不像TCP协议那样有滑动窗口、确认应答等机制来实现可靠传输，一旦出现丢包，依靠上层应用检查到了再做重传，会大大降低RDMA的传输效率。
所以要想发挥出RDMA真正的性能，突破数据中心大规模分布式系统的网络性能瓶颈，势必要为RDMA搭建一套不丢包的无损网络环境，而实现不丢包的关键就是解决网络拥塞。
5.1 拥塞产生的原因
5.1.1 收敛比(总输入带宽/总的输出带宽)
进行数据中心网络架构设计时，从成本和收益两方面来考虑，多数会采取非对称带宽设计，即上下行链路带宽不一致，交换机的收敛比简单说就是总的输入带宽除以总的输出带宽。
交换机A：下行带宽480G，上行带宽240G，整机收敛比为2:1
交换机B：下行带宽1200G，上行带宽800G，整机收敛比为1.5:1
也就是说，当下联的服务器上行发包总速率超过上行链路总带宽时，就会在上行口出现拥塞
5.1.2 ECMP(ECMP构建多条等价负载链路,HASH选择到已拥塞链路发送加剧拥塞）
当前数据中心网络多采用Fabric架构，并采用ECMP来构建多条等价负载的链路，并HASH选择一条链路来转发，是简单的，但这个过程没有考虑到所选链路本身是否有拥塞，对于已经产生拥塞的链路来说，很可能加剧链路的拥塞
5.1.3 TCP Incast（多对一）
TCP Incast是Many-to-One（多对一）的通信模式，parent向所有node发出数据请求，多个node几乎同时向parent发出数据回复，形成多打一造成拥堵。
为了实现端到端的无损转发，避免因为交换机中的Buffer缓冲区溢出而引发的数据包丢失，交换机必须引入其他机制，如流量控制，通过对链路上流量的控制，减少对交换机Buffer的压力，来规避丢包的产生。
5.2 PFC如何实现流控
IEEE 802.1Qbb(Priority-based Flow Control，基于优先级的流量控制)简称PFC，是流量控制的增强版。
（流控发展史：FC(整个链路流控）-->PFC（基于优先级流控）-->PFC+ECN（流控发生前避免拥塞）/PFC+ETS（分配带宽）+ECN）
5.2.1FC(整个链路流控）
IEEE 802.3X(Flow Control)流控的机制：当接收者没有能力处理接收到的报文时，为了防止报文被丢弃，接收者需要通知报文的发送者暂时停止发送报文
如下图所示，端口G0/1和G0/2以1Gbps速率转发报文时，端口F0/1将发生拥塞。为避免报文丢失，开启端口G0/1和G0/2的Flow Control功能。
当F0/1在转发报文出现拥塞时，交换机B会在端口缓冲区中排队报文，当拥塞超过一定阈值时，端口G0/2向G0/1发PAUSE帧，通知G0/1暂时停止发送报文。
• G0/1接收到PAUSE帧后暂时停止向G0/2发送报文。暂停时间长短信息由PAUSE帧所携带。交换机A会在这个超时范围内等待，或者直到收到一个Timeout值为0的控制帧后再继续发送。
5.2.2 PFC（基于优先级流控）
FC（IEEE 802.3X协议）缺点：一旦链路被暂停，发送方就不能再发送任何数据包，如果是因为某些优先级较低的数据流引发的暂停，结果却让该链路上其他更高优先级的数据流也一起被暂停了，其实是得不偿失的。
▲ PFC工作机制示意图
PFC允许单独暂停和重启其中任意一条虚拟通道，同时不影响其它虚拟通道的流量。如上图所示，当队列7的Buffer消耗达到设置的PFC流控水线，会触发PFC的反压：
- 本端交换机触发发出PFC Pause帧，并反向发送给上游设备；
- 收到Pause帧的上游设备会暂停该队列报文的发送，同时将报文缓存在Buffer中；
- 如果上游设备的Buffer也达到阈值，会继续触发Pause帧向上游反压；
- 最终通过降低该优先级队列的发送速率来避免数据丢包；
- 当Buffer占用降低到恢复水线时，会发送PFC解除报文。
PFC在基础流控IEEE 802.3X基础上进行扩展，允许在一条以太网链路上创建8个虚拟通道，并为每条虚拟通道指定相应优先级，允许单独暂停和重启其中任意一条虚拟通道，同时允许其它虚拟通道的流量无中断通过。
PFC将流控的粒度从物理（端口）细化到（8个虚拟通道），分别对应Smart NIC硬件上的8个硬件发送队列(这些队列命名为Traffic Class，分别为TC0,TC1,...,TC7)，在RDMA不同的封装协议下，也有不同的映射方式。
5.2.3 RoCEv1（RDMA封装协议）队列映射
这个协议是将RDMA数据段封装到以太网数据段内，再加上以太网的头部，因此属于二层数据包。为了对它进行分类，只能使用VLAN(IEEE 802.1q)头部中的PCP(Priority Code Point)域3 Bits来设置优先级值。
5.2.4 RoCEv2（RDMA封装协议）队列映射
这个协议是将RDMA数据段先封装到UDP数据段内，加上UDP头部，再加上IP头部，最后再加上以太网头部，属于三层数据包。对它进行分类，既可以使用以太网VLAN中的PCP域，也可以使用IP头部的DSCP域。
在二层网络的情况下，PFC使用VLAN中的PCP位来对数据流进行区分，在三层网络的情况下，PFC既可以使用PCP、也可以使用DSCP，使得不同数据流可以享受到独立的流控制。当下数据中心因多采用三层网络，因此使用DSCP比PCP更具有优势。
5.3 PFC存在的问题
5.3.1 死锁（PFCdeadlock）
PFC死锁，是指当多个交换机之间因微环路等原因同时出现拥塞,各自端口缓存消耗超过阈值，而又相互等待对方释放资源，从而导致所有交换机上的数据流都永久阻塞的一种网络状态。
正常情况下，当一台交换机的端口出现拥塞并触发XOFF水线时，即下游设备将发送PAUSE帧反压，上游设备接收到PAUSE帧后停止发送数据，如果上游设备本地端口缓存消耗超过阈值，则继续向上游反压。如此一级级反压，直到网络终端服务器在PAUSE帧中指定Pause Time内暂停发送数据，从而消除网络节点因拥塞造成的丢包。
但在特殊情况下，例如发生链路故障或设备故障时，BGP路由重新收敛期间可能会出现短暂环路，会导致出现一个循环的缓冲区依赖。如下图所示，当4台交换机都达到XOFF水线，都同时向对端发送PAUSE帧，这个时候该拓扑中所有交换机都处于停流状态，由于PFC的反压效应，整个网络或部分网络的吞吐量将变为零。
5.3.2 pause帧风暴
由于PFC pause是传递的，所以很容器引起pause frame storm。比如，NIC因为bug导致接收缓冲区填满，NIC会一直对外发送pause frame。需要在NIC端和交换机端使用watchdog机制来防止pause storm。
1. 服务器0的NIC发生故障，不断向其ToR交换机发送暂停帧;
2. ToR交换机依次暂停所有其余端口，包括到Leaf交换机的所有上游端口。
3.叶子交换机暂停脊椎交换机；
4. Spine交换机暂停其余的Leaf交换机；
5.其余的叶子交换机暂停其ToR交换机；
6. ToR交换机会暂停连接到它们的服务器
PFC风暴问题的根本原因是NIC的接收管道中存在错误。 该错误使NIC无法处理收到的数据包。 结果，NIC的接收缓冲区已满，并且NIC一直一直发出暂停帧。
5.3.3 队头阻塞（HOL Blocking/堵塞问题）
如上图 a)，Flow 1 和 Flow 2 从同一个 Ingress 1 流向不同的 Egress 1 和 2。
图 b)，Egress 1 触发了 PFC Pause，Ingress 1 暂停发送。Flow 2 并不需要经过 Egress 1，却受其影响也被暂停了。
5.3.4 不公平问题
如上图 a)，交换机上两个流入端口有数据流向同一个流出端口：Ingress 1 携带 Flow 1，Ingress 2 携带 Flow 2 和 3。
图 b) 触发了 PFC Pause，Ingress 1 和 2 同时暂停发送。
图 c) Egress 1 队列空闲，通知 Ingress 1 和 2 恢复发送。
图 d) 由于 Ingress 1 和 2 是同时暂停和恢复的，Flow 2 和 3 需要竞争 Ingress 2，导致 Flow 1 始终能够获得比 Flow 2 或 3 更高的带宽，出现了不同 Flow 带宽分配不公平。
5.4 利用ECN实现端到端的拥塞控制
当前的RoCE拥塞控制依赖ECN(Explicit Congestion Notification，显式拥塞通知)来运行。ECN最初在RFC 3168中定义，网络设备会在检测到拥塞时，通过在IP头部嵌入一个拥塞指示器和在TCP头部嵌入一个拥塞确认实现。
RoCEv2标准定义了RoCEv2拥塞管理(RCM)。启用了ECN之后，网络设备一旦检测到RoCEv2流量出现了拥塞，会在数据包的IP头部ECN域进行标记。
5.4.1 ECN交互过程
① 发送端发送的IP报文标记支持ECN(10); (ECT=10 or 01，发送端10，接收端01？）
② 交换机在队列拥塞情况下收到该报文，将ECN字段修改为11并发出，网络中其他交换机将透传;
③ 接收端收到ECN为11的报文发现拥塞，正常处理该报文;
④ 接收端产生拥塞通告，每ms级发送一个CNP(Congestion Notification Packets)报文，ECN字段为01，要求报文不能被网络丢弃。接收端对多个被ECN标记为同一个QP的数据包发送一个单个CNP即可(格式规定见下图);--（即对同一个QP的数据发送同一个CNP即可）
⑤ 交换机收到CNP报文后正常转发该报文;
⑥ 发送端收到ECN标记为01的CNP报文解析后对相应的流(对应启用ECN的QP)应用速率限制算法。
CNP作为拥塞控制报文，也会存在延迟和丢包，从发送端到接收端经过的每一跳设备、每一条链路都会有一定的延迟，会最终加大发送端接收到CNP的时间，而与此同时交换机端口下的拥塞也会逐步增多，若发送端不能及时降速，仍然可能造成丢包。建议拥塞通告域的规模不要过大，从而避免因为ECN控制报文交互回路的跳数过多，而影响发送端无法及时降速，造成拥塞。
5.4.2 PFC和ECN对比
在 RoCE 网络中，需要构建无损以太网保证网络不丢包，构建无损以太网需支持以下关键特性：
(必选)PFC(Priority-based Flow Control，基于优先级的流量控制)：逐跳提供基于优先级的流量控制，能够实现在以太网链路上运行多种类型的流量而互不影响。
(必选)ECN(Explicit Congestion Notification，显示拥塞通知)：设备发生拥塞时，通过对报文 IP 头中 ECN 域的标识，由接收端向发送端发出降低发送速率的 CNP(Congestion Notification Packet，拥塞通知报文)，实现端到端的拥塞管理，减缓拥塞扩散恶化。
(建议)DCBX(Data Center Bridging Exchange Protocol，数据中心桥能力交换协议)：使用 LLDP 自动协商 DCB 能力参数（包括 PFC 和 ETS 等）。一般用在接入交换机连接服务器的端口，与服务器网卡进行能力协商。
(可选)ETS(Enhanced Transmission Selection，增强传输选择)：将流量按服务类型分组，在提供不同流量的最小带宽保证的同时提高链路利用率，保证重要流量的带宽百分比。需要逐跳提供。
PFC 点到点逐跳反压，ECN端到端，向源头发送暂停通知
从充分发挥网络高性能转发的角度，我们一般建议通过调整ECN和PFC的buffer水线，让ECN快于PFC触发，即网络还是持续全速进行数据转发，让服务器主动降低发包速率。如果还不能解决问题，再通过PFC让上游交换机暂停报文发送，虽然整网吞吐性能降低，但是不会产生丢包。
5403
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
