H3C&思科&锐捷&盛科交换机如何配置RDMA（RoCE）流控？

最新推荐文章于 2024-07-08 20:21:18 发布

技术瘾君子1573

最新推荐文章于 2024-07-08 20:21:18 发布

阅读量512

点赞数 12

分类专栏：网络文章标签：网络运维交换机

本文链接：https://blog.csdn.net/qq_27815483/article/details/139899344

版权

网络专栏收录该内容

8 篇文章 1 订阅

订阅专栏

内容介绍：

本文主要总结整理了华三（H3C）、思科（Cisco）、锐捷（ruijie）、盛科（Centec）等主流以太网交换机如何在交换端配置RDMA流控。

前提条件：

交换机端需要支持RDMA（RoCE）协议，服务器端网卡也需要支持RDMA协议，一般为mellanox&nvidia的以太网卡，两端同时配置才有效。

一、华三（H3C）交换机端配置RDMA流控

H3C交换机设置步骤：
[H3C]qos wred queue table primary                                                                 #创建WRED表，同时进入该WRED表视图
[H3C-wred-table-primary]queue 3 ecn                                                             #用来对3队列开启显示拥塞通知功能
[H3C-wred-table-primary]queue 6 ecn                                                            #用来对6队列开启显示拥塞通知功能
[H3C]traffic classifier CNP operator and                                                         #对流量分类CNP(网络处理)
[H3C-classifier-CNP]if-match dscp cs6                                      #指定匹配cs6(ip优先级6，类) dscp是一种用于ip包分类技术
[H3C]traffic classifier RoCE operator and                  #指定流量分类RoCE （roce是基于融合以太网技术的远程内存访问技术，可以提高网络性能与数据响应，降低延迟，提高带宽利用率等）
[H3C-classifier-RoCE]if-match dscp af31                                                     #指定匹配AF31（确定转发）
[H3C]traffic behavior CNP                                                                            #对CNP流量进行标记
[H3C-behavior-CNP]remark dot1p 6          #标记为dot1q 6(设置802.1p（vlan标签技术为了提供流量优先级及动态多播过滤服务）值为6是网间控制，总共为0-7个级别，7为最高)
[H3C]traffic behavior RoCE                                                                           #对RoCE流量进行标记
[H3C-behavior-RoCE]remark dot1p 3                                                          #优先级设置为3，关键应用程序
[H3C]qos policy QOS_MARKING                                                                #对流量配置策略，策略名为QOS_MARKING
[H3C-qospolicy-QOS_MARKING]classifier RoCE behavior RoCE             #设置流量分类器名为RoCE行为名为RoCE
[H3C-qospolicy-QOS_MARKING]classifier CNP behavior CNP                 #设置分类器名为CNP行为名为CNP
进入服务器连接的交换机端口进行配置，以1个端口配置举例
[H3C]interface Ten-GigabitEthernet 1/0/49
[H3C-Ten-GigabitEthernet1/0/49]port link-mode bridge                               #设置链路模式为二层
[H3C-Ten-GigabitEthernet1/0/49]priority-flow-control enable                       #在端口启用PFC功能
[H3C-Ten-GigabitEthernet1/0/49]priority-flow-control no-drop dot1p 3,6     #设置对802.1p优先级3和6开启PFC功能
[H3C-Ten-GigabitEthernet1/0/49]qos trust dot1p                                        ##配置信任报文自带的802.1p优先级
[H3C-Ten-GigabitEthernet1/0/49]qos wfq weight                                        #在接口上开启WFQ队列，并按照每次轮询可发送的报文个数进行计算
[H3C-Ten-GigabitEthernet1/0/49]qos bandwidth queue af3 min 5000000   #配置端口流量拥塞时能够保证的最小队列带宽
[H3C-Ten-GigabitEthernet1/0/49]qos apply policy QOS_MARKING inbound  #在接口下入方向应用qos策略
[H3C-Ten-GigabitEthernet1/0/49]qos wred apply primary                               #在接口上应用WRED表，默认没有WRED表，即采用尾丢弃

二、思科（cisco）交换机端配置RDMA流控

cisco交换机配置示例

##定义流量类型, dscp值为48的标记为CNP流量， dscp值为26的标记为RoCE流量

class-map type qos match-all CNP
  match dscp 48
class-map type qos match-all RoCE
  match dscp 26


##将CNP流量绑定qos队列7, RoCE流量绑定qos队列3

policy-map type qos QOS_MARKING
  class RoCE
    set qos-group 3
  class CNP
    set qos-group 7
  class class-default


##配置出口队列策略

policy-map type queuing QOS_QUEUEING8q-out
  #队列7（CNP）的流量绝对优先传输
  class type queuing c-out-8q-q7
    priority level 1
  
  #队列3（RoCE）的流量分配剩余带宽的50%， 并配置丢包阈值和概率，以及开启ecn
  #如果RoCE流量有专用的交换机，可配置为90%
  class type queuing c-out-8q-q3
    bandwidth remaining percent 50
    random-detect threshold burst-optimized ecn
  
  #默认队列的流量分配剩余带宽的40%（业务流量）
  class type queuing c-out-8q-q-default
    bandwidth remaining percent 40
    
  #其余队列不配置
  class type queuing c-out-8q-q6
    bandwidth remaining percent 0
  class type queuing c-out-8q-q5
    bandwidth remaining percent 0
  class type queuing c-out-8q-q4
    bandwidth remaining percent 0
  class type queuing c-out-8q-q2
    bandwidth remaining percent 0
  class type queuing c-out-8q-q1
    bandwidth remaining percent 0


##在所有服务器节点对应的接口下绑定流控策略

interface Ethernet1/*
  service-policy type qos input QOS_MARKING
  service-policy type queuing output QOS_QUEUEING8q-out

三、锐捷（锐捷）交换机端配置RDMA流控

锐捷（ruijie）交换机配置示例

##定义流量类型, dscp值为48的标记为CNP流量， dscp值为26的标记为RoCE流量

class-map CNP
 match ip dscp 48
class-map RoCE
 match ip dscp 26

##将CNP流量绑定qos队列7, RoCE流量绑定qos队列3

policy-map QOS
 class RoCE
  set cos 3 priority
 class CNP
  set cos 7 priority


##配置队列负载权重

#队列7绝对优先，队列3占剩余带宽的50%，如果RoCE流量有专用交换机，可配置为90%
qos-queue compatible enable
mls qos scheduler drr
drr-queue bandwidth 1 1 1 50 1 1 1 0
queueing wred


##所有服务器节点对应的接口下绑定流控策略

int TFGigabitEthernet 0/*
 qos queue 3 ecn
 qos queue 7 ecn

四、盛科（centec）交换机配置RDMA流控

盛科（centec）交换机配置示例

1、登录交换机
Switch-01# configure terminal 
Enter configuration commands, one per line.  End with CNTL/Z.
Switch-01(config)# qos ecn enable   ##开启ecn    
Switch-01(config)# no cut-through-forwarding enable  
Switch-01#wr 保存交换机配置  
重启交换机

注：
1）如果执行qos ecn enable显示命令不对，请执行下如下配置，如果配置相同，则跳过qos ecn enable命令
 

2）如果执行show cut-through-forwarding mode显示是disable。则no cut-through-forwarding enable也不用执行



2、配置PFC及ECN
class-map type qos pfc-pri-3
 match dscp af31 

class-map type qos pfc-pri-6
 match dscp cs6 

class-map type traffic-class ecn-pri-3
match traffic-class 3

class-map type traffic-class ecn-pri-6
match traffic-class 6

policy-map type qos pfc-pmap
class type qos pfc-pri-3
set traffic-class 3
class type qos pfc-pri-6
set traffic-class 6

policy-map type traffic-class ecn-pmap
class type traffic-class ecn-pri-3
class type traffic-class ecn-pri-6


3、将PFC及ECN的策略应用到服务器所有节点相应的接口
interface range eth-0-1 - 9 , 11 - 20
priority-flow-control mode on
priority-flow-control enable priority 3 6 
service-policy type qos input pfc-pmap
service-policy type traffic-class ecn-pmap