Mellanox网卡中mlnx_qos的DCBX是什么，ETS是什么，TC的BW是什么？如何设置？--tsa ets...,strict --tcbw 10,0,90,...0

要点

DCBX 数据中心桥接交换协议

• DCBX（Data Center Bridging Exchange Protocol）,数据中心桥接交换协议。是链路发现协议，基于LLDP，用于自动进行端到端发现、协商、配置PFC和ETS相关的DCB信息。
• DCBX工作模式支持firmware和software两种。当使用firmware模式时，由网卡实现DCBX功能。当使用software模式时，由Mellanox工具或者第三方工具（例如dcbtool、lldpad）来处理DCBX或者固定设置PFC和ETS参数。
• DCBX影响LLDP报文，网卡和交换机互相告知PFC和ETS参数
• DCBX开启后，发送端（比如交换机）发送带有DCB的TLV数据在LLDP中，接收端（比如网卡)收到配置后，判断当前PFC和ETS配置是否有，如果没有则仅同步到DCBX模块。如果有相关配置，则根据TLV和本端对比，并进行协商一致后保存配置。
• 如果要开启DCBX的fw模式，让网卡自动协商。需要配置mlxconfig同时mlnx_qos配置。

ETS 增强传输选择

• 三类传输算法方式：strict, ets and vendor

• 通过设置–tsa设置传输算法，将算法设置到对应的tc，入参是每个tc对应的算法方式
  

• ETS （Enhanced Transmission Selection）增强传输选择，用来设置业务最小带宽保障，提高带宽利用率。

• BW bandwidth，ETC设置会使用到的最低带宽保障，在–tcbw参数中，8个TC的总和加起来要等于100，不然要报错
  

• 指定ETS之后，可以设置最低带宽保障，最低带宽保障通过–tcbw指定，tcbw参数中，如果对应的tc是strict或者vendor，必须设置为0，不然会报错。ets的其他值加起来必须是100
  

2者查看方式：mlnx_qos -i enp65s0f0np0

mlnx_qos -i enp65s0f0np0

DCBX模式切换方式：

• 切换到os模式：

mlnx_qos -i enp65s0f0np0 -d os

• 切换到fw模式：

mlnx_qos -i enp65s0f0np0 -d fw

如果网卡不支持会报错：

Transmission algorithm切换方式

mlnx_qos -i enp65s0f0np0 --tsa ets,ets,ets,ets,ets,ets,ets,strict --tcbw 10,0,90,0,0,0,0,0

将tc0-tc6设置为ets，将tc7设置为strict。并且在整体网卡流量超限后，tc1保证最高10%的带宽，tc2保证最高90%带宽。总体流量没有超过网卡上限，每个tc可以超过自己配置的比例使用，从而最大限度使用带宽。他是一个上限配置。同时结合合理的参数策略。比如ets设置0，那么在整体流量超限之后会将该tc限制最大0%，也就是不给这个tc流量。所以ets的可以根据优先级队列，控制流量不够时候优先保障什么，并且保证在什么级别。以及限制什么。有阴有阳，有定性也有定量。
设置后效果：

其他

• 什么场景应该设置ets、strict、vendor？为了保障业务流量最小带宽，需要设置为ets。cnp用strict。vendor待定？

参考：
https://support.huawei.com/enterprise/zh/doc/EDOC1100179098/ac40ccee
☆☆智算中心技术系列无损网络入门（第二篇） https://zhuanlan.zhihu.com/p/693918479