RSS的作用
RSS是网卡提供的分流机制。用来将报表分流到不同的收包队列,以提高收包性能。
RSS及Flow Director都是靠网卡上的资源来达到分类的目的,所以在初始化配置网卡时,我们需要传递相应的配置信息去使能网卡的RSS及Flow Director功能。
RSS(receive side scaling)是由微软提出的一种负载分流方法,通过计算网络数据报文中的网络层&传输层二/三/四元组HASH值,取HASH值的最低有效位(LSB)用于索引间接寻址表RETA(Redirection Table),间接寻址表RETA中的保存索引值用于分配数据报文到不同的CPU接收处理。现阶段RSS基本已有硬件实现,通过这项技术能够将网络流量分载到多个CPU上,降低操作系统单个CPU的占用率。
-
没有开启 rss负载分流情况下:
- 所有报文只会从一个硬件队列来收包。
-
开启 rss进行负载分流情况下:
- rss 会解释报文的 l3 层信息:ip 地址。甚至 l4 层信息:tcp/udp 端口。
- 报文会经过 hash function 计算出一个 uint32_t 的 rss hash。填充到 struct rte_mbuf 的 hash.rss字段中。
- rss hash 的 低7位 会映射到 4位长 的 RSS output index。
- 无法解释的 报文,rss hash 和 RSS output index 设置为 0。
RSS配置的数据结构
其中rss_key 字段:rss_key 数组。如果 为 NULL,留给网卡设置 rss_key。
rss_key_len:rss_key数组的字节数。
rss_hf:需要对报文的分析的元组类型。常用的组合有 l3: ETH_RSS_IP, l3+l4: ETH_RSS_IP | ETH_RSS_UDP | ETH_RSS_TCP。
RSS在port_init的配置
// 端口的配置信息
struct rte_eth_conf port_conf =
{
#if 1
.rxmode = {
//.split_hdr_size = 0,
.mq_mode = ETH_MQ_RX_RSS, // 使用RSS分流
},
.rx_adv_conf = {
.rss_conf = {
.rss_key = NULL, // 留给网卡设置 rss_key
// .rss_key_len = 0, // rss_key数组的字节数
.rss_hf = ETH_RSS_IP // 通过l3层 tuple计算rss hash
| ETH_RSS_UDP // 通过l4层 UDP tuple计算rss hash
| ETH_RSS_TCP,
// | ETH_RSS_SCTP, // 通过l4层 TCP tuple计算rss hash
// .rss_hf = ETH_RSS_IP , // l3层tuple计算rss hash
},
},
#endif
#if 0
.fdir_conf = {
.mode = RTE_FDIR_MODE_PERFECT,
.pballoc = RTE_FDIR_PBALLOC_64K,
.status = RTE_FDIR_REPORT_STATUS,
.drop_queue = 127,
.mask = {
.vlan_tci_mask = 0x0,
.ipv4_mask = {
.src_ip = 0xFFFFFFFF,
.dst_ip = 0xFFFFFFFF,
},
.src_port_mask = 0xFFFF,
.dst_port_mask = 0xFF00,
.mac_addr_byte_mask = 0xFF,
.tunnel_type_mask = 1,
.tunnel_id_mask = 0xFFFFFFFF,
},
.drop_queue = 127,
},
#endif
#if 0
.txmode = {
.offloads =
DEV_TX_OFFLOAD_VLAN_INSERT |
DEV_TX_OFFLOAD_IPV4_CKSUM |
DEV_TX_OFFLOAD_UDP_CKSUM |
DEV_TX_OFFLOAD_TCP_CKSUM |
DEV_TX_OFFLOAD_SCTP_CKSUM |
DEV_TX_OFFLOAD_TCP_TSO,
},
#endif
};
将 rss_key 字段设置为 NULL, 留给 网卡设置 rss key。
因为不同的驱动,rss key 有可能设置为对称,也有可能设置为非对称的。所以不同驱动网卡的分流效果,将无法预测。
当使用发包机来测试的时候,如果发包机产出的报文的元组信息过于有规律,而网卡使用了对称的 rss_key,(此时 rss_hf 设置为 ETH_RSS_IP)将会很大可能分流到相同的硬件收包队列,从而影响性能。
一旦发现分流效果不好。则可以 使用非对称的 rss_key,并且将 rss_hf 设置为 ETH_RSS_IP | ETH_RSS_UDP | ETH_RSS_TCP。
rss_key条件
对称rss_key条件下,一共四个队列,结果rss通过hash之后分流到其中两个队列 0和3,分流效果不好(相同的IP在同一个队列)。
非对称rss_key条件下,rss通过通过hash之后分流到四个队列,分流效果均衡(相同的IP分到不同的队列)