RSS/RFS/RPS

概念

在多核CPU中，有几种方式对网卡接收到到的数据进行分流以提升网络接收处理性能：

1. RSS（接收端缩放，Receive Side Scaling）是一种网络适配器技术，用于将网络流量分配到多个CPU核上，从而提高并行处理能力和整体性能。以下是RSS的工作原理和关键点：
   a. 哈希计算：当网络适配器接收到数据包时，会根据数据包的特征（如源IP地址、目标IP地址、源端口和目标端口）计算一个哈希值。
   b. 重定向表：哈希值用于查找RSS重定向表中的一个条目，该表将哈希值映射到特定的接收队列。每个接收队列通常绑定到一个特定的CPU核。
   c. 数据包分配：数据包被放入对应的接收队列，然后由绑定的CPU核处理。
2. Receive Flow Steering (RFS)：RFS是一种内核机制，它允许根据流的特征（如TCP连接）将接收的数据包定向到特定的CPU核。通过配置RFS，可以确保特定TCP连接的数据包被送到绑定的CPU核上处理。工作原理：
   a. 流表（Flow Table）：内核维护一个流表，记录每个TCP连接的CPU核绑定信息。当接收到数据包时，内核会查找流表，确定该数据包对应的TCP连接绑定到哪个CPU核。
   b. 软中断（SoftIRQ）：数据包接收后，内核通过软中断处理数据包。在这个阶段，数据包被放入接收队列中。
   c. 数据包重定向：如果流表中记录的TCP连接绑定到特定的CPU核，内核会将数据包从当前处理的CPU核转移到绑定的CPU核。这通常通过调度队列和软中断机制实现。
   d. 数据包处理：绑定的CPU核接收到重定向的数据包，并继续处理该TCP连接的数据。
3. Receive Packet Steering (RPS)：RPS允许在接收数据包时，将数据包分配到特定的CPU核上。通过配置RPS，可以实现类似RSS的效果，但不需要硬件支持。工作原理：
   a. 数据包接收：当网络适配器接收到数据包后，会将数据包放入接收队列中。
   b. 软中断处理：内核通过软中断（softirq）处理接收到的数据包。在这个阶段，数据包被放入接收队列中。
   c. 哈希计算：内核根据数据包的特征（如源IP地址、目标IP地址、源端口和目标端口）计算一个哈希值。
   d. CPU核选择：哈希值用于查找RPS表中的一个条目，该表将哈希值映射到特定的CPU核。
   e. 数据包分配：数据包被放入对应的CPU核的处理队列中，由该CPU核继续处理。

Q&A
Q： 手动将TCP连接绑定到某个核，而未修改RSS，是否会导致该条流接收性能下降呢？
A： 手动将TCP连接绑定到某个核而不修改RSS（接收端缩放）可能会导致该条流的接收性能下降。这是因为RSS的主要作用是将网络流量分散到多个CPU核上，从而提高并行处理能力和整体性能。如果不调整RSS，所有接收的数据包可能仍然会集中在默认的接收队列和CPU核上，导致负载不均衡和性能瓶颈。

具体来说，以下是可能导致性能下降的原因：

1. CPU负载不均衡：如果RSS未配置或未正确配置，网络适配器可能会将所有接收的数据包发送到一个或少数几个CPU核上，导致这些核过载，而其他核闲置。
2. 中断处理瓶颈：网络数据包的接收通常涉及中断处理。如果所有中断都集中在一个CPU核上，该核可能无法及时处理所有中断，导致数据包处理延迟。
3. 缓存争用：集中处理数据包可能导致CPU缓存争用，进一步降低性能。

Q： 那接收到数据会在哪个阶段发现等待数据包的TCP其实是在其它核上，然后通过什么样的方式把数据送到这个核上？
**A: ** 当接收到数据包时，内核会在网络层和传输层之间进行处理。在这个过程中，内核会检查数据包的目标TCP连接，并确定该连接绑定到哪个CPU核。具体步骤如下：
4. 数据包接收：网络适配器接收到数据包，并通过中断或轮询将数据包传递给内核。
5. 软中断处理：内核通过软中断（softirq）处理接收到的数据包。在这个阶段，数据包被放入接收队列中。
6. 查找TCP连接：内核在传输层查找与数据包对应的TCP连接。此时，内核会检查该TCP连接是否绑定到特定的CPU核。
7. RFS（Receive Flow Steering）：如果启用了RFS，内核会根据TCP连接的绑定信息，将数据包重定向到对应的CPU核。RFS使用哈希表和流表来跟踪每个TCP连接的CPU核绑定信息。
8. 数据包重定向：内核通过调度机制将数据包从当前处理的CPU核转移到绑定的CPU核。这通常通过调度队列和软中断机制实现。
9. 数据包处理：绑定的CPU核接收到重定向的数据包，并继续处理该TCP连接的数据。