理解linux环境中的TSO\UFO\GSO等网络分段卸载技术

引言：

        近期在排查k8s偶发的一个问题，pod在calico网络下跨节点访问变慢，丢包严重。经过多方排查，最终确认是主机的网络分段卸载技术enabled引起，关闭tso\ufo\gso,问题修复。

       关于网络分段卸载技术mark下， 原文链接如下：

https://www.cnblogs.com/sammyliu/p/5227121.html

正文：

1.1 TSO名词解释

TSO：TCP Segmentation Offload，是一种利用网口硬件协助TCP大数据包分段分送的技术，目的是为了减轻CPU的负荷。

MSS（Maxium Segment Size）： MSS 是 TCP 数据段每次能够传输的最大数据分段的长度。这个值一般由MTU替代确认。

MTU（Maximum Transmission Unit），是IP报文的最大传输单元，一般为1500，至于为啥是这个值，可以自行百度。

  TCP 分段：当网络应用发给 TCP 的 message 的长度超过 MSS 时，TCP 会对它按照 MSS 的大小将其分为多个小的 packet，并且在每个 packet 上添加 TCP Header 成为一个 TCP 段（segement）。

1.2 GSO

   要实现tso,是需要以下支持的：

• 物理网卡支持。
• Linux 网卡驱动支持。可以使用 ethtool -K ethX tso on 命令打开网卡和驱动对 TSO 的支持，如果返回错误则表示不支持。
• 还需要 Net:TCP checksum offloading and Net:Scatter Gather 支持。

GSO(Generic Segmentation Offload)，是比tso更同意的一种技术，不需要硬件的支持，对于支持 TSO 功能的硬件，则先经过 GSO 功能，然后使用网卡的硬件分片能力执行分片；而对于不支持 TSO 功能的网卡，将分片的执行，放在了将数据推送的网卡的前一刻，也就是在调用驱动的 xmit 函数前。 

1.3 UFO

UFO（UDP Fragmentation Offload），大的udp 包分段只能交给IP层操作，将 IP 分片 offload 到网卡（NIC）中进行，原理同 TSO。

2. 网络分段带来的问题

       分段offloading 可能会带来潜在的问题，比如网络传输的延迟 latency，因为 packets 的大小的增加，大大增加了 driver queue 的容量（capacity）。比如说，系统一方面在使用大的 packet size 传输大量的数据，同时在运行许多的交换式应用（interactive application）。因为交互式应用会定时发送许多小的packet，这时候可能会应为这些小的 packets 被淹没在大的 packets 之中，需要等待较长的时间才能被处理，这可能会带来不可接受的延迟。

       网络分段也无形增加了网卡的负担，在网络拥塞的情况下，这一问题可能会被放大，造成网络性能下降严重的问题。同时在虚拟化和容器网络环境下，因为虚拟网络和物流网卡的差异，有很多不可预知的问题。

3、关闭网段分段技术

3.1 临时关闭

# ethtool -K eth0 tso off

查看效果

#ethtool -k eth0

3.2 永久关闭

修改/etc/sysctl.conf

或者：

sysctl net.inet.tcp.tso