TSO与GSO简单区分

最新推荐文章于 2024-08-17 14:19:28 发布
原创 最新推荐文章于 2024-08-17 14:19:28 发布 · 3.6k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

概念

TSO(TCP Segmentation Offload): 是一种利用网卡来对大数据包进行自动分段，降低CPU负载的技术。 其主要是延迟分段。通过硬件（网卡）实现。

GSO(Generic Segmentation Offload): GSO是协议栈是否推迟分段，在发送到网卡之前判断网卡是否支持TSO，如果网卡支持TSO则让网卡分段，否则协议栈分完段再交给驱动。 如果TSO开启，GSO会自动开启。 GSO通过软件来实现。

以下是TSO和GSO的组合关系：

  1、GSO开启， TSO开启: 协议栈推迟分段，并直接传递大数据包到网卡，让网卡自动分段
  2、GSO开启， TSO关闭: 协议栈推迟分段，在最后发送到网卡前才执行分段
  3、GSO关闭， TSO开启: 同GSO开启， TSO开启
  4、GSO关闭， TSO关闭: 不推迟分段，在tcp_sendmsg中直接发送MSS大小的数据包

目前，在linux-4.18之后UDP也开始GSO的支持，可参考此处 patch。

UFO(DDP Fragmentation Offload)是一种类似于IP分片的技术，拆包之后只有第一个分片有UDP头部。

参考

https://www.kernel.org/doc/Documentation/networking/segmentation-offloads.txt
http://blog.jobbole.com/111668/
https://www.mnstory.net/2017/07/10/network-tso-ufo-gso-lro-gro/

linux内核协议栈 TCP层数据发送之TSO/GSO
10-11 8402
TSO相关的内容充斥着TCP的整个发送过程，弄明白其机制对理解TCP的发送过程至关重要，这篇笔记就来看看TSO相关内容。 1. 基本概念 我们知道，网络设备一次能够传输的最大数据量就是MTU，即IP传递给网络设备的每一个数据包不能超过MTU个字节，IP层的分段和重组功能就是为了适配网络设备的MTU而存在的。从理论上来讲，TCP可以不关心MTU的限定，只需要按照自己的意愿随意的将数据包丢给IP，是否需要分段可以由IP透明的处理，但是由于分片会带来效率和性能上的损失，所以TCP在实现时总是会基于MTU设定自
SmartNIC — TSO、GSO、LRO、GRO 技术
烟云的计算
07-17 8365
目录 文章目录目录网络功能卸载TSO（TCP Segmentation Offload）GSO（Generic Segmentation Offload）LRO（Large Receive Offload）GRO （Generic Receive Offload） 网络功能卸载 为适应高速网络，现代网卡中普遍卸载了部分 L3-L4 层的处理逻辑（e.g. 校验和计算、传输层分片重组等），来减轻 Host CPU 的处理负担。甚至有些网卡（e.g. RDMA 网卡）还将整个 L4 层的处理都卸载到硬件上，以完
UDP 与 GRO, GSO
weixin_43855786的博客
01-16 1312
udp 数据包具有相同大小时, 才会被拼接成一个大的 udp 数据包, 同时内核还会告诉上层应用原始 udp 数据包的长度信息. 这样上层应用在需要的时候也可以根据这个信息来确定 udp packet 边界. 如。不知道是不是因为 GSO, GRO 是 Linux 新增特性的原因, 在 google 上找了半天都没有找到一篇详细的介绍如何使用 GSO/GRO 的文章, 最后从 Linux 内核中与 GSO/GRO 相关的。中存放的可能是多个 UDP 数据包拼接之后的内容, 此时。
TSO、GSO介绍与实现
热门推荐
megan_free的博客
12-13 1万+
转载自：http://www.bsdmap.com/2012/02/22/转tso、ufo、gso、lro、gro和rss介绍/ 转载自：http://blog.chinaunix.net/uid-28541347-id-5763844.html 通过ethtoo命令来查看和设置 ethtool -k < 网络接口>，ethtool --show-offload < 网络接...
TSO/GSO/LRO/GRO
一叶知秋的博客
03-16 2047
TSO/GSO/LRO/GRO （1）TSO (TCP Segmentation Offload) 　　TSO (TCP Segmentation Offload) 是一种利用网卡分割大数据包，减小 CPU 负荷的一种技术，也被叫做 LSO (Large segment offload)，如果数据包的类型只能是 TCP，则被称之为 TSO，如果硬件支持 TSO 功能的话，也需要同时支持硬件的...
linux之网络子系统-GSO/TSO 源码分析
z20230508的博客
08-17 1603
send系统调用最终调用tcp_sendmsg，在tcp_sendmsg里判断是否支持GSO，支持的话将用户数据信息封装到skb的线性区或非线性区，封装完后的skb数据包就是一个大包了，然后调用tcp_push_one发送给IP层，当然发送之前还会调用check函数，根据csum的类型计算tcp层的csum，支持GSO、TSO情况下，tcp层只会计算伪头部的csum。udp 的分段其实和ip 的分片没什么区别，只是多一个计算checksum 的步骤，下面看完成分片的关键函数 skb_segment。
TCP数据发送之TSO/GSO
九天小哥的专栏
02-26 9509
TSO相关的内容充斥着TCP的整个发送过程，弄明白其机制对理解TCP的发送过程至关重要，这篇笔记就来看看TSO相关内容。 1. 基本概念 我们知道，网络设备一次能够传输的最大数据量是MTU，即IP传递给网络设备的每一个数据包不能超过MTU个字节，所以IP层分段和重组功能，这两个功能就是为了适配网络设备的MUT而存在的。从理论上来讲，TCP可以不关心MTU的限定，只需要按照自己的意愿随意的将数据包丢...
linux tso gso关系,1.3.1 TSO/GSO
weixin_33198642的博客
05-16 632
1.3.1 TSO/GSOTSO是通过网络设备进行TCP段的分割，从而来提高网络性能的一种技术。较大的数据包(超过标准1518B的帧)可以使用该技术，使操作系统减少必须处理的数据数量以提高性能。通常，当请求大量数据时，TCP发送方必须将数据拆分为MSS大小的数据块，然后进一步将其封装为数据包形式，以便最终可以在网络中进行传输。而当启用了TSO技术之后，TCP发送方可以将数据拆分为MSS整数倍大小...
TSO、UFO、GSO、LRO、GRO和RSS介绍
weixin_30527551的博客
03-18 1288
TSO、UFO、GSO、LRO、GRO和RSS介绍 ethtool -k < 网络接口>，ethtool --show-offload < 网络接口>，或者可以看到很多网络接口的offload特性，例如： $ sudo ethtool -k eth0 Offload parameters for eth0: rx-checksumming...
Linux 内核协议栈的 TSO、GSO
榕易的易
08-13 2378
Linux 内核的 TSO 会在真正将skb发送到网卡前做GSO的检查： 对于真实硬件设备，是在sch_direct_xmit中调用validate_xmit_skb_list检查 对于虚拟设备，则是在__dev_queue_xmit中调用validate_xmit_skb检查 static int __dev_queue_xmit(struct sk_buff *skb, void *ac...
TSO/GSO GRO/LRO 从入门到精通
maidi_1983的专栏
04-16 2019
目录 概念介绍 功能与用途 使用场景 在协议栈各个层次如何实现 参考资料 一、概念介绍： TSO/GSO TSO 是（TCP segmentation offload）的缩写，主要把TCP分段这个offload到网卡（支持TSO）上做，减少CPU的负担，以达到提高TCP网络传输性能的目的。 GSO是（） LRO/GRO ...
TCP TSO/GSO初步探索
zhuge1020032431的专栏
06-21 1046
参考：https://blog.csdn.net/quqi99/article/details/51066800 https://www.ibm.com/developerworks/cn/linux/l-cn-network-pt/ 重点介绍和分析 TCP TSO/GSO： 1、数据payload+TCP header（20 bytes）到达IP层后，加上IP层的20字...
TSO/GSO/LRO/GRO测试
dyingfair的专栏
03-21 1378
原文参考:http://blog.chinaunix.net/uid-20639775-id-3529535.html 那么怎么知道是网卡帮协议栈做了这个杂活呢。实验测测，这里使用iperf做简单测试。 TSO/GSO测试 源主机发出大包，在半路截取看看数据波是否分片。从图中可以看到，原主机发出的是大包，但是中间设备抓到的是相对的小包。这里就是源主机的网卡把TCP大包被分成若干尺寸为...
网络offload之TSO、GSO、LRO、GRO
日积月累
01-07 4005
简说网络offload
以太网卡TSO、GSO、LRO、GRO描述及相关配置
Eddy的博客
04-27 6300
以太网卡的 TSO、GSO、LRO、GRO 是一些传输协议中用于提高网络性能的技术。
网络协议栈TSO/UFO/GSO/LRO/GRO/RSS特性
黑客三遍猪
06-19 4291
参考 网卡多队列技术与RSS功能介绍 ETHTOOL设置网卡接收哈希（RSS） TSO、UFO、GSO、LRO、GRO和RSS介绍（ethtool命令） Linux 内核协议栈的 TSO、GSO linux内核网络协议栈学习笔记：关于GRO/GSO/LRO/TSO等patch的分析和测试 GSO: Generic Segmentation Offload 网络数据包分析 网卡Offload li...
tso, gso, gro, lro对抓包功能的影响
lionzl的专栏
03-21 1498
基于libpcap的抓包库只能抓到tso, gso优化之前或gro, lro优化之后的包，也就是组装后的包。由于抓包库很多时候需要准确统计包，因此这个问题需要解决。   来看一个例子：   1351581859.215208 client:59799 server:80 seq:0 ack:0 len:0 win:131070 [S] MSS 1460  TCPOPT_NO
闲说一个关于TSO/IP分片的NAT模块bug
夏末的博客
06-11 795
声明，这个Bug无论是Kernel社区还是别的什么地方，早就已经解决了，但是 这种引入Bug的思路 至今仍在。 这是我在2011年时候的一起排查案例，当时我在Linux 2.6.8内核上工作，嗯，超级老的内核。问题的描述可以看下面的文章： 从Linux 2.6.8内核的一个TSO/NAT bug引出的网络问题排查观点： https://blog.csdn.net/dog250/article/d...
mellanox网卡tso功能如何测试
最新发布
07-04
<think>我们正在讨论如何测试Mellanox网卡的TSO功能。TSO（TCPSegmentation Offload）是一种网络卸载技术，它将TCP分段的任务从操作系统网络协议栈转移到网卡硬件上，从而减少CPU的负担。测试TSO功能通常涉及以下几个步骤：1.**确认网卡支持TSO**：首先需要确认网卡硬件和驱动程序支持TSO功能。2.**启用/禁用TSO**：在操作系统中，我们可以通过工具来启用或禁用TSO，以便进行对比测试。 3. **性能测试**：通过发送网络流量并观察CPU利用率和网络吞吐量来评估TSO的效果。具体步骤：###1.确认TSO支持在Linux系统中，我们可以使用`ethtool`命令来查看网卡对TSO的支持情况以及当前状态。```bashethtool-k<interface> ```例如，如果网卡名为`eth0`，则运行：```bashethtool-keth0| greptcp-segmentation``` 输出可能类似于： ```tcp-segmentation-offload:on``` 如果输出显示为`on`，则表示TSO已启用。另外，我们还可以查看网卡是否支持TSO：``` tcp-segmentation-offload: on[fixed]```这里的`[fixed]`表示该功能是固定的，无法更改（但通常是可以更改的）。 ###2.启用/禁用TSO我们可以使用`ethtool`命令来启用或禁用TSO。注意，需要root权限。 禁用TSO： ```bashethtool -K <interface>tsooff``` 启用TSO： ```bashethtool -K <interface>tsoon``` 例如，禁用eth0的TSO：```bashethtool-Keth0tsooff``` ###3.测试TSO效果为了测试TSO的效果，我们可以进行网络性能测试，比较启用和禁用TSO时的CPU利用率和网络吞吐量。常用的工具有`iperf3`或`netperf`。####使用iperf3测试首先，需要两台机器：一台作为服务器，一台作为客户端。在服务器端启动iperf3服务器： ```bashiperf3 -s``` 在客户端运行iperf3测试，同时监控CPU使用率。例如，运行一个TCP测试： ```bashiperf3 -c <server_ip>``` 在测试期间，我们可以使用`top`或`htop`命令观察CPU使用率。**测试步骤：** 1.在网卡上启用TSO，运行iperf3测试，记录吞吐量和客户端/服务器端的CPU使用率。 2.禁用TSO，再次运行相同的测试，记录结果。 3.对比两次测试的结果。####使用网络流量捕获验证我们还可以通过抓包来验证TSO是否生效。当TSO启用时，从协议栈发给网卡的数据包会大于MTU（例如，一个64KB的TCP数据段），然后由网卡硬件分割成符合MTU的小包。因此，在协议栈层面（即使用`tcpdump`抓包）看到的是大包，而在网卡发送出去的线路上则是小包。但是，由于TSO是在网卡硬件上进行的，我们在主机上用`tcpdump`抓包（在协议栈和网卡驱动之间）看到的是大包。在客户端运行： ```bashtcpdump -i eth0 -wtso_on.pcap```然后运行iperf3测试。停止抓包后，使用Wireshark或`tcpdump -r`查看捕获的包。当TSO启用时，我们可以看到从应用层发出的数据包大小大于MTU（例如，大于1500字节）。而禁用TSO时，应用层发出的数据包已经被协议栈分割成小于等于MTU的大小。###注意事项-测试时确保网络环境稳定，避免其他因素干扰。 -多次测试取平均值，以减少误差。 -Mellanox网卡通常有自己的一套工具（如Mellanox NICDiagnosticsTools），也可以使用这些工具进行更深入的测试。###引用说明以上步骤中使用的工具和命令是Linux网络性能测试的常用方法[^1][^2]。§§相关问题§§1.如何测试Mellanox网卡的UDP卸载（USO）功能？ 2.除了TSO，还有哪些网络卸载技术可以提升服务器性能？3.在虚拟化环境中如何测试网卡的TSO功能？ 4.如何通过内核参数调整来优化TSO性能？</think>### 测试 Mellanox 网卡 TSO 功能的步骤 #### 1. **确认 TSO 支持状态** ```bash # 查看网卡名称（如 eth0 或 enp1s0） ip link show # 检查 TSO 状态（替换 eth0 为实际网卡名） ethtool -k eth0 | grep tcp-segmentation-offload ``` - **输出说明**： - `tcp-segmentation-offload: on` 表示已启用 - `[fixed]` 表示硬件固定支持，不可修改 - 若显示 `off`，需手动启用 #### 2. **控制 TSO 开关** ```bash # 启用 TSO（需 sudo 权限） ethtool -K eth0 tso on # 禁用 TSO（对比测试用） ethtool -K eth0 tso off ``` #### 3. **性能测试方法** **(1) 带宽与 CPU 占用测试** ```bash # 服务器端启动 iperf3 服务 iperf3 -s # 客户端测试（替换 SERVER_IP） iperf3 -c SERVER_IP -t 30 -P 4 ``` - **对比指标**： - TSO **开启时**：高吞吐量 + **低 CPU 占用**（网卡处理分段） - TSO **关闭时**：吞吐量下降 + **高 CPU 占用**（协议栈处理分段） **(2) 抓包验证** ```bash # 捕获协议栈输出的大包（TSO 开启时） tcpdump -i eth0 -w tso_on.pcap 'tcp and port 5201' # 捕获物理网卡发出的小包（需端口镜像） # 物理链路可见 MTU 级别的分片包 ``` - **关键证据**： - TSO 开启时：协议栈输出大于 MTU 的数据包（如 64KB） - TSO 关闭时：协议栈输出 ≤ MTU 的数据包（如 1500B） #### 4. **内核状态监控** ```bash # 查看协议栈分段统计（TSO 关闭时计数增加） nstat -az TcpTSO* | grep -v " 0" ``` - 关键指标：`TcpTSODefer`（延迟分段）、`TcpSegsFailed`（分段失败） #### 5. **Mellanox 专用工具** ```bash # 安装 Mellanox 工具包 apt-get install mstflint # 查看硬件卸载统计 ethtool -S eth0 | grep -E 'tso.*packets' ``` - 输出 `tso_packets` 计数增加表明硬件成功处理分段 ### 测试结果解读 | 状态 | 吞吐量 | CPU 占用 | 抓包特征 | 硬件计数 | |----------|--------|----------|-------------------------|----------| | TSO **开启** | 高 | **低** | 协议栈输出大包 (>MTU) | 增加 | | TSO **关闭** | 较低 | **高** | 协议栈输出小包 (≤MTU) | 无变化 | > **注意**：虚拟化环境中需额外检查： > 1. 虚拟机网卡驱动是否支持 TSO > 2. 宿主机网卡 TSO 状态 > 3. 虚拟机配置 `ethtool -K veth0 tso on`[^1][^2] --- ### 相关问题 1. **如何区分 TSO 和 GSO/GRO 的功能差异？** 2. **在 Kubernetes 集群中如何批量检查节点的 TSO 配置？** 3. **TSO 开启导致网络延迟增加的故障该如何排查？** 4. **Mellanox 网卡驱动不支持 TSO 时有哪些替代优化方案？** [^1]: 普通网卡是用软件方式进行一系列TCP/IP相关操作，因此会在数据复制、协议处理和中断处理三方面增加服务器负担。TSO将TCP分段任务卸载到网卡硬件处理。 [^2]: Linux内核网络栈的分层模型中，TSO作用于网络设备接口层与网卡驱动层之间，在协议栈输出大包后由网卡硬件执行分片操作。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值