下一代 TGW 从13Mpps到50Mpps性能优化之旅

本文作者：janmeshe，腾讯 TEG 后台开发工程师

0 导语

性能优化是一条既充满挑战又充满魔力的道路，非常幸运如今基于 X86 的性能优化方法及工具已经比较成熟，在 TGW 产品架构即将变革之际，我们结合 X86 常用的性能优化方法与工具，深入分析 DPDK 版本 TGW 转发架构与流程将 TGW 转发性能从 13Mpps 优化到 50Mpps；本文带你穿越下一代 TGW 性能优化之旅，快上车吧。

1 前言

目前腾讯突破“双百”里程碑（服务器超过 100W 台，带宽峰值超过 100T）其所承载的业务规模、流量已迈入全球第一梯队。

为满足日益增长的客户需求，TGW 先后经历了从 10G 到 40G 再到 100G，从内核版本到 DPDK 版本的重磅演进。另外针对当前 TGW 产品架构存在的一些问题，下一代 TGW 大体方案已基本敲定：EIP 无状态化提升到 Region 级统一接入公网流量，对转发性能有更高的要求与挑战。

着眼于即将到来的 TGW 产品架构变革与不断攀升的流量带宽，未雨绸缪 TGW 今年上半年已经支持 100G 网卡，并随后针对 100G 转发性能进行了专门优化，如题本文重点分享 TGW 转发性能优化相关经验：下一代 TGW 从 13Mpps 到 50Mpps 性能优化之旅。

2 名词解释

TGW：Tencent Gateway；腾讯公网流量统一入口，承担了腾讯所有核心业务接入如：微信、王者、吃鸡、腾讯视频等

RTC：run-to-completion 指从开始处理报文起到报文发出去在一个核上终结。

Pipeline：指将报文处理要经过多个核，典型的两段式：分发核 RX+转发核 TX；每 RX 一个接收队列，每 TX 一个发送队列；

PPS：每秒钟转发的报文数 Packets/Per Seconds

M：1M = 1000*1000

100G 线速：64 字节转发性能 148.8Mpps

3 优化目标

图一 压测拓扑

性能压测网络拓扑如图一所示其中 100GLD 采用高性能 100G 服务器。

零丢包转发性能定义：压测数据流从 100G LD eth0 口入匹配转发表加封装后从 eth1 口发出，