弱网环境搭建之 Linux tc 详解
0. 背景
笔者有一个需要搭建弱网环境来复现某个网络问题的需求,因此开始在网络中寻找能够快速搭建弱网环境的方式。
不同应用对于弱网环境的定义是不同的,需要根据具体的应用场景进行划分。但一般意义而言,对于弱网环境的测试主要集中于对带宽、丢包、延时等方面的模拟,来还原当用户网络环境较差时的情况。
弱网环境搭建可以分为客户端和服务端,客户端模拟弱网环境主要是通过控制移动设备的上下行流量来实现,比如腾讯的 QNET;客户端一般也可以是 Windows 客户端,常见的搭建工具有 Network Emulator;而在服务端(这里指Linux服务器),常用的有 Facebook 的 ATC。
1. 工具选择
通过调研,市面上其实已经有许多现成的易于使用的工具,但是由于灵活性及可靠性的要求,使用现有工具不利于排查问题,因此最终还是选择了 tc 及 iptables 辅助的方式来进行搭建。
这里没有选择 ATC 的原因主要还是因为 ATC 非 Linux 自带的工具,可能会存在版本等问题,但如果为了快速搭建弱网环境还是建议选择 ATC。
2. 搭建流程
2.1 Linux tc 简介
因为选择了 tc 作为搭建工具,这里简单的介绍一下 Linux tc :
Linux操作系统中的流量控制器TC(Traffic Control)用于Linux内核的流量控制,主要是通过在输出端口处建立一个队列来实现流量控制。接收包从输入接口进来后,经过流量限制丢弃不符合规定的数据包,由输入多路分配器进行判断选择。
一般只能限制网卡发送的数据包,不能限制网卡接收的数据包,所以可以通过改变发送次序来控制传输速率。Linux流量控制主要是在输出接口排列时进行处理和实现的。
简单来说,tc 就是一个流量控制器,可以实现限速、流量整形等功能,主要原理是通过设置不同类型的队列,来控制数据包发送的速率和优先级,达到流量控制的效果。
在 tc 中,对流量的处理由三种对象控制,qdisc(排队规则),class(类),filter(分类器)
-
qdisc : qdisc 是 queueing discipline 的缩写。qdisc 的含义是,当内核需要通过配置了 qdisc 的网卡发送数据包时,必须根据 qdisc 的规则将数据包放入队列中,然后内核从队列中取出数据包发送。qdisc 可以分为可分类与不可分类两种,不可分类的有pfifo(最简单的先进先出策略)、red(随机丢弃部分数据包)、tbf(内部采用令牌桶, 主要用于限速)等;可分类的包括HTB(主要用于带宽控制)、PRIO(用于优先级管理)。更详细的解释可参考这篇文章
-
class :对于不同的数据流可能需要不同的控制策略,因此部分 qdisc 可以包含一些类别,不同的类别中还可以包含下一层 qdisc 从而形成一棵策略树。
-
filter : filter 本该翻译为过滤器,但由于它与 class(类) 的关系,将它译为了分类器。顾名思义,filter用于为数据包分类,决定它们按照哪种 qdisc 进入队列。需要注意的是,filter 位于 qdisc内部,它们不能作为主体。
综上,qdisc 可以添加类,类(Class)组成一个树,由它们为数据包排队。此外,每个类都有一个叶子 qdisc,默认情况下,这个叶子 qdisc 使用pfifo的方式排队,也可以使用其它类型的 qdisc 代替。一般有有三种方式——tc filter、ToS、skb 为数据包归类,常见的一般是 tc filter。
2.2 弱网搭建思路
弱网搭建主要是使用 tc 的基本功能来还原弱网的情况,以下将讲解几个常用的命令:
首先是带宽限制功能,一般来说可以用 htb 或者 tbf 来实现,但因为 tbf 是无类别的,无法添加子类规则,所以选择了 htb 进行限速。
首先为网卡添加一个 htb 队列,下述命令指定了该队列的类别,使用”major:minor”这样的形式来标识一个队列,其中major和minor都是数字。default xx 是 htb 特有的参数,是为了指定在默认情况下,数据包会被分给哪一个子类。
tc qdisc add dev ${adapter} root handle 10: htb default ${handle_id} r2q 100
然后为该父队列添加一个子类,子类的 major 必须与父类的 major 相同,并且指定 rate limit,可以用 Mbit、Kbit 等作为单位。
tc class add dev ${adapter} parent 10: classid 10:1 htb rate 1000mbit ceil 1000mbit
在进行限速之后,可以通过如下命令设置数据包的发送延迟,delay_time 是发送延迟,而后面紧跟的 10ms 代表实际发送中会有 10ms 的波动,从而模拟更真实的情况。
tc qdisc add dev ${adapter} parent 10:20 handle 101: netem delay ${delay_time}ms 10ms distribution normal
也可以通过如下命令增加丢包频率、包损坏、乱序等规则,模拟出需要的弱网情况。
# 设置丢包频率
tc qdisc add dev ${adapter} parent 101: handle 102: netem loss ${loss}%
# 设置包重复
tc qdisc add dev ${adapter} parent 10:20 handle 103: netem duplicate ${duplicate}%
# 设置包损坏
tc qdisc add dev ${adapter} parent 10:20 handle 104: netem corrupt ${corrupt}%
# 设置数据包乱序
tc qdisc add dev ${adapter} parent 10:20 handle 105: netem reorder ${reorder}% 50%
使用 iptables 模拟一些极端网络情况,
2.3 完整代码展示
完整的代码如下所示,tc 的命令并不是特别复杂,需要注意的父类子类之间的关系,以及如何设置 qdisc 和 class
#!/bin/bash
# 网卡
adapter="eth0"
handle_id=20
# 初始化参数
rate_limit=500
delay_time=30
loss=1
duplicate=0
corrupt=0
reorder=0
default_ip="0.0.0.0"
is_ip_filter=0
default_port=443
is_port_filter=0
# 删除之前规则 (root)
tc qdisc del dev ${adapter} root
### 设置tc规则 (2. 指定端口 4. iptables规则)
tc qdisc add dev ${adapter} root handle 10: htb default ${handle_id} r2q 100
# 设置限速(非严格限速)
tc class add dev ${adapter} parent 10: classid 10:1 htb rate 1000mbit ceil 1000mbit
tc class add dev ${adapter} parent 10:1 classid 10:10 htb rate 1000mbit ceil 1000mbit
tc class add dev ${adapter} parent 10:1 classid 10:20 htb rate ${rate_limit}Kbit ceil ${rate_limit}Kbit
# 设置过滤器(ip & 端口过滤)
if [ ${handle_id} -eq 10 ];then
if [ ${is_ip_filter} -eq 1 ];then
tc filter add dev ${adapter} protocol ip parent 10:0 prio 1 u32 match ip dst ${default_ip} flowid 10:20
fi
if [ ${is_port_filter} -eq 1 ];then
tc filter add dev ${adapter} protocol ip parent 10:0 prio 1 u32 match ip sport ${default_port} 0xffff flowid 10:20
fi
fi
# 设置延迟
tc qdisc add dev ${adapter} parent 10:20 handle 101: netem delay ${delay_time}ms 10ms distribution normal
# 设置丢包频率
tc qdisc add dev ${adapter} parent 101: handle 102: netem loss ${loss}%
# 设置包重复
tc qdisc add dev ${adapter} parent 10:20 handle 103: netem duplicate ${duplicate}%
# 设置包损坏
tc qdisc add dev ${adapter} parent 10:20 handle 104: netem corrupt ${corrupt}%
# 设置数据包乱序
tc qdisc add dev ${adapter} parent 10:20 handle 105: netem reorder ${reorder}% 50%
#iptables -A OUTPUT -p tcp --sport 8080 -j DROP