在Linux中实现流量控制

 Linux从kernel 2.1.105开始支持QOS，不过，需要重新编译内核。运行 make config时将 EXPERIMENTAL　_OPTIONS 设置成 y，并且将 Class Based Queueing (CBQ), Token Bucket Flow, Traffic Shapers 设置为 y ，运行 make dep; make clean; make bzilo，生成新的内核。 

　　在Linux操作系统中流量控制器(TC)主要是在输出端口处建立一个队列进行流量控制，控制的方式是基于路由，亦即基于目的IP地址或目的子网的网络号的流量控制。流量控制器TC，其基本的功能模块为队列、分类和过滤器。Linux内核中支持的队列有，Class Based Queue ，Token Bucket Flow ，CSZ ，First In First Out ，Priority ，TEQL ，SFQ ，ATM ，RED。这里我们讨论的队列与分类都是基于CBQ(Class Based Queue)的，而过滤器是基于路由(Route)的。 
　　配置和使用流量控制器TC，主要分以下几个方面：分别为建立队列、建立分类、建立过滤器和建立路由，另外还需要对现有的队列、分类、过滤器和路由进行监视。

　　其基本使用步骤为： 
　　1) 针对网络物理设备(如以太网卡eth0)绑定一个CBQ队列； 
　　2) 在该队列上建立分类； 
　　3) 为每一分类建立一个基于路由的过滤器； 
　　4) 最后与过滤器相配合，建立特定的路由表。

先假设一个简单的环境

　　流量控制器上的以太网卡(eth0) 的IP地址为192.168.1.66，在其上建立一个CBQ队列。假设包的平均大小为1000字节，包间隔发送单元的大小为8字节，可接收冲突的发送最长包数目为20字节。 
　　假如有三种类型的流量需要控制: 
　　1) 是发往主机1的，其IP地址为192.168.1.24。其流量带宽控制在8Mbit，优先级为2； 
　　2) 是发往主机2的，其IP地址为192.168.1.26。其流量带宽控制在1Mbit，优先级为1； 
　　3) 是发往子网1的，其子网号为192.168.1.0，子网掩码为255.255.255.0。流量带宽控制在1Mbit，优先级为6。

1. 建立队列 
　　一般情况下，针对一个网卡只需建立一个队列。

　　将一个cbq队列绑定到网络物理设备eth0上，其编号为1:0；网络物理设备eth0的实际带宽为10 Mbit，包的平均大小为1000字节；包间隔发送单元的大小为8字节，最小传输包大小为64字节。 
　　·tc qdisc add dev eth0 root handle 1: cbq bandwidth 10Mbit avpkt 1000 cell 8 mpu 64

2. 建立分类 
　　分类建立在队列之上。一般情况下，针对一个队列需建立一个根分类，然后再在其上建立子分类。对于分类，按其分类的编号顺序起作用，编号小的优先；一旦符合某个分类匹配规则，通过该分类发送数据包，则其后的分类不再起作用。

1） 创建根分类1:1；分配带宽为10Mbit，优先级别为8。 
·tc class add dev eth0 parent 1:0 classid 1:1 cbq bandwidth 10Mbit rate 10Mbit maxburst 20 allot 1514 prio 8 avpkt 1000 cell 8 weight 1Mbit

　　该队列的最大可用带宽为10Mbit，实际分配的带宽为10Mbit，可接收冲突的发送最长包数目为20字节；最大传输单元加MAC头的大小为1514字节，优先级别为8，包的平均大小为1000字节，包间隔发送单元的大小为8字节，相应于实际带宽的加权速率为1Mbit。

2）创建分类1:2，其父分类为1:1，分配带宽为8Mbit，优先级别为2。 
·tc class add dev eth0 parent 1:1 classid 1:2 cbq bandwidth 10Mbit rate 8Mbit maxburst 20 allot 1514 prio 2 avpkt 1000 cell 8 weight 800Kbit split 1:0 bounded

　　该队列的最大可用带宽为10Mbit，实际分配的带宽为 8Mbit，可接收冲突的发送最长包数目为20字节；最大传输单元加MAC头的大小为1514字节，优先级别为1，包的平均大小为1000字节，包间隔发送单元的大小为8字节，相应于实际带宽的加权速率为800Kbit，分类的分离点为1:0，且不可借用未使用带宽。

3）创建分类1:3，其父分类为1:1，分配带宽为1Mbit，优先级别为1。 
·tc class add dev eth0 parent 1:1 classid 1:3 cbq bandwidth 10Mbit rate 1Mbit maxburst 20 allot 1514 prio 1 avpkt 1000 cell 8 weight 100Kbit split 1:0

　　该队列的最大可用带宽为10Mbit，实际分配的带宽为 1Mbit，可接收冲突的发送最长包数目为20字节；最大传输单元加MAC头的大小为1514字节，优先级别为2，包的平均大小为1000字节，包间隔发送单元的大小为8字节，相应于实际带宽的加权速率为100Kbit，分类的分离点为1:0。

4）创建分类1:4，其父分类为1:1，分配带宽为1Mbit，优先级别为6。 
·tc class add dev eth0 parent 1:1 classid 1:4 cbq bandwidth 10Mbit rate 1Mbit maxburst 20 allot 1514 prio 6 avpkt 1000 cell 8 weight 100Kbit split 1:0

　　该队列的最大可用带宽为10Mbit，实际分配的带宽为 64Kbit，可接收冲突的发送最长包数目为20字节；最大传输单元加MAC头的大小为1514字节，优先级别为1，包的平均大小为1000字节，包间隔发送单元的大小为8字节，相应于实际带宽的加权速率为100Kbit，分类的分离点为1:0。

3. 建立过滤器 
过滤器主要服务于分类。一般只需针对根分类提供一个过滤器，然后为每个子分类提供路由映射。

1） 应用路由分类器到cbq队列的根，父分类编号为1:0；过滤协议为ip，优先级别为100，过滤器为基于路由表。 
·tc filter add dev eth0 parent 1:0 protocol ip prio 100 route

2） 建立路由映射分类1:2, 1:3, 1:4 
·tc filter add dev eth0 parent 1:0 protocol ip prio 100 route to 2 flowid 1:2 
·tc filter add dev eth0 parent 1:0 protocol ip prio 100 route to 3 flowid 1:3 
·tc filter add dev eth0 parent 1:0 protocol ip prio 100 route to 4 flowid 1:4

4.建立路由 
该路由是与前面所建立的路由映射一一对应。 
1） 发往主机192.168.1.24的数据包通过分类2转发(分类2的速率8Mbit) 
·ip route add 192.168.1.24 dev eth0 via 192.168.1.66 realm 2

2） 发往主机192.168.1.30的数据包通过分类3转发(分类3的速率1Mbit) 
·ip route add 192.168.1.30 dev eth0 via 192.168.1.66 realm 3

3）发往子网192.168.1.0/24的数据包通过分类4转发(分类4的速率1Mbit) 
·ip route add 192.168.1.0/24 dev eth0 via 192.168.1.66 realm 4

　　注：一般对于流量控制器所直接连接的网段建议使用IP主机地址流量控制限制，不要使用子网流量控制限制。如一定需要对直连子网使用子网流量控制限制，则在建立该子网的路由映射前，需将原先由系统建立的路由删除，才可完成相应步骤。

5. 监视 
　　主要包括对现有队列、分类、过滤器和路由的状况进行监视。 
1）显示队列的状况

简单显示指定设备(这里为eth0)的队列状况 
·tc qdisc ls dev eth0 
qdisc cbq 1: rate 10Mbit (bounded,isolated) prio no-transmit

详细显示指定设备(这里为eth0)的队列状况 
·tc -s qdisc ls dev eth0 
qdisc cbq 1: rate 10Mbit (bounded,isolated) prio no-transmit 
Sent 7646731 bytes 13232 pkts (dropped 0, overlimits 0) 
borrowed 0 overactions 0 avgidle 31 undertime 0

　　这里主要显示了通过该队列发送了13232个数据包，数据流量为7646731个字节，丢弃的包数目为0，超过速率限制的包数目为0。

2）显示分类的状况

简单显示指定设备(这里为eth0)的分类状况 
·tc class ls dev eth0 
class cbq 1: root rate 10Mbit (bounded,isolated) prio no-transmit 
class cbq 1:1 parent 1: rate 10Mbit prio no-transmit #no-transmit表示优先级为8 
class cbq 1:2 parent 1:1 rate 8Mbit prio 2 
class cbq 1:3 parent 1:1 rate 1Mbit prio 1 
class cbq 1:4 parent 1:1 rate 1Mbit prio 6

详细显示指定设备(这里为eth0)的分类状况 
·tc -s class ls dev eth0 
class cbq 1: root rate 10Mbit (bounded,isolated) prio no-transmit 
Sent 17725304 bytes 32088 pkts (dropped 0, overlimits 0) 
borrowed 0 overactions 0 avgidle 31 undertime 0 
class cbq 1:1 parent 1: rate 10Mbit prio no-transmit 
Sent 16627774 bytes 28884 pkts (dropped 0, overlimits 0) 
borrowed 16163 overactions 0 avgidle 587 undertime 0 
class cbq 1:2 parent 1:1 rate 8Mbit prio 2 
Sent 628829 bytes 3130 pkts (dropped 0, overlimits 0) 
borrowed 0 overactions 0 avgidle 4137 undertime 0 
class cbq 1:3 parent 1:1 rate 1Mbit prio 1 
Sent 0 bytes 0 pkts (dropped 0, overlimits 0) 
borrowed 0 overactions 0 avgidle 159654 undertime 0 
class cbq 1:4 parent 1:1 rate 1Mbit prio 6 
Sent 5552879 bytes 8076 pkts (dropped 0, overlimits 0) 
borrowed 3797 overactions 0 avgidle 159557 undertime 0

　　这里主要显示了通过不同分类发送的数据包，数据流量，丢弃的包数目，超过速率限制的包数目等等。其中根分类(class cbq 1:0)的状况应与队列的状况类似。 
　　例如，分类class cbq 1:4发送了8076个数据包，数据流量为5552879个字节，丢弃的包数目为0，超过速率限制的包数目为0。

显示过滤器的状况 
·tc -s filter ls dev eth0 
filter parent 1: protocol ip pref 100 route 
filter parent 1: protocol ip pref 100 route fh 0xffff0002 flowid 1:2 to 2 
filter parent 1: protocol ip pref 100 route fh 0xffff0003 flowid 1:3 to 3 
filter parent 1: protocol ip pref 100 route fh 0xffff0004 flowid 1:4 to 4

这里flowid 1:2代表分类class cbq 1:2，to 2代表通过路由2发送。

显示现有路由的状况 
·ip route 
192.168.1.66 dev eth0 scope link 
192.168.1.24 via 192.168.1.66 dev eth0 realm 2 
202.102.24.216 dev ppp0 proto kernel scope link src 202.102.76.5 
192.168.1.30 via 192.168.1.66 dev eth0 realm 3 
192.168.1.0/24 via 192.168.1.66 dev eth0 realm 4 
192.168.1.0/24 dev eth0 proto kernel scope link src 192.168.1.66 
172.16.1.0/24 via 192.168.1.66 dev eth0 scope link 
127.0.0.0/8 dev lo scope link 
default via 202.102.24.216 dev ppp0 
default via 192.168.1.254 dev eth0

　　如上所示，结尾包含有realm的显示行是起作用的路由过滤器。

6. 维护 
　　主要包括对队列、分类、过滤器和路由的增添、修改和删除。 
　　增添动作一般依照"队列->分类->过滤器->路由"的顺序进行；修改动作则没有什么要求；删除则依照"路由->过滤器->分类->队列"的顺序进行。

1）队列的维护 
一般对于一台流量控制器来说，出厂时针对每个以太网卡均已配置好一个队列了，通常情况下对队列无需进行增添、修改和删除动作了。

2）分类的维护

增添 
增添动作通过tc class add命令实现，如前面所示。

修改 
修改动作通过tc class change命令实现，如下所示： 
·tc class change dev eth0 parent 1:1 classid 1:2 cbq bandwidth 10Mbit rate 7Mbit maxburst 20 allot 1514 prio 2 avpkt 1000 cell 8 weight 700Kbit split 1:0 bounded 
对于bounded命令应慎用，一旦添加后就进行修改，只可通过删除后再添加来实现。

删除 
删除动作只在该分类没有工作前才可进行，一旦通过该分类发送过数据，则无法删除它了。因此，需要通过shell文件方式来修改，通过重新启动来完成删除动作。

3）过滤器的维护

增添 
增添动作通过tc filter add命令实现，如前面所示。

修改 
修改动作通过tc filter change命令实现，如下所示： 
·tc filter change dev eth0 parent 1:0 protocol ip prio 100 route to 10 flowid 1:8

删除 
删除动作通过tc filter del命令实现，如下所示： 
·tc filter del dev eth0 parent 1:0 protocol ip prio 100 route to 10

4）与过滤器一一映射路由的维护

增添 
增添动作通过ip route add命令实现，如前面所示。

修改 
修改动作通过ip route change命令实现，如下所示： 
·ip route change 192.168.1.30 dev eth0 via 192.168.1.66 realm 8

删除 
删除动作通过ip route del命令实现，如下所示： 
·ip route del 192.168.1.30 dev eth0 via 192.168.1.66 realm 8 
·ip route del 192.168.1.0/24 dev eth0 via 192.168.1.66 realm 4 
作者：陈文卫