Linux服务器使用WonderShaper进行网络速度限制

wondershaper控制你的带宽资源的方式是在每一个接口上限制带宽。这在你与其他人分享你的网络连接的上行带宽时尤为实用。
服务器限速是很必要的手段，某些服务商要求我们的服务器使用速度不可长时间超过某个速度，我们就可以限制服务器速度来避免违规。
另外服务器速度跑得过高时我们远程连接等也会比较卡，这时候就需要我们对某些业务端口限速然后其他端口速度不限制来达到目的。
一般如果服务器有100M带宽我们限制到90M或者95M甚至97M都可以，保留一小部分带宽来进行服务器管理即可。

安装

Gitlab开源地址
wondershaper 实际上是一个 shell 脚本，它使用 tc 来定义流量调整命令，使用 QoS 来处理特定的网络接口。外发流量通过放在不同优先级的队列中，达到限制传出流量速率的目的；而传入流量通过丢包的方式来达到速率限制的目的。

事实上， wondershaper 的既定目标不仅仅是对一个接口增加其带宽上限；当批量下载或上传正在进行时，wondershaper 还试图去保持互动性会话如 SSH 的低延迟。同样的，它还会控制批量上传(例如Dropbox 的同步)不会使得下载“窒息”，反之亦然。

在 Ubuntu Debian 及其衍生发行版中安装

sudo apt-get install wondershaper

在 Fdora 或 CentOS/RHEL (带有 EPEL 软件仓库) 中安装

yum install epel-release -y
sudo yum -y install wondershaper 

离线

不愿意下载软件或者没有下载条件的可以使用下面这种步骤，代码是wondershaper软件内的

touch wondershaper && chmod +x wondershaper
vi wondershaper
mv wondershaper /usr/sbin

#!/bin/bash 
# Wonder Shaper
function show_help {
  echo "Wonder Shaper 1.2.1"
  echo
  echo "Usage: $0 [device] clean|[upload speed in Kb/s] [download speed in Kb/s]"
  echo "Example: $0 eth0 20 500"
  echo
  echo "https://bugzilla.redhat.com/enter_bug.cgi?product=Fedora&component=wondershaper"
  exit
}

if [ $# -eq 0 ]; then
        show_help;
fi

if [ $# -eq 1 ]; then
  tc -s qdisc ls dev $1
  tc -s class ls dev $1
  exit
fi

if [ $# -eq 2 ]; then
  tc qdisc del dev $2 root    2> /dev/null > /dev/null
  tc qdisc del dev $2 ingress 2> /dev/null > /dev/null
  echo Wondershaper queues have been cleared.
  exit
fi

if [ $# -ne 3 ]; then
        show_help;
fi

# Set the following values to somewhat less than your actual download
# and uplink speed. In kilobits. Also set the device that is to be shaped.
DOWNLINK=$3
UPLINK=$2
DEV=$1

# low priority OUTGOING traffic - you can leave this blank if you want
# low priority source netmasks
NOPRIOHOSTSRC=

# low priority destination netmasks
NOPRIOHOSTDST=

# low priority source ports
NOPRIOPORTSRC=

# low priority destination ports
NOPRIOPORTDST=

#########################################################

# clean existing down- and uplink qdiscs, hide errors
tc qdisc del dev $DEV root    2> /dev/null > /dev/null
tc qdisc del dev $DEV ingress 2> /dev/null > /dev/null

if [ "$1" = "stop" ] 
then 
        exit
fi

###### uplink

# install root CBQ

tc qdisc add dev $DEV root handle 1: cbq avpkt 1000 bandwidth 10mbit 

# shape everything at $UPLINK speed - this prevents huge queues in your
# DSL modem which destroy latency:
# main class

tc class add dev $DEV parent 1: classid 1:1 cbq rate ${UPLINK}kbit \
allot 1500 prio 5 bounded isolated 

# high prio class 1:10:

tc class add dev $DEV parent 1:1 classid 1:10 cbq rate ${UPLINK}kbit \
   allot 1600 prio 1 avpkt 1000

# bulk and default class 1:20 - gets slightly less traffic, 
#  and a lower priority:

tc class add dev $DEV parent 1:1 classid 1:20 cbq rate $[9*$UPLINK/10]kbit \
   allot 1600 prio 2 avpkt 1000

# 'traffic we hate'

tc class add dev $DEV parent 1:1 classid 1:30 cbq rate $[8*$UPLINK/10]kbit \
   allot 1600 prio 2 avpkt 1000

# all get Stochastic Fairness:
tc qdisc add dev $DEV parent 1:10 handle 10: sfq perturb 10
tc qdisc add dev $DEV parent 1:20 handle 20: sfq perturb 10
tc qdisc add dev $DEV parent 1:30 handle 30: sfq perturb 10

# start filters
# TOS Minimum Delay (ssh, NOT scp) in 1:10:
tc filter add dev $DEV parent 1:0 protocol ip prio 10 u32 \
      match ip tos 0x10 0xff  flowid 1:10

# ICMP (ip protocol 1) in the interactive class 1:10 so we 
# can do measurements & impress our friends:
tc filter add dev $DEV parent 1:0 protocol ip prio 11 u32 \
        match ip protocol 1 0xff flowid 1:10

tc filter add dev $DEV parent 1:0 protocol ip prio 10 u32 \
   match ip protocol 17 0xff \
   match ip sport 4666 0xffff \
   flowid 1:30 

# prioritize small packets (<64 bytes)

tc filter add dev $DEV parent 1: protocol ip prio 12 u32 \
   match ip protocol 6 0xff \
   match u8 0x05 0x0f at 0 \
   match u16 0x0000 0xffc0 at 2 \
   flowid 1:10


# some traffic however suffers a worse fate
for a in $NOPRIOPORTDST
do
        tc filter add dev $DEV parent 1: protocol ip prio 14 u32 \
           match ip dport $a 0xffff flowid 1:30
done

for a in $NOPRIOPORTSRC
do
        tc filter add dev $DEV parent 1: protocol ip prio 15 u32 \
           match ip sport $a 0xffff flowid 1:30
done

for a in $NOPRIOHOSTSRC
do
        tc filter add dev $DEV parent 1: protocol ip prio 16 u32 \
           match ip src $a flowid 1:30
done

for a in $NOPRIOHOSTDST
do
        tc filter add dev $DEV parent 1: protocol ip prio 17 u32 \
           match ip dst $a flowid 1:30
done

# rest is 'non-interactive' ie 'bulk' and ends up in 1:20

tc filter add dev $DEV parent 1: protocol ip prio 18 u32 \
   match ip dst 0.0.0.0/0 flowid 1:20


########## downlink #############
# slow downloads down to somewhat less than the real speed  to prevent 
# queuing at our ISP. Tune to see how high you can set it.
# ISPs tend to have *huge* queues to make sure big downloads are fast
#
# attach ingress policer:

tc qdisc add dev $DEV handle ffff: ingress

# filter *everything* to it (0.0.0.0/0), drop everything that's
# coming in too fast:

tc filter add dev $DEV parent ffff: protocol ip prio 50 u32 match ip src \
   0.0.0.0/0 police rate ${DOWNLINK}kbit burst 10k drop flowid :1

源码编译

wget https://github.com/magnific0/wondershaper/archive/master.zip -c -O wondershaper-tmp.zip && unzip -o wondershaper-tmp.zip && rm wondershaper-tmp.zip && cd wondershaper-master && sudo make install ; cd .. && rm -rf wondershaper-master

如果要限制指定网络接口的下载速度和上传速度，指令如下：

# 「-d」和「-u」选项不一定要同时使用，如果只想要限制下载速度，那就单独使用「-d」选项即可。
sudo wondershaper -a 网络接口名称 -d 最大下载速度(kbps) -u 最大上传速度(kbps)

如果要取消指定网络接口的速度限制，指令如下：

sudo wondershaper -a 网络接口名称 -c

如果想要保留网络接口的速度限制，使其在重开机后依然有效果的话，可以用以下指令来激活Wonder Shaper的自动套用服务：

sudo systemctl enable wondershaper.service

配置文件

[root@master ~]# cat /etc/systemd/wondershaper.conf 
[wondershaper]
# Adapter
IFACE="eth0"				# 相当于命令中的-a对应值设置
# Download rate in Kbps
DSPEED="2048"				# 相当于命令中的-d对应值设置
# Upload rate in Kbps
USPEED="512"				# 相当于命令中的-u对应值设置
### Separate items by whitespace:
#HIPRIODST=(IP1 IP2)
HIPRIODST=()
COMMONOPTIONS=()
# low priority OUTGOING traffic - you can leave this blank if you want
# low priority source netmasks
NOPRIOHOSTSRC=(80);
# low priority destination netmasks
NOPRIOHOSTDST=();
# low priority source ports
NOPRIOPORTSRC=();
# low priority destination ports
NOPRIOPORTDST=();
### EOF

wondershaper 的基本使用

格式

sudo wondershaper <interface> <download-rate> <upload-rate>

参数详解

一般为3个参数，第一个参数为网卡名，第二个上行速度（出）限制，第三个参数为下行速度（入）限制。

帮助信息

[root@master ~]# wondershaper -h			只适用于源码
USAGE: /usr/local/sbin/wondershaper [-hcs] [-a <adapter>] [-d <rate>] [-u <rate>]
限制适配器的带宽
OPTIONS:
   -h           Show this message
   -a <adapter> 指定网卡接口,通过ifconifg或者ip show addr查看：比如eth0
   -d <rate>    设置最大下载速率(Kbps)和/或
   -u <rate>    设置最大上传速率(Kbps)
   -p           使用“/etc/systemd/wondershaper.conf”中的预设
   -f <file>    Use alternative preset file
   -c           清除适配器的限制
   -s           显示适配器的当前状态
   -v           显示当前版本
 在“/etc/systemd/wondershaper.conf”中配置HIPRIODST，用于需要高优先级的主机，例如ssh使用dport 443。

模式:
   wondershaper -a <adapter> -d <rate> -u <rate>
   wondershaper -c -a <adapter>
   wondershaper -s -a <adapter>

EXAMPLES:
   wondershaper -a eth0 -d 1024 -u 512	# 限制eth0上行速度512kbps，下行速度1024kbps
   wondershaper -a eth0 -u 512			# 仅限制eth0上行速度512kbps
   wondershaper -c -a eth0				# 清除为eth0设定的wondershaper的相关规则
   wondershaper -p -f foo.conf

举个例子
1、将 eth0 的最大下载/上传带宽分别设定为 1000Kbit/s 和 500Kbit/s

wondershaper ens33 1000 500

2、将上行带宽限制为1M，下行带宽限制为10M

wondershaper eth0 1024 10240

你也可以通过运行下面的命令将速率限制进行消除：

sudo wondershaper clear ens33

假如你对 wondershaper 的运行原理感兴趣，你可以阅读其 shell 脚本源文件(/usr/sbin/wondershaper)。
3、查看ens33当前的状态

[root@master ~]# wondershaper -s -a ens33
qdisc pfifo_fast 0: root refcnt 2 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 4760844 bytes 81691 pkt (dropped 0, overlimits 0 requeues 1) 
 backlog 0b 0p requeues 1 
[root@master ~]# tc -s qdisc ls dev ens33
qdisc pfifo_fast 0: root refcnt 2 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1
 Sent 4762160 bytes 81703 pkt (dropped 0, overlimits 0 requeues 1) 
 backlog 0b 0p requeues 1 

4、删除全部规则

tc qdisc del dev ens33 root
wondershaper -c -a ens33

tc规则

1、流量控制方式

SHAPING(限制)
当流量被限制，它的传输速率就被控制在某个值以下。限制值可以大大小于有效带宽，这样可以平滑突发数据流量，使网络更为稳定。只适用于向外的流量。
SCHEDULING(调度)
通过调度数据包的传输，可以在带宽范围内，按照优先级分配带宽。只适于向外的流量。
POLICING(策略)
SHAPING用于处理向外的流量，而POLICIING(策略)用于处理接收到的数据。
DROPPING(丢弃)
如果流量超过某个设定的带宽，就丢弃数据包，不管是向内还是向外。

2、流量控制处理对象

QDISC(排队规则)
是queueing discipline的简写，它是理解流量控制(traffic control)的基础。无论何时，内核如果需要通过某个网络接口发送数据包，它都需要按照为这个接口配置的qdisc(排队规则)把数据包加入队列。然后，内核会尽可能多地从qdisc里面取出数据包，把它们交给网络适配器驱动模块。最简单的QDisc是pfifo它不对进入的数据包做任何的处理，数据包采用先入先出的方式通过队列。不过，它会保存网络接口一时无法处理的数据包。

QDISC的类别如下：

CLASSLESS QDisc(不可分类QDisc)

• 包括

☑ [p|b]fifo
使用最简单的qdisc，纯粹的先进先出。只有一个参数：limit，用来设置队列的长度,pfifo是以数据包的个数为单位；bfifo是以字节数为单位。
☑ pfifo_fast
在编译内核时，如果打开了高级路由器(Advanced Router)编译选项，pfifo_fast就是系统的标准QDISC。它的队列包括三个波段(band)。在每个波段里面，使用先进先出规则。而三个波段(band)的优先级也不相同，band 0的优先级最高，band 2的最低。如果band里面有数据包，系统就不会处理band 1里面的数据包，band 1和band 2之间也是一样。数据包是按照服务类型(Type of Service,TOS)被分配多三个波段(band)里面的。
☑ red
red是Random Early Detection(随机早期探测)的简写。如果使用这种QDISC，当带宽的占用接近于规定的带宽时，系统会随机地丢弃一些数据包。它非常适合高带宽应用。
☑ sfq
sfq是Stochastic Fairness Queueing的简写。它按照会话(session–对应于每个TCP连接或者UDP流)为流量进行排序，然后循环发送每个会话的数据包。
☑ tbf
tbf是Token Bucket Filter的简写，适合于把流速降低到某个值。

• 配置

如果没有可分类QDisc，不可分类QDisc只能附属于设备的根。它们的用法如下：

tc qdisc add dev DEV root QDISC QDISC-PARAMETERS

要删除一个不可分类QDisc，需要使用如下命令：

  tc qdisc del dev DEV root

一个网络接口上如果没有设置QDisc，pfifo_fast就作为缺省的QDisc。

CLASSFUL QDISC(分类QDisc)

• 包括

☑ CBQ
CBQ是Class Based Queueing(基于类别排队)的缩写。它实现了一个丰富的连接共享类别结构，既有限制(shaping)带宽的能力，也具有带宽优先级管理的能力。带宽限制是通过计算连接的空闲时间完成的。空闲时间的计算标准是数据包离队事件的频率和下层连接(数据链路层)的带宽。
☑ HTB
HTB是Hierarchy Token Bucket的缩写。通过在实践基础上的改进，它实现了一个丰富的连接共享类别体系。使用HTB可以很容易地保证每个类别的带宽，虽然它也允许特定的类可以突破带宽上限，占用别的类的带宽。HTB可以通过TBF(Token Bucket Filter)实现带宽限制，也能够划分类别的优先级。
☑ PRIO
PRIO QDisc不能限制带宽，因为属于不同类别的数据包是顺序离队的。使用PRIO QDisc可以很容易对流量进行优先级管理，只有属于高优先级类别的数据包全部发送完毕，才会发送属于低优先级类别的数据包。为了方便管理，需要使用iptables或者ipchains处理数据包的服务类型(Type Of Service,ToS)。
☑ CLASS(类)
某些QDisc(排队规则)可以包含一些类别，不同的类别中可以包含更深入的QDisc(排队规则)，通过这些细分的QDisc还可以为进入的队列的数据包排队。通过设置各种类别数据包的离队次序，QDisc可以为设置网络数据流量的优先级。
☑ FILTER(过滤器)
Filter(过滤器)用于为数据包分类，决定它们按照何种QDisc进入队列。无论何时数据包进入一个划分子类的类别中，都需要进行分类。分类的方法可以有多种，使用fileter(过滤器)就是其中之一。使用filter(过滤器)分类时，内核会调用附属于这个类(class)的所有过滤器，直到返回一个判决。如果没有判决返回，就作进一步的处理，而处理方式和QDISC有关。需要注意的是，filter(过滤器)是在QDisc内部，它们不能作为主体。

3、操作原理

类(Class)组成一个树，每个类都只有一个父类，而一个类可以有多个子类。某些QDisc(例如：CBQ和HTB)允许在运行时动态添加类，而其它的QDisc(例如：PRIO)不允许动态建立类。允许动态添加类的QDisc可以有零个或者多个子类，由它们为数据包排队。此外，每个类都有一个叶子QDisc，默认情况下，这个叶子QDisc使用pfifo的方式排队，我们也可以使用其它类型的QDisc代替这个默认的QDisc。而且，这个叶子叶子QDisc有可以分类，不过每个子类只能有一个叶子QDisc。 当一个数据包进入一个分类QDisc，它会被归入某个子类。我们可以使用以下三种方式为数据包归类，不过不是所有的QDisc都能够使用这三种方式。
★ tc过滤器(tc filter)
如果过滤器附属于一个类，相关的指令就会对它们进行查询。过滤器能够匹配数据包头所有的域，也可以匹配由ipchains或者iptables做的标记。
★ 服务类型(Type of Service)
某些QDisc有基于服务类型（Type of Service,ToS）的内置的规则为数据包分类。
★ skb->priority
用户空间的应用程序可以使用SO_PRIORITY选项在skb->priority域设置一个类的ID。
树的每个节点都可以有自己的过滤器，但是高层的过滤器也可以直接用于其子类。
如果数据包没有被成功归类，就会被排到这个类的叶子QDisc的队中。相关细节在各个QDisc的手册页中。

4、命名规则

所有的QDisc、类和过滤器都有ID。ID可以手工设置，也可以有内核自动分配。ID由一个主序列号和一个从序列号组成，两个数字用一个冒号分开。
✔ QDISC
一个QDisc会被分配一个主序列号，叫做句柄handle，然后把从序列号作为类的命名空间。句柄采用象10:一样的表达方式。习惯上需要为有子类的QDisc显式地分配一个句柄。
✔ 类(CLASS)
在同一个QDisc里面的类分享这个QDisc的主序列号，但是每个类都有自己的从序列号，叫做类识别符classid。类识别符只与父QDisc有关，和父类无关。类的命名习惯和QDisc的相同。
✔ 过滤器(FILTER)
过滤器的ID有三部分，只有在对过滤器进行散列组织才会用到。详情请参考tc-filters手册页。

5、单位

tc命令的所有参数都可以使用浮点数，可能会涉及到以下计数单位。

# 带宽或者流速单位：
kbps                           千字节／秒
mbps                           兆字节／秒
kbit                           KBits／秒
mbit                           MBits／秒
bps或者一个无单位数字             字节数／秒
# 数据的数量单位：
kb或者k                         千字节
mb或者m                         兆字节
mbit                           兆bit
kbit                           千bit
b或者一个无单位数字               字节数
# 时间的计量单位：
s、sec或者secs                  秒
ms、msec或者msecs               分钟
us、usec、usecs或者一个无单位数字  微秒

扩展知识

kbps 中的 p 是per的缩写，意思就是“每”。
1kbps = 1kb/s

KB/s 中的 B 是 Byte （字节数）
kb/s 中的 b 是 bit （位数）
计算机中 1Byte = 8bit，所以 1KB/s = 8kbps = 8kb/s

一般安装宽带讲的 20M 其实就是 20Mbps = 20Mb/s = (20/8) MB/s
同样，购买服务器的时候，商家说的100M带宽也是 100Mbps。
Kbit KB 输入一种计量单位。
1KB = 8Kbit
上行 就是上传速度。
下行 就是下载速度。

Surprise is hidden in the way of hard work, you go to insist it will welcome you.