我们需要为“上云“的应用提供流量带宽保证,使其不受到其他应用或其他用户的应用的影响。我们需要提供租户级别或者应用级别的有效隔离。本文分享一下我们为了达到这个目标做了哪些实践工作。
容器平台做容器网络限流的意义
单用户单Pod在没有做任何网络带宽限制情况下,网络吞吐量测试结果如下:
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/cf7b680e5ceb2105ea110d0509b0f736.jpeg)
我们需要为“上云”的应用提供流量带宽保证,使其不受到其他应用或其他用户的应用的影响。我们需要提供租户级别或者应用级别的有效隔离。今天将分享一下我们为了达到这个目标做了哪些实践工作。
在Kubernetes众多的网络插件中,我们选择使用Open vSwitch容器网络插件。通常情况下,我们根据VNID实现租户间的网络隔离,并且在此基础上我们还可以根据Networkpolicy网络策略提供更细粒度的网络隔离,可以实现Pod之间、跨Namespace的网络访问控制。
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/92ca6ae9756ca0c89ea7b7a42a36db10.jpeg)
使用Open vSwitch容器网络插件如何进行容器网络限流
Policing管制:Policing用于控制接口上接收分组(ingress)的速率,是一种简单的QoS的功能,通过简单的丢包机制实现接口速率的限制,它既可以作用于物理接口,也可以作用于虚拟接口。
Shaping整形:Shaping是作用于接口上的出口流量(egress)策略,可以实现QoS队列,不同队列里面处理不同策略。
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/156f76402f9a7a22142d5cee76d35fd0.jpeg)
Policing的实现
Policing在OVS中采用ingresspolicingrate和ingresspolicingburst两个字段完成ingress入口限速功能,该两个字段放在Interface表中。
入口限速直接配置在网络接口上,命令示例如下:
# ovs-vsctl set interface eth1 ingress_policing_rate=1000
# ovs-vsctl set interface eth1 ingress_policing_burst=100
eth1:加入OVS桥端口的网络接口名称;
ingresspolicingrate:为接口最大收包速率,单位kbps,超过该速度的报文将被丢弃,默认值为0表示关闭该功能;
ingresspolicingburst:为最大突发流量大小,单位kb。默认值0表示1000kb,这个参数最小值应不小于接口的MTU,通常设置为ingresspolicingrate的10%更有利于tcp实现全速率;
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/6616c2e8ca57802fc11cd4d931c8bd86.png)
Shaping的实现
Shaping用于实现出口流量的控制,使用了队列Queue,可以缓存和调度数据包发送顺序,比Policing更加精确和有效,在OVS的数据表中主要使用QoS和Queue两张表。
QoS创建命令:
ovs-vsctl set port eth1 qos=@newqos--
--id=@newqoscreate qos type=linux-htb queues=0=@q0--
--id=@q0create queue other-config:max-rate=100000000
创建Queue:
--id=@q0 create queue other-config:max-rate=100000000
创建q0队列,设置最大速率100M,通过ovs-vsctl查看配置的Queue表内容如下:
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/7a48c5ceb2ce6fbf400ea2a3c8233b58.png)
创建Qos规则:
--id=@newqos create qos type=linux-htb queues=0=@q0
创建QoS规则newqos,类型为linux-htb,并连接key值为0的队列q0,通过ovs-vsctl查看配置的QoS表内容如下:
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/8dfc077c574db472a4fe7522d32b60f5.png)
创建接口Qos:
set port eth1 qos=@newqos
设置接口eth1的QoS为newqos,通过ovs-vsctl list port查看配置的port表内容如下:
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/ab95d2179d550ef398904d6e04ff9e45.png)
我们采用的技术栈是Golang。我们也可以使用红帽提供的OVS的库github.com/openshift/origin/pkg/util/ovs实现上面Policing和Shaping功能。
代码示意如下:
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/9f6214ffe209475564b10f990d666fab.jpeg)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/ff5b618bd324bf18cfbd2edc77907a73.jpeg)
在Kubernetes上,如果使用Open vSwitch CNI插件,我们可以在创建Pod资源的时候为其配置速率限制。
创建iperf-pod.yaml,并为其配置速率限制:
cat <<EOF >iperf-pod.yaml
apiVersion: v1
kind: Pod
metadata:
name: iperf
annotations:
kubernetes.io/ingress-bandwidth: 3M
kubernetes.io/egress-bandwidth: 3M
spec:
containers:
-