压测iptables规则条数的限制

集群环境 机器配置:56 核 128G内存
主机数:497 台

测试程序:通过golang编写一个简单的限流应用,限制qps在2000,突发不超过3000的应用,程序返回512B的数据包

测试工具:ab

单个实例

部署以后先测试单个实例的场景。 通过ab测试

# ab -c 100 -n 10000 10.52.136.35:30088/say                                                                                

Requests per second:    2021.38 [#/sec] (mean)                                                                                                 

测试结果表面单个实例下的并发大约在2000左右。

3个实例测试

# ab -c 100 -n 100000 10.52.136.35:30088/say                                                                               

Requests per second:    6094.68 [#/sec] (mean)                                                                                                 

当三个实例时,qps达到6000左右,iptables转发正常

10个实例测试

# ab -c 100 -n 100000 10.52.136.35:30088/say                                                                                                                                                                                                                                                                                                                                                                                                     

Requests per second:    20969.03 [#/sec] (mean)                                                                                                

此时是2w的qps,iptables转发正常

50 个实例的测试

ab -c 100 -n 100000 10.52.136.35:30088/say                                                                               

Requests per second:    36969.03 [#/sec] (mean)                                                                                                

单机四万的qps的上限,测试多台机器都能保持这个数值,即便在同时执行的情况下

5000个实例测试

ab -c 300 -n 500000 10.52.136.36:30088/say                                                                               

Requests per second:    43663.46 [#/sec] (mean)                                                                                                

单机和多机同时执行效果相同,单机是4w的qps上线,iptables转发正常
测试的iptables中DNAT条数为

$ sudo iptables-save |grep DNAT|wc -l
10014

目前看规则条数一万条,性能并没有很大影响

增加iptables 规则

创建一个应用开通三个端口,增加副本数

$ sudo iptables-save |grep DNAT|wc -l

25014

规则扩容到2.5w条 测试

# ab -c 200 -n 500000 10.52.136.40:30088/say                                                                               

Requests per second:    39805.81 [#/sec] (mean)                                                                                                

性能稍有下降,多次测试变化不大

修改应用,将应用睡眠500毫秒,返回保持512字节

容器内直接访问,测试应用

# ab -c 1000 -n 50000  172.3.48.3:8080/say                                                                                 

Requests per second:    1916.45 [#/sec] (mean)                                                                                                 

还是2000的qps限流

此时需要注意,由于服务需要500毫秒后返回,ab的并行度不能太低,否则会导致达不到压力测试的效果
例如下面:

# ab -c 200 -n 50000  172.3.48.3:8080/say                                                                                  

Requests per second:    396.19 [#/sec] (mean)    

# ab -c 2000 -n 500000 10.52.136.40:30089/say                                                                              

Requests per second:    3972.39 [#/sec] (mean)                                                                                                     

客户端忙不过来,每个线程,每秒只能处理2个请求,所以是并行度的2倍。将副本数调至5000,
此时DNAT条数

sudo iptables-save |grep DNAT|wc -l
25014

测试结果

# ab -c 3000 -n 500000 10.52.136.40:30089/say                                                                              

Requests per second:    5929.59 [#/sec] (mean)                                                                                                 


# ab -c 5000 -n 500000 10.52.136.40:30089/say                                                                              

Requests per second:    9780.42 [#/sec] (mean)                                                                                                 

ab -c 10000 -n 500000 10.52.136.40:30089/say                                                                             

Requests per second:    18781.43 [#/sec] (mean)                                                                                                

基本达到了c(线程数)的两倍的(0.5s导致)的qps,瓶颈是客户端

# ab -c 20000 -n 500000 10.52.136.40:30089/say                                                                             

Requests per second:    28246.95 [#/sec] (mean)                                                                                                

此时单机的qps大约3w,iptables转发正常。

增加规则条数

$ sudo iptables-save |grep DNAT|wc -l
40011

测试

# ab -c 20000 -n 500000 10.52.136.36:30089/say                                                                             

Requests per second:    30260.00 [#/sec] (mean)                                                                                                

对性能没有特别的影响

此时再创建的多个svc。7w条规则

sudo iptables-save |grep DNAT|wc -l
70032

测试

# ab -c 20000 -n 500000 10.52.136.38:30089/say                                                                             

Requests per second:    26942.21 [#/sec] (mean)                                                                                                

继续增加到10w条

 sudo iptables-save |grep DNAT|wc -l
100035

测试

ab -c 20000 -n 500000 10.52.136.38:30089/say                                                                             

Requests per second:    26903.19 [#/sec] (mean)                                                                                                

性能只有很少的变化(3w –> 2.7w)。在我们当前的生产环境的场景中。
假设一个没有应用有2000个副本,运行50个应用是没有任何问题的。

增加的15w条。

# ab -c 20000 -n 500000 10.52.136.38:30089/say
Requests per second:    26708.98 [#/sec] (mean) 

增加的18w条

# ab -c 20000 -n 500000 10.52.136.35:30089/say
Requests per second:    25686.32 [#/sec] (mean) 

增加到20w条

# ab -c 20000 -n 500000 10.52.136.35:30089/say
Requests per second:    26654.24 [#/sec] (mean)

没有明显变化。所以当我们当前的生产环境中使用它是是足够的。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

柳清风09

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值