1. 2W并发实践
本文的目标是,成功压测OpenResty接口达到10W并发.高并发其实就是能够扛助某一时刻流量,往往就呢几秒中,真正秒杀下单支付的流量是很小一部分.
1.1 配置最大可打开文件数
# 临时生效
ulimit -n 65535
# 永久生效修改该文件vim /etc/security/limits.conf,新增以下两行
* soft nofile 65535
* hard nofile 65535
(base) [root@shenjian1 conf]# ulimit -n
65535
1.2 AB压测
1.2.1 首页静态页面化
目前首页改为Hello World, 对于秒杀的商品一般为静态页面显示,即尽可能减少与服务器的交互.
对于AB压测工具来说,最高压侧2W并发,20001都不支持.
1.2.2 压测apr_socket_recv: Connection timed out (110)错误解决
上图可见,出现了110错误, 我们调整内核参数
(base) [root@shenjian1 conf]# vim /etc/sysctl.conf
# 例如web应用中listen函数的backlog默认会给我们内核参数的net.core.somaxconn限制到128,而nginx定义的NGX_LISTEN_BACKLOG默认为511,所以有必要调整这个值
net.core.somaxconn = 100000
# 表示用于向外连接的端口范围。缺省情况下很小,改为1024到65535
net.ipv4.ip_local_port_range = 1024 65535
# 立即生效
(base) [root@shenjian1 conf]# sysctl -p
如下图所示, 请求10W次,并发用户2W,可以正常压测完毕,可以看到响应均值与中位值约200ms, 最大值约1S
当请求数达到30W,会出现104错误,下次在尝试分析解决吧~~
(base) [root@shenjian1 conf]# ab -n 300000 -c 20000 127.0.0.1:81/
This is ApacheBench, Version 2.3 <$Revision: 1843412 $>
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Licensed to The Apache Software Foundation, http://www.apache.org/
Benchmarking 127.0.0.1 (be patient)
apr_socket_recv: Connection reset by peer (104)
2. 10W并发实践
下图解决了上文所说的请求过多报错问题
如图所示,系统支持30W请求, 并发2W
2.1 /etc/sysctl.conf配置如下
vm.swappiness = 0
# 表示开启SYNCookies。当出现SYN等待队列溢出时,启用cookies来处理,可防范少量SYN>攻击,默认为0,表示关闭
# 此参数是为了防止洪水攻击的,但对于大并发系统,要禁用此设置
net.ipv4.tcp_syncookies = 1
# 在 CentOS 8 中,net.ipv4.tcp_tw_reuse 和 net.ipv4.tcp_tw_recycle 参数已被移除>。相反,CentOS 8 使用了新的 TCP 栈实现,其中 TIME-WAIT sockets 的快速回收是默认>启用的
# 表示开启重用。允许将TIME-WAITsockets重新用于新的TCP连接,默认为0,表示关闭
#net.ipv4.tcp_tw_reuse = 1
# 表示开启TCP连接中TIME-WAITsockets的快速回收,默认为0,表示关闭
#net.ipv4.tcp_tw_recycle = 1
# 修改系統默认的TIMEOUT 时间
net.ipv4.tcp_fin_timeout = 30
# 表示当keepalive起用的时候,TCP发送keepalive消息的频度。缺省是2小时,改为20分
net.ipv4.tcp_keepalive_time = 1200
# 表示用于向外连接的端口范围。缺省情况下很小,改为1024到65535
net.ipv4.ip_local_port_range = 1024 65535
# 表示SYN队列的长度,默认为1024,加大队列长度为65535,可以容纳更多等待连接的网络连接数
net.ipv4.tcp_max_syn_backlog = 365535
# 表示系统同时保持TIME_WAIT的最大数量,如果超过这个数字,TIME_WAIT将立刻被清除并打印警告信息。默认为180000,改为5000。此项参数可以控制TIME_WAIT的最大数量,只要>超出了
net.ipv4.tcp_max_tw_buckets = 380000
# 每个网络接口接收数据包的速率比内核处理这些包的速率快时,允许送到队列的数据包的
最大数目。
net.core.netdev_max_backlog = 332768
# 例如web应用中listen函数的backlog默认会给我们内核参数的net.core.somaxconn限制到128,而nginx定义的NGX_LISTEN_BACKLOG默认为511,所以有必要调整这个值
net.core.somaxconn = 300000
net.core.wmem_default = 8388608
net.core.rmem_default = 8388608
# 最大socket读buffer,可参考的优化值:873200
net.core.rmem_max = 16777216
# 最大socket写buffer,可参考的优化值:873200
net.core.wmem_max = 16777216
# 时间戳可以避免序列号的卷绕。一个1Gbps的链路肯定会遇到以前用过的序列号。时间戳>能够让内核接受这种“异常”的数据包。这里需要将其关掉
net.ipv4.tcp_timestamps = 0
# 为了打开对端的连接,内核需要发送一个SYN并附带一个回应前面一个SYN的ACK。也就是>所谓三次握手中的第二次握手。这个设置决定了内核放弃连接之前发送SYN+ACK包的数量
net.ipv4.tcp_synack_retries = 2
# 在内核放弃建立连接之前发送SYN包的数量
net.ipv4.tcp_syn_retries = 2
# TCP写buffer,可参考的优化值:8192 436600 873200
net.ipv4.tcp_wmem = 786432 1048576 1572864
# TCP读buffer,可参考的优化值:32768 436600 873200
net.ipv4.tcp_rmem = 786432 1048576 1572864
# 同样有3个值,意思是:
# net.ipv4.tcp_mem[0]:低于此值,TCP没有内存压力。
# net.ipv4.tcp_mem[1]:在此值下,进入内存压力阶段。
# net.ipv4.tcp_mem[2]:高于此值,TCP拒绝分配socket
# 上述内存单位是页,而不是字节。可参考的优化值是:786432 1048576 1572864
# 系统中最多有多少个TCP套接字不被关联到任何一个用户文件句柄上
net.ipv4.tcp_max_orphans = 3276800
# 如果套接字由本端要求关闭,这个参数决定了它保持在FIN-WAIT-2状态的时间。对端可以出错并永远不关闭连接,甚至意外当机。缺省值是60秒。2.2 内核的通常值是180秒,你可>以按这个设置,但要记住的是,即使你的机器是一个轻载的WEB服务器,也有因为大量的死>套接字而内存溢出的风险,FIN-WAIT-2的危险性比FIN-WAIT-1要小,因为它最多只能吃掉1.5K内存,但是它们的生存期长些。
net.ipv4.tcp_fin_timeout = 30
2.2 nginx.conf配置如下
worker_processes 15;
#error_log logs/error.log;
#error_log logs/error.log notice;
#error_log logs/error.log info;
#pid logs/nginx.pid;
events {
worker_connections 30000;
}
http {
include mime.types;
default_type application/octet-stream;
sendfile on;
# 如果连接超时发生在客户端发送请求到 OpenResty 时,你可以尝试增加这两个配置>项的值
#client_body_timeout 60s;
#client_header_timeout 60s;
# 静态页面无需开启长连接
keepalive_timeout 0;
#keepalive_timeout 65;
# 设置与后端服务器建立连接的超时时间
#proxy_connect_timeout 5s;
# 设置向后端服务器发送请求的超时时间
#proxy_send_timeout 10s;
# 设置从后端服务器接收响应的超时时间
#proxy_read_timeout 15s;
#gzip on;
server {
listen 81;
server_name localhost;
#charset koi8-r;
#access_log logs/host.access.log main;
location / {
root html;
index index.html index.htm;
}
}
}
2.3 并发10W压测
我们选用Jmeter压测工具
- 请求100W次,并发100用户,吞吐量可达4W
- 请求100W次,并发1000用户,吞吐量可达3.8W
- 请求100W次,并发1W用户,吞吐量可达3.4W
- 请求100W次,并发10W用户,吞吐量可达5千,负载20左右
参数配置这块仍有许多待完善地方,望有相关工作实际经验大佬们不吝赐教