4.OpenResty系列之2W与10W并发实践

算法小生Đ

已于 2024-06-20 22:28:23 修改

阅读量503

点赞数 9

分类专栏：高并发文章标签： openresty

于 2024-01-28 15:16:59 首次发布

本文链接：https://blog.csdn.net/SJshenjian/article/details/135895869

版权

高并发专栏收录该内容

4 篇文章 1 订阅

订阅专栏

文章详细介绍了如何通过调整Linux系统的TCP参数（如syncookies、TIME_WAIT、fin_timeout等）以及Nginx的worker_connections和连接超时设置来解决请求过多导致的错误，展示了在不同并发条件下吞吐量的变化，并呼吁有经验的技术人员分享更多优化建议。

摘要由CSDN通过智能技术生成

1. 2W并发实践

本文的目标是,成功压测OpenResty接口达到10W并发.高并发其实就是能够扛助某一时刻流量,往往就呢几秒中,真正秒杀下单支付的流量是很小一部分.

1.1 配置最大可打开文件数

# 临时生效
ulimit -n 65535

# 永久生效修改该文件vim /etc/security/limits.conf,新增以下两行
* soft nofile 65535
* hard nofile 65535

(base) [root@shenjian1 conf]# ulimit -n
65535

1.2 AB压测

1.2.1 首页静态页面化

目前首页改为Hello World, 对于秒杀的商品一般为静态页面显示,即尽可能减少与服务器的交互.

对于AB压测工具来说,最高压侧2W并发,20001都不支持.

1.2.2 压测apr_socket_recv: Connection timed out (110)错误解决

上图可见,出现了110错误, 我们调整内核参数

(base) [root@shenjian1 conf]# vim /etc/sysctl.conf

# 例如web应用中listen函数的backlog默认会给我们内核参数的net.core.somaxconn限制到128，而nginx定义的NGX_LISTEN_BACKLOG默认为511，所以有必要调整这个值
net.core.somaxconn = 100000
# 表示用于向外连接的端口范围。缺省情况下很小，改为1024到65535
net.ipv4.ip_local_port_range = 1024 65535

# 立即生效
(base) [root@shenjian1 conf]# sysctl -p

如下图所示, 请求10W次,并发用户2W,可以正常压测完毕,可以看到响应均值与中位值约200ms, 最大值约1S

当请求数达到30W,会出现104错误,下次在尝试分析解决吧~~

(base) [root@shenjian1 conf]# ab -n 300000 -c 20000 127.0.0.1:81/
This is ApacheBench, Version 2.3 <$Revision: 1843412 $>
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Licensed to The Apache Software Foundation, http://www.apache.org/

Benchmarking 127.0.0.1 (be patient)
apr_socket_recv: Connection reset by peer (104)

2. 10W并发实践

下图解决了上文所说的请求过多报错问题

如图所示,系统支持30W请求, 并发2W

2.1 /etc/sysctl.conf配置如下

vm.swappiness = 0
# 表示开启SYNCookies。当出现SYN等待队列溢出时，启用cookies来处理，可防范少量SYN>攻击，默认为0，表示关闭
# 此参数是为了防止洪水攻击的，但对于大并发系统，要禁用此设置
net.ipv4.tcp_syncookies = 1
# 在 CentOS 8 中，net.ipv4.tcp_tw_reuse 和 net.ipv4.tcp_tw_recycle 参数已被移除>。相反，CentOS 8 使用了新的 TCP 栈实现，其中 TIME-WAIT sockets 的快速回收是默认>启用的
# 表示开启重用。允许将TIME-WAITsockets重新用于新的TCP连接，默认为0，表示关闭
#net.ipv4.tcp_tw_reuse = 1
# 表示开启TCP连接中TIME-WAITsockets的快速回收，默认为0，表示关闭
#net.ipv4.tcp_tw_recycle = 1
# 修改系統默认的TIMEOUT 时间
net.ipv4.tcp_fin_timeout = 30
# 表示当keepalive起用的时候，TCP发送keepalive消息的频度。缺省是2小时，改为20分
net.ipv4.tcp_keepalive_time = 1200
# 表示用于向外连接的端口范围。缺省情况下很小，改为1024到65535
net.ipv4.ip_local_port_range = 1024 65535
# 表示SYN队列的长度，默认为1024，加大队列长度为65535，可以容纳更多等待连接的网络连接数
net.ipv4.tcp_max_syn_backlog = 365535
# 表示系统同时保持TIME_WAIT的最大数量，如果超过这个数字，TIME_WAIT将立刻被清除并打印警告信息。默认为180000，改为5000。此项参数可以控制TIME_WAIT的最大数量，只要>超出了
net.ipv4.tcp_max_tw_buckets = 380000
# 每个网络接口接收数据包的速率比内核处理这些包的速率快时，允许送到队列的数据包的
最大数目。
net.core.netdev_max_backlog = 332768
# 例如web应用中listen函数的backlog默认会给我们内核参数的net.core.somaxconn限制到128，而nginx定义的NGX_LISTEN_BACKLOG默认为511，所以有必要调整这个值
net.core.somaxconn = 300000
net.core.wmem_default = 8388608
net.core.rmem_default = 8388608
# 最大socket读buffer,可参考的优化值:873200
net.core.rmem_max = 16777216
# 最大socket写buffer,可参考的优化值:873200
net.core.wmem_max = 16777216
# 时间戳可以避免序列号的卷绕。一个1Gbps的链路肯定会遇到以前用过的序列号。时间戳>能够让内核接受这种“异常”的数据包。这里需要将其关掉
net.ipv4.tcp_timestamps = 0
# 为了打开对端的连接，内核需要发送一个SYN并附带一个回应前面一个SYN的ACK。也就是>所谓三次握手中的第二次握手。这个设置决定了内核放弃连接之前发送SYN+ACK包的数量
net.ipv4.tcp_synack_retries = 2
# 在内核放弃建立连接之前发送SYN包的数量
net.ipv4.tcp_syn_retries = 2
# TCP写buffer,可参考的优化值:8192 436600 873200
net.ipv4.tcp_wmem = 786432 1048576 1572864
# TCP读buffer,可参考的优化值:32768 436600 873200
net.ipv4.tcp_rmem = 786432 1048576 1572864
# 同样有3个值,意思是:
# net.ipv4.tcp_mem[0]:低于此值，TCP没有内存压力。
# net.ipv4.tcp_mem[1]:在此值下，进入内存压力阶段。
# net.ipv4.tcp_mem[2]:高于此值，TCP拒绝分配socket
# 上述内存单位是页，而不是字节。可参考的优化值是:786432 1048576 1572864
# 系统中最多有多少个TCP套接字不被关联到任何一个用户文件句柄上
net.ipv4.tcp_max_orphans = 3276800
# 如果套接字由本端要求关闭，这个参数决定了它保持在FIN-WAIT-2状态的时间。对端可以出错并永远不关闭连接，甚至意外当机。缺省值是60秒。2.2 内核的通常值是180秒，你可>以按这个设置，但要记住的是，即使你的机器是一个轻载的WEB服务器，也有因为大量的死>套接字而内存溢出的风险，FIN-WAIT-2的危险性比FIN-WAIT-1要小，因为它最多只能吃掉1.5K内存，但是它们的生存期长些。
net.ipv4.tcp_fin_timeout = 30

2.2 nginx.conf配置如下

worker_processes  15;

#error_log  logs/error.log;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;

#pid        logs/nginx.pid;


events {
    worker_connections  30000;
}


http {
    include       mime.types;
    default_type  application/octet-stream;

    sendfile        on;

    # 如果连接超时发生在客户端发送请求到 OpenResty 时，你可以尝试增加这两个配置>项的值
    #client_body_timeout 60s;
    #client_header_timeout 60s;
    # 静态页面无需开启长连接
    keepalive_timeout  0;
    #keepalive_timeout  65;
    # 设置与后端服务器建立连接的超时时间
    #proxy_connect_timeout 5s;
    # 设置向后端服务器发送请求的超时时间
    #proxy_send_timeout 10s;
    # 设置从后端服务器接收响应的超时时间
    #proxy_read_timeout 15s;

    #gzip  on;

    server {
        listen       81;
        server_name  localhost;

        #charset koi8-r;

        #access_log  logs/host.access.log  main;

        location / {
            root   html;
            index  index.html index.htm;
        }
    }
}