高并发参数优化

1.内核优化

vim /etc/sysctl.conf

net.ipv4.ip_forward = 0                        # 表示开启路由功能，0是关闭，1是开启
net.ipv4.conf.all.rp_filter = 1                # 加强入站过滤和出站过滤
net.ipv4.conf.default.rp_filter = 1            # 开启反向路径过滤
net.ipv4.conf.default.accept_source_route = 0  # 处理无源路由的包
kernel.sysrq = 0                               # 控制系统调试内核的功能要求
kernel.core_uses_pid = 1                       # 用于调试多线程应用程序
net.bridge.bridge-nf-call-ip6tables = 0
net.bridge.bridge-nf-call-iptables = 0
net.bridge.bridge-nf-call-arptables = 0
kernel.msgmnb = 65536            # 所有在消息队列中的消息总和的最大值(msgmnb=64k)
kernel.msgmax = 65536            # 指定内核中消息队列中消息的最大值(msgmax=64k)
kernel.shmmax = 68719476736      #是核心参数中最重要的参数之一，用于定义单个共享内存段的最大值，64位linux系统：可取的最大值为物理内存值-1byte，建议值为多于物理内存的一半，一般取值大于SGA_MAX_SIZE即可，可以取物理内存-1byte。例如，如果为64GB物理内存，可取64*1024*1024*1024-1=68719476735
kernel.shmall = 4294967296       # 该参数控制可以使用的共享内存的总页数。Linux共享内存页大小为4KB,共享内存段的大小都是共享内存页大小的整数倍。一个共享内存段的最大大小是 16G，那么需要共享内存页数是16GB/4KB=16777216KB /4KB=4194304（页），也就是64Bit系统下16GB物理内存，设置kernel.shmall = 4194304才符合要求(几乎是原来设置2097152的两倍)
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1
net.ipv4.neigh.default.gc_stale_time = 120
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.lo.arp_announce = 2

    ###内存资源使用相关设定
net.core.wmem_default = 8388608     # 为TCP socket预留用于发送缓冲的内存默认值（单位：字节）一般要低于net.core.wmem_default的值。默认值为16384(16K)
net.core.rmem_default = 8388608     # 为TCP socket预留用于接收缓冲的内存默认值（单位：字节）
net.core.rmem_max = 16777216        # 为TCP socket预留用于接收缓冲的内存最大值（单位：字节）
net.core.wmem_max = 16777216        # TCPsocket预留用于发送缓冲的内存最大值（单位：字节）
net.ipv4.tcp_rmem = 4096 65536 16777216        # 接收窗口的最大大小
net.ipv4.tcp_wmem = 4096 65536 16777216        # 默认的接收窗口大小，默认值为4096(4K)
net.ipv4.tcp_mem = 8388608 8388608 8388608     # net.ipv4.tcp_mem[0]:低于此值，TCP 没有内存压力。net.ipv4.tcp_mem[1]:在此值下，进入内存压力阶段。net.ipv4.tcp_mem[2]:高于此值，TCP 拒绝分配socket。上述内存单位是页，而不是字节

    ##应对DDOS攻击,TCP连接建立设置
net.ipv4.tcp_syncookies = 1            # 只有在内核编译时选择了CONFIG_SYNCOOKIES时才会发生作用。当出现syn等候队列出现溢出时象对方发送syncookies。目的是为了防止syn flood攻击。
net.ipv4.tcp_synack_retries = 1        # 为了打开对端的连接，内核需要发送一个SYN 并附带一个回应前面一个SYN 的ACK。也就是所谓三次握手中的第二次握手。这个设置决定了内核放弃连接之前发送SYN+ACK 包的数量。减少系统SYN连接重试次数，为了打开对端的连接，内核需要发送一个SYN并附带一个回应前面一个SYN的ACK。
net.ipv4.tcp_syn_retries = 1           #在内核放弃建立连接之前发送SYN 包的数量
net.ipv4.tcp_max_syn_backlog = 262144  #表示SYN队列的长度，默认为1024，加大队列长度为262144，可以容纳更多等待连接的网络连接数。

    ##应对timewait过高,TCP连接断开设置
net.ipv4.tcp_max_tw_buckets = 10000     # timewait 的数量，默认是180000。表示系统同时保持TIME_WAIT的最大数量，如果超过这个数字，TIME_WAIT将立刻被清除并打印警告信息。
net.ipv4.tcp_tw_recycle = 1    # 表示开启TCP连接中TIME-WAIT sockets的快速收回功能，默认为 0 ，表示关闭。
net.ipv4.tcp_tw_reuse = 1      # 表示开启重用。允许将TIME-WAIT sockets重新用于新的 TCP 连接，默认为 0 表示关闭
net.ipv4.tcp_timestamps = 0    # 时间戳可以避免序列号的卷绕
net.ipv4.tcp_fin_timeout = 5   # 表示如果套接字由本端要求关闭，这个参数决定了它保持在FIN-WAIT-2 状态的时间。对端可以出错并永远不关闭连接，甚至意外当机。缺省值是 60 秒。2.2 内核的通常值是 180 秒，3你可以按这个设置，但要记住的是，即使你的机器是一个轻载的 WEB 服务器，也有因为大量的死套接字而内存溢出的风险，FIN- WAIT-2 的危险性比 FIN-WAIT-1 要小，因为它最多只能吃掉1.5K 内存，但是它们的生存期长些。
net.ipv4.ip_local_port_range = 4000 65000    # 表示用于向外连接的端口范围

    ###TCP keepalived 连接保鲜设置
net.ipv4.tcp_keepalive_time = 1200    #表示当keepalive起用的时候，TCP发送keepalive消息的频度。缺省是2小时，改为20分钟
net.ipv4.tcp_keepalive_intvl = 15     #当探测没有确认时，重新发送探测的频度。缺省是75秒。
net.ipv4.tcp_keepalive_probes = 5     # 在认定连接失效之前，发送多少个TCP的keepalive探测包。缺省值是9。这个值乘以tcp_keepalive_intvl之后决定了，一个连接发送了keepalive之后可以有多少时间没有回应

    ###其他TCP相关调节
net.core.somaxconn = 262144            # listen(函数)的默认参数,挂起请求的最大数量限制。web 应用中listen 函数的backlog 默认会给我们内核参数的net.core.somaxconn 限制到128，而nginx 定义的NGX_LISTEN_BACKLOG 默认为511，所以有必要调整这个值
net.core.netdev_max_backlog = 262144   # 每个网络接口接收数据包的速率比内核处理这些包的速率快时，允许送到队列的数据包的最大数目
net.ipv4.tcp_max_orphans = 3276800
net.ipv4.tcp_sack = 1            # 有选择的应答，1表示yes ，0表示no
net.ipv4.tcp_window_scaling = 1  # 支持更大的TCP窗口。 如果TCP窗口最大超过65535（64K）， 必须设置该数值为1

    ###文件系统事件监控机制
fs.inotify.max_user_instances = 1048576    # 每个用户能启动的inotify最大实例数
fs.inotify.max_user_watches = 1048576      # 每个实例最大的监控数（inode数量）
fs.aio-max-nr= 1048576        # aio最大值
fs.file-max = 1048575         # 文件描述符的最大值
fs.nr_open = 9999999          # 单个进程允许的最大 fd 数量
fs.file-max = 9999999         # linux 内核允许的最大 fd 数量

    ###VM内存分配策略
vm.min_free_kbytes = 65536    # 保留内存的最低值
vm.overcommit_memory = 1      # "0，1，2" 
0： (默认)表示内核将检查是否有足够的可用内存供应用进程使用；如果有足够的可用内存，内存申请允许；否则，内存申请失败，并把错误返回给应用进程。0 即是启发式的overcommitting handle,会尽量减少swap的使用,root可以分配比一般用户略多的内存
1： 表示内核允许分配所有的物理内存，而不管当前的内存状态如何，允许超过CommitLimit，直至内存用完为止。在数据库服务器上不建议设置为1，从而尽量避免使用swap.
2： 表示不允许超过CommitLimit值

    ###开启BBR
net.core.default_qdisc = fq                 # 启用 BBR 拥塞控制算法（需内核支持）
net.ipv4.tcp_congestion_control = bbr       # 启用 BBR 拥塞控制算法（需内核支持）

sysctl -p # 保存配置文件使其生效

2.nginx参数优化

user www www;
worker_processes 8;
worker_cpu_affinity 00000001 00000010 00000100 00001000 00010000 00100000 01000000;
error_log /www/log/nginx_error.log crit;
pid /usr/local/nginx/nginx.pid;
worker_rlimit_nofile 204800;

events
{
use epoll;
worker_connections 204800;
}

http
{
include mime.types;
default_type application/octet-stream;

charset utf-8;

server_names_hash_bucket_size 128;
client_header_buffer_size 2k;
large_client_header_buffers 4 4k;
client_max_body_size 8m;

sendfile on;
tcp_nopush on;

keepalive_timeout 60;

fastcgi_cache_path /usr/local/nginx/fastcgi_cache levels=1:2
keys_zone=TEST:10m
inactive=5m;
fastcgi_connect_timeout 300;
fastcgi_send_timeout 300;
fastcgi_read_timeout 300;
fastcgi_buffer_size 16k;
fastcgi_buffers 16 16k;
fastcgi_busy_buffers_size 16k;
fastcgi_temp_file_write_size 16k;
fastcgi_cache TEST;
fastcgi_cache_valid 200 302 1h;
fastcgi_cache_valid 301 1d;
fastcgi_cache_valid any 1m;
fastcgi_cache_min_uses 1;
fastcgi_cache_use_stale error timeout invalid_header http_500;

open_file_cache max=204800 inactive=20s;
open_file_cache_min_uses 1;
open_file_cache_valid 30s;



tcp_nodelay on;

gzip on;
gzip_min_length 1k;
gzip_buffers 4 16k;
gzip_http_version 1.0;
gzip_comp_level 2;
gzip_types text/plain application/x-javascript text/css application/xml;
gzip_vary on;


server
{
listen 8080;
server_name ad.test.com;
index index.php index.htm;
root /www/html/;

location /status
{
stub_status on;
}

location ~ .*\.(php|php5)?$
{
fastcgi_pass 127.0.0.1:9000;
fastcgi_index index.php;
include fcgi.conf;
}

location ~ .*\.(gif|jpg|jpeg|png|bmp|swf|js|css)$
{
expires 30d;
}

log_format access '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" $http_x_forwarded_for';
access_log /www/log/access.log access;
}
}