开启reuse_port让Tengine性能提升3倍

为什么 reuse_port

  • 记得2008年做性能测试的时候,新进7台lenovo4核4G 服务器用于性能测试。

  • 当时资源紧张,这7台服务器都装了双系统(Win2003/CentOS5)空闲时用于做肉鸡(压测的Agent)。

  • 当时给Nginx做了一系列测试,印象很深的是:在这批机器上,Nginx状态页面的压测。

    短连接的话最佳QPS约4万,长连接的话最高QPS约13万。

  • 大概3年后,那批lenovo服务器已经没人瞧得上了,只能做肉鸡。

  • 然而,一次不经意的测试,发现再牛的服务器,短连接最佳QPS也高不了多少。
  • 而且,肉鸡的资源没用完,被测试服务器的资源也用不完,网络也没瓶颈。

    服务器资源使用率很低,然而响应就是不够快。

  • 最后,我们发现了 SO_REUSEPORT。对,瓶颈在这(监听的入口)!

引入 LVS fullnat

  • 当时用的 CentOS 5、6,内核版本都还在 2.6。
  • 尝试过新内核,遇到一些奇怪的现象无力维护,最终放弃。
  • 也可以用Nginx监控多个IP来突破瓶颈(多虚拟几个IP),维护成本略高。
  • 也可以用LVS的NAT方式来做转发,然而NAT对网络的要求你懂的。
  • 最终我们决定使用 淘宝LVS,依赖 淘宝内核
  • 然后使用 fullnat ,将对外端口映射到每个节点的多个端口(而非多IP)。
  • 曾在线上做过极端测试,效果非常显著。然后我们就上线了!

    原本10多台服务器的压力,全压到1台服务器的10多个端口上。居然抗住了

压测 reuse_port

  • 如果我用 Debian 最新 Jessie 发行版,默认内核 3.16.0-4。
  • 然而 Tengine 早已支持 reuse_port 。
  • 开启reuse_port后,你会发现有很多进程同时监听80端口:
    开启reuse_port让Tengine性能提升3倍
  • 加压后你会发现,服务器性能可被你榨干:
    开启reuse_port让Tengine性能提升3倍
  • 对比一下测试 reuse_port的效果,小伙伴们惊呆了(短连接QPS过了24万)!
    开启reuse_port让Tengine性能提升3倍
  • 真相大白后,你还等什么?

探个究竟

  • 测试过程中由于压大TCP: Possible SYN flooding on port 80.,出大量错误 。
  • 于是将并发量降到了6万net.core.somaxconn = 65535。
  • 再关闭 reuse_port 后,我们看下perf top的情况:
    开启reuse_port让Tengine性能提升3倍
  • 然后再打开 reuse_port ,对比perf top的情况:
    开启reuse_port让Tengine性能提升3倍
  • 此时再放大 Nginx 监听的back_log,看下资源使用情况:
    开启reuse_port让Tengine性能提升3倍
  • 我们来看看些时的队列情况(有入队过万了):
    开启reuse_port让Tengine性能提升3倍
  • 然后我们再来挑战30万并发(MTT是平均响应时间(ms)):
    开启reuse_port让Tengine性能提升3倍
  • 经过一系列调优,相同环境相同并发量,没有再出现TCP: Possible SYN flooding on port 80.。但出现了少量连接超时的情况:
?
1
2
3
2015 - 11 - 29 01 : 31 : 54 , 779 ERROR Connection timed out
java.net.ConnectException: Connection timed out
  at HTTPClient.HTTPConnection$EstablishConnection.run(HTTPConnection.java: 4082 ) ~[grinder-httpclient- 3.9 . 1 .jar:na]

测试环境

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
Dell PowerEdge M620
Intel(R) Xeon(R) CPU E5- 2620 v2 @  2 .10GHz
Linux  3.16 . 0 - 4 -amd64 # 1 SMP Debian  3.16 . 7 -ckt11- 1 +deb8u3 ( 2015 - 08 - 04 ) x86_64 GNU/Linux
Ethernet controller: Broadcom Corporation NetXtreme II BCM57810  10 Gigabit Ethernet (rev  10 )
 
Tengine version: Tengine/ 2.1 . 1 (nginx/ 1.6 . 2 )
built by gcc  4.9 . 2 (Debian  4.9 . 2 - 10 )
TLS SNI support enabled
configure arguments: --user=www-data --group=www-data --with-pcre-jit --prefix=/usr/share/nginx --sbin-path=/usr/sbin/nginx --dso-tool-path=/usr/sbin/dso_tool --dso-path=/usr/share/nginx/modules --conf-path=/etc/nginx/nginx.conf --http-log-path=/var/log/nginx/access.log --error-log-path=/var/log/nginx/error.log --lock-path=/var/lock/nginx.lock --pid-path=/run/nginx.pid --http-client-body-temp-path=/var/lib/nginx/body --http-fastcgi-temp-path=/var/lib/nginx/fastcgi --http-proxy-temp-path=/var/lib/nginx/proxy --http-scgi-temp-path=/var/lib/nginx/scgi --http-uwsgi-temp-path=/var/lib/nginx/uwsgi --with-syslog --with-jemalloc --with-mail --with-file-aio --with-mail_ssl_module --with-http_ssl_module --with-google_perftools_module --with-http_auth_request_module --with-http_dav_module --with-http_gunzip_module --with-http_gzip_static_module --with-http_image_filter_module --with-http_spdy_module --with-http_stub_status_module --with-http_realip_module --with-http_addition_module --with-http_xslt_module --with-http_image_filter_module --with-http_geoip_module --with-http_sub_module --with-http_flv_module --with-http_slice_module --with-http_mp4_module --with-http_concat_module --with-http_random_index_module --with-http_secure_link_module --with-http_sysguard_module --with-http_split_clients_module=shared --with-http_referer_module=shared --with-http_uwsgi_module=shared --with-http_scgi_module=shared --with-http_memcached_module=shared --with-http_limit_conn_module=shared --with-http_limit_req_module=shared --with-http_empty_gif_module=shared --with-http_browser_module=shared --with-http_user_agent_module=shared --with-http_upstream_ip_hash_module=shared --with-http_upstream_least_conn_module=shared --with-http_upstream_session_sticky_module=shared --with-http_reqstat_module=shared --with-http_lua_module --with-luajit-inc=/usr/include/luajit- 2.0 --with-luajit-lib=/usr/lib/x86_64-linux-gnu --with-cpu-opt=amd64 --with-ld-opt=-Wl,-z,relro --with-cc-opt= '-g -O2 -fstack-protector-strong -Wformat -Werror=format-security -D_FORTIFY_SOURCE=2' --add-module=../echo-nginx-module- 0.58 --add-module=../headers-more-nginx-module- 0.261 --add-module=../redis2-nginx-module- 0.12 --add-module=../ngx_cache_purge- 2.3 --add-module=../ngx_cache_path_status- 1.0
loaded modules:
     ngx_core_module ( static )
     ngx_errlog_module ( static )
     ngx_conf_module ( static )
     ngx_dso_module ( static )
     ngx_syslog_module ( static )
     ngx_events_module ( static )
     ngx_event_core_module ( static )
     ngx_epoll_module ( static )
     ngx_procs_module ( static )
     ngx_proc_core_module ( static )
     ngx_openssl_module ( static )
     ngx_regex_module ( static )
     ngx_http_module ( static )
     ngx_http_core_module ( static )
     ngx_http_log_module ( static )
     ngx_http_upstream_module ( static )
     ngx_http_spdy_module ( static )
     ngx_http_static_module ( static )
     ngx_http_gzip_static_module ( static )
     ngx_http_dav_module ( static )
     ngx_http_autoindex_module ( static )
     ngx_http_index_module ( static )
     ngx_http_random_index_module ( static )
     ngx_http_concat_module ( static )
     ngx_http_upstream_ip_hash_module (shared,  3.1 )
     ngx_http_upstream_least_conn_module (shared,  3.1 )
     ngx_http_auth_request_module ( static )
     ngx_http_auth_basic_module ( static )
     ngx_http_limit_conn_module (shared,  3.1 )
     ngx_http_access_module ( static )
     ngx_http_limit_req_module (shared,  3.1 )
     ngx_http_realip_module ( static )
     ngx_http_geo_module ( static )
     ngx_http_geoip_module ( static )
     ngx_http_split_clients_module (shared,  3.1 )
     ngx_http_map_module ( static )
     ngx_http_reqstat_module (shared,  3.1 )
     ngx_http_user_agent_module (shared,  3.1 )
     ngx_http_referer_module (shared,  3.1 )
     ngx_http_rewrite_module ( static )
     ngx_http_ssl_module ( static )
     ngx_http_proxy_module ( static )
     ngx_http_uwsgi_module (shared,  3.1 )
     ngx_http_fastcgi_module ( static )
     ngx_http_scgi_module (shared,  3.1 )
     ngx_http_empty_gif_module (shared,  3.1 )
     ngx_http_memcached_module (shared,  3.1 )
     ngx_http_browser_module (shared,  3.1 )
     ngx_http_secure_link_module ( static )
     ngx_http_sysguard_module ( static )
     ngx_http_flv_module ( static )
     ngx_http_slice_module ( static )
     ngx_http_mp4_module ( static )
     ngx_http_upstream_consistent_hash_module ( static )
     ngx_http_upstream_check_module ( static )
     ngx_http_upstream_keepalive_module ( static )
     ngx_http_upstream_dynamic_module ( static )
     ngx_http_stub_status_module ( static )
     ngx_http_redis2_module ( static )
     ngx_http_cache_purge_module ( static )
     ngx_http_slowfs_module ( static )
     ngx_cache_path_status_module ( static )
     ngx_http_write_filter_module ( static )
     ngx_http_header_filter_module ( static )
     ngx_http_chunked_filter_module ( static )
     ngx_http_spdy_filter_module ( static )
     ngx_http_range_header_filter_module ( static )
     ngx_http_gzip_filter_module ( static )
     ngx_http_postpone_filter_module ( static )
     ngx_http_ssi_filter_module ( static )
     ngx_http_charset_filter_module ( static )
     ngx_http_xslt_filter_module ( static )
     ngx_http_image_filter_module ( static )
     ngx_http_sub_filter_module ( static )
     ngx_http_addition_filter_module ( static )
     ngx_http_gunzip_filter_module ( static )
     ngx_http_userid_filter_module ( static )
     ngx_http_footer_filter_module ( static )
     ngx_http_upstream_session_sticky_module (shared,  3.1 )
     ngx_http_trim_filter_module ( static )
     ngx_http_headers_filter_module ( static )
     ngx_http_echo_module ( static )
     ngx_http_headers_more_filter_module ( static )
     ngx_http_lua_module ( static )
     ngx_http_copy_filter_module ( static )
     ngx_http_range_body_filter_module ( static )
     ngx_http_not_modified_filter_module ( static )
     ngx_mail_module ( static )
     ngx_mail_core_module ( static )
     ngx_mail_ssl_module ( static )
     ngx_mail_pop3_module ( static )
     ngx_mail_imap_module ( static )
     ngx_mail_smtp_module ( static )
     ngx_mail_auth_http_module ( static )
     ngx_mail_proxy_module ( static )
     ngx_google_perftools_module ( static )

Nginx配置如下:
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
user www-data;
worker_processes auto;
pid /run/nginx.pid;
events {
  use epoll;
  multi_accept on;
  reuse_port on;
  worker_connections   1048576 ;
}
dso { # 动态加载功能模块 /usr/share/nginx/modules
  load ngx_http_memcached_module.so;
  load ngx_http_limit_conn_module.so;
  load ngx_http_empty_gif_module.so;
  load ngx_http_scgi_module.so;
  load ngx_http_upstream_session_sticky_module.so;
  load ngx_http_user_agent_module.so;
  load ngx_http_referer_module.so;
  load ngx_http_upstream_least_conn_module.so;
  load ngx_http_uwsgi_module.so;
  load ngx_http_reqstat_module.so;
  load ngx_http_browser_module.so;
  load ngx_http_limit_req_module.so;
  load ngx_http_split_clients_module.so;
  load ngx_http_upstream_ip_hash_module.so;
}
http {
  include       /etc/nginx/mime.types;
  default_type  text/plain;
  access_log  off;
  sendfile        on;
  tcp_nopush    on;
  tcp_nodelay    on;
  server_tokens off;
  keepalive_timeout   120 ;
  server_names_hash_bucket_size  512 ;
  server_name_in_redirect off;
  fastcgi_connect_timeout 3s;
  fastcgi_send_timeout 3s;
  fastcgi_read_timeout 3s;
  fastcgi_buffer_size 128k;
  fastcgi_buffers  8 128k;
  fastcgi_busy_buffers_size 256k;
  fastcgi_temp_file_write_size 256k;
  variables_hash_max_size   1024 ;
  set_real_ip_from  10.0 . 0.0 / 8 ;
  set_real_ip_from  172.28 . 0.0 / 16 ;
  set_real_ip_from  192.168 . 0.0 / 16 ;
  real_ip_header X-Forwarded-For;
  gzip off;
  gzip_disable  "msie6" ;
  gzip_min_length 1k;
  gzip_buffers  16 64k;
  gzip_http_version  1.1 ;
  gzip_comp_level  6 ;
  gzip_types text/plain text/css application/json application/javascript text/xml application/xml application/xml+rss text/javascript;
  gzip_vary on;
  ssl_protocols TLSv1 TLSv1. 1 TLSv1. 2 ; # Dropping SSLv3, ref: POODLE
  ssl_prefer_server_ciphers on;
  access_log /var/log/nginx/access.log;
  error_log /var/log/nginx/error.log;
  server {
      listen        80 backlog= 65535 ;
      charset utf- 8 ;
      location / { # 打印Tengine状态页
          stub_status on; # 开启状态页,依赖 http_stub_status_module 模块
          access_log  off; #访问过程不记日志
      }
      location ~ ^(.*)\/\.(svn|git|hg|bzr|cvs)\/ { # 屏蔽这些目录
          deny all;
          access_log off;
          log_not_found off;
      }
      location ~ /\. { # 屏蔽.开头的目录或文件,比如  .htaccess .bash_history
          deny all;
          access_log off;
          log_not_found off;
      }
      location /do_not_delete.html {
          access_log off;
          empty_gif;
      }
  }
}

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值