Nginx高级篇-性能优化

最新推荐文章于 2023-12-06 14:32:01 发布
最新推荐文章于 2023-12-06 14:32:01 发布
阅读量352 收藏 1
点赞数
分类专栏： Linux 文章标签： nginx linux
原文链接：https://blog.csdn.net/u012869196/article/details/86714846
版权

目录

常规参数讲解

进入 /etc/nginx 文件夹，编辑 nginx.conf ，可以看到下面的参数。简单介绍下：

# nginx进程数，建议按照cpu数目来指定，一般跟cpu核数相同或为它的倍数。
worker_processes 8;

#为每个进程分配cpu，上例中将8个进程分配到8个cpu，当然可以写多个，或者将一个进程分配到多个cpu。
worker_cpu_affinity 00000001 00000010 00000100 00001000 00010000 00100000 01000000 10000000;

# 作用于event的I/O多路复用模型
use epoll;

#收到新连接通知后接受尽可能多的连接，作用于event
multi_accept on;

epoll 接口作为 poll 接口的变体在 Linux 内核 2.5 中被引入。相比 select 实现的多路复用 I/O 模型，epoll 最大的好处在于它不会随着被监控描述符数目的增长而导致效率急速下降。

动静分离

将静态文件存储到 /usr/share/nginx/html 文件夹中，配置静态文件拦截规则。单个项目可以直接放在 /usr/share/nginx/html 根目录下，如果是多个项目，则要根据项目的根目录创建文件夹来保存静态文件。
配置拦截规则如下：

location ~ .*\.(eot|svg|ttf|woff|jpg|jpeg|gif|png|ico|cur|gz|svgz|mp4|ogg|ogv|webm) {
	#所有静态文件直接读取硬盘
	root /usr/share/nginx/html;
	expires 30d; #缓存30天
}

location ~ .*\.(js|css)?${
	#所有静态文件直接读取硬盘
	root /usr/share/nginx/html;
	expires      12h;
}

缓存配置

配置三步走：

  • 客户端、代理请求缓存
  • 设置缓存空间，存储缓存文件
  • 在 location 中使用缓存空间
  • 打开文件的缓存配置
#客户端请求主体的缓冲区大小
client_body_buffer_size 512k;
#客户端请求头部的缓冲区大小，这个可以根据系统分页大小来设置
client_header_buffer_size 4k;
client_max_body_size 512k;
large_client_header_buffers 2 8k;
proxy_buffer_size 16k;
proxy_buffers 4 64k;
proxy_busy_buffers_size 128k;
proxy_temp_file_write_size 128k;
#指定在何种情况下一个失败的请求应该被发送到下一台后端服务器
proxy_next_upstream http_502 http_504 http_404 error timeout invalid_header;

#设置缓存空间，存储缓存文件
proxy_cache_path /data/nginx-cache levels=1:2 keys_zone=nginx-cache:20m max_size=50g inactive=168h;

#在location中使用缓存空间，pathname是项目的目录，请自定义
location /pathname { 
	proxy_set_header X-Real-IP $remote_addr;
	proxy_cache nginx-cache;
	proxy_cache_valid 200 304 302 5d;
	proxy_cache_valid any 5d;
	proxy_cache_key '$host:$server_port$request_uri';
	add_header X-Cache '$upstream_cache_status from $host';
	proxy_set_header X-Real-IP $remote_addr;
	proxy_pass http://localhost/pathname;
}

#打开文件的缓存配置
#为打开文件指定缓存，默认是没有启用的，max 指定缓存数量，建议和打开文件数一致，inactive 是指经过多长时间文件没被请求后删除缓存。
open_file_cache max=65535 inactive=60s;

#文件描述符一直是在缓存中打开的，如果有一个文件在inactive时间内一次没被使用，它将被移除。
open_file_cache_min_uses 1;

#指定多长时间检查一次缓存的有效信息。
open_file_cache_valid 80s;

上述配置的结果，我们可以看到生成了很多缓存文件在 /data/nginx-cache 文件夹下面。

连接超时

长时间占着连接资源不释放，最终会导致请求的堆积，Nginx 处理请求效率大大降低。所以我们对连接的控制都要注意设置超时时间，通过超时机制自动回收资源、避免资源浪费。

#客户端、服务端设置
server_names_hash_bucket_size 128;
server_names_hash_max_size 512;
# 长连接超时配置
keepalive_timeout  65;
client_header_timeout 15s;
client_body_timeout 15s;
send_timeout 60s;

#代理设置
#与后端服务器建立连接的超时时间。注意这个一般不能大于75秒
proxy_connect_timeout 30s;
proxy_send_timeout 120s;
#从后端服务器读取响应的超时
proxy_read_timeout 120s;

GZIP 压缩

在我们进行 gzip 打包压缩之前，最好将一些静态文件先进行压缩为 min 文件，请求的时候合并为同一文件。再通过 gzip 压缩后，你会发现网站加载又加速了。

#开启gzip,减少我们发送的数据量
gzip on;
#允许压缩的最小字节数
gzip_min_length 1k;
#4个单位为16k的内存作为压缩结果流缓存
gzip_buffers 4 16k;
#设置识别HTTP协议版本，默认是1.1
gzip_http_version 1.1;
#gzip压缩比，可在1~9中设置，1压缩比最小，速度最快，9压缩比最大，速度最慢，消耗CPU
gzip_comp_level 4;
#压缩的类型
gzip_types text/plain text/css application/json application/x-javascript text/xml application/xml application/xml+rss text/javascript; 
#给代理服务器用的，有的浏览器支持压缩，有的不支持，所以避免浪费不支持的也压缩，所以根据客户端的HTTP头来判断，是否需要压缩
gzip_vary on;
#禁用IE6以下的gzip压缩，IE6的某些版本对gzip的压缩支持很不好
gzip_disable "MSIE [1-6].";

访问限流

我们构建网站是为了让用户访问它们，我们希望用于合法访问。所以不得不采取一些措施限制滥用访问的用户。这种滥用指的是从同一IP每秒到服务器请求的连接数。因为这可能是在同一时间内，世界各地的多台机器上的爬虫机器人多次尝试爬取网站的内容。

#限制用户连接数来预防DOS攻击
limit_conn_zone $binary_remote_addr zone=perip:10m;
limit_conn_zone $server_name zone=perserver:10m;
#限制同一客户端ip最大并发连接数
limit_conn perip 2;
#限制同一server最大并发连接数
limit_conn perserver 20;
#限制下载速度，根据自身服务器带宽配置
limit_rate 300k;

高效数据传输配置

#开启文件的高效传输模式。tcp_nopush和tcp_nodelay可防止网络及磁盘i/o阻塞，提升nginx工作效率;
sendfile on;
#数据包不会马上传送出去，等到数据包最大时，一次性的传输出去，这样有助于解决网络堵塞。
tcp_nopush on;
#只要有数据包产生，不管大小多少，就尽快传输
tcp_nodelay on;

内核参数的优化

编辑 /etc/sysctl.conf 文件，根据需要调整参数配置。

#如果想把timewait降下了就要把tcp_max_tw_buckets值减小，默认是180000
net.ipv4.tcp_max_tw_buckets = 5000

#开启重用功能，允许将TIME-WAIT状态的sockets重新用于新的TCP连接
net.ipv4.tcp_tw_reuse = 1

#系统中最多有多少个TCP套接字不被关联到任何一个用户文件句柄上。如果超过这个数字，孤儿连接将即刻被复位并打印出警告信息。这个限制仅仅是为了防止简单的DoS攻击
net.ipv4.tcp_max_orphans = 262144

#当keepalive起用的时候，TCP发送keepalive消息的频度。缺省是2小时。我们可以调短时间跨度
net.ipv4.tcp_keepalive_time = 30

日志配置

日志文件对于我们日常运维至关重要，如果没有日志排查问题，你将很难判断异常的所在，要解决问题无异于大海捞针。日志的保存时必要的，不可缺少的，我们来看下怎么配置有利于排查问题？

关键字：其中关键字 access_log，error_log 不能改变
error_log 错误日志级别：[debug | info | notice | warn | error | crit | alert | emerg]，级别越高记录的信息越少。不要配置 info 等级较低的级别，会带来大量的磁盘 I/O 消耗。

error_log 生产场景一般是 warn | error | crit 这三个级别之一

#定义日志模板
log_format 日志模板名称 日志格式;

#访问日志
access_log   path      format        gzip[=level]              [buffer=size]          [flush=time];
关键字     存放的路径   日志格式模板   gzip压缩,level指压缩级别   存放缓存日志的缓存大小   保存在缓存中的最长时间

#错误日志
error_log  <FILE>    <LEVEL>;
关键字     日志文件   错误日志级别

#示例
log_format main '$remote_addr - $remote_user [$time_local] "$request"'
                        '$status $body_bytes_sent "$http_referer"'
                        '"$http_user_agent" "$http_x_forwarded_for"';
access_log  /Users/jackson/Desktop/www.ygoclub.com-access.log  main gzip flush=5m;
error_log  /Users/jackson/Desktop/www.ygoclub.com-error.log  error;

打开 /Users/jackson/Desktop/www.ygoclub.com-error.log 日志文件，我们可以看到很多找不到文件的异常。日志辅助我们找到了问题，只要将文件补充上去就解决了。

实战配置

1.整体配置

worker_processes  1;
pid  /var/run/nginx.pid;

events {
    worker_connections  2048;
	multi_accept on;
	use epoll;
}

http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;
					  
	log_format main '{"@timestamp":"$time_iso8601",'   
	'"host":"$server_addr",'
	'"clientip":"$remote_addr",'
	'"size":$body_bytes_sent,'
	'"responsetime":$request_time,'
	'"upstreamtime":"$upstream_response_time",'
	'"upstreamhost":"$upstream_addr",'
	'"http_host":"$host",'
	'"url":"$uri",'
	'"xff":"$http_x_forwarded_for",'
	'"referer":"$http_referer",'
	'"agent":"$http_user_agent",'
	'"status":"$status"}';
	
	sendfile on;
    tcp_nopush on;
    tcp_nodelay on;
	
    server_names_hash_bucket_size 128;
    server_names_hash_max_size 512;
    keepalive_timeout  65;
    client_header_timeout 15s;
    client_body_timeout 15s;
    send_timeout 60s;
	
	limit_conn_zone $binary_remote_addr zone=perip:10m;
	limit_conn_zone $server_name zone=perserver:10m;
	limit_conn perip 2;
	limit_conn perserver 20;
	limit_rate 300k; 

    proxy_cache_path /data/nginx-cache levels=1:2 keys_zone=nginx-cache:20m max_size=50g inactive=168h;
	
	client_body_buffer_size 512k;
	client_header_buffer_size 4k;
	client_max_body_size 512k;
	large_client_header_buffers 2 8k;
	proxy_connect_timeout 5s;
	proxy_send_timeout 120s;
	proxy_read_timeout 120s;
	proxy_buffer_size 16k;
	proxy_buffers 4 64k;
	proxy_busy_buffers_size 128k;
	proxy_temp_file_write_size 128k;
	proxy_next_upstream http_502 http_504 http_404 error timeout invalid_header;
	
	gzip on;
	gzip_min_length 1k;
	gzip_buffers 4 16k;
	gzip_http_version 1.1;
	gzip_comp_level 4;
	gzip_types text/plain text/css application/json application/x-javascript text/xml application/xml application/xml+rss text/javascript;
	gzip_vary on;
	gzip_disable "MSIE [1-6].";

    include /etc/nginx/conf.d/*.conf;
}

2.负载均衡

upstream ygoapi{ 
  server 0.0.0.0:8082 fail_timeout=5 max_fails=3;
  server 0.0.0.0:8083 fail_timeout=5 max_fails=3;
  ip_hash;
}

3.HTTP 配置

#隐藏版本信息
server_tokens off;
server {
    listen       80;
    server_name  www.ygoclub.com;
    charset utf-8;
	
	#重定向HTTP请求到HTTPS
	return 301 https://$server_name$request_uri;
}

4.HTTPS 配置

需要先去下载 HTTPS 证书

server {
    listen 443;
    server_name www.ygoclub.com;
    ssl on;
    ssl_certificate cert/证书名称.pem;
    ssl_certificate_key cert/证书名称.key;
    ssl_session_timeout 5m;
    # SSL协议配置
    ssl_protocols SSLv2 SSLv3 TLSv1.2;
    ssl_ciphers ALL:!ADH:!EXPORT56:RC4+RSA:+HIGH:+MEDIUM:+LOW:+SSLv2:+EXP;
    ssl_prefer_server_ciphers on;
	
	valid_referers none blocked server_names
               *.ygoclub.com;
			   
	#日志配置
    access_log  /Users/jackson/Desktop/www.ygoclub.com-access.log  main gzip=4 flush=5m;
    error_log  /Users/jackson/Desktop/www.ygoclub.com-error.log  error;
	
	location ~ .*\.(eot|svg|ttf|woff|jpg|jpeg|gif|png|ico|cur|gz|svgz|mp4|ogg|ogv|webm) {
		proxy_cache nginx-cache;
		proxy_cache_valid 200 304 302 5d;
		proxy_cache_key '$host:$server_port$request_uri';
		add_header X-Cache '$upstream_cache_status from $host';
		#所有静态文件直接读取硬盘
		root /usr/share/nginx/html;
		expires 30d; #缓存30天
	}

	location ~ .*\.(js|css)?$
	{
		proxy_cache nginx-cache;
		proxy_cache_valid 200 304 302 5d;
		proxy_cache_key '$host:$server_port$request_uri';
		add_header X-Cache '$upstream_cache_status from $host';
		#所有静态文件直接读取硬盘
		root /usr/share/nginx/html;
		expires      12h;
	}

    location / {
        root   /usr/share/nginx/html;
        index  index.html index.htm;
    }
    
	location /druid {
        proxy_set_header X-Real-IP $remote_addr;
        proxy_cache nginx-cache;
        proxy_cache_valid 200 10m;
        proxy_pass http://ygoapi/druid;
	}
	
	location /api {
       proxy_set_header X-Real-IP $remote_addr;
       proxy_pass http://ygoapi/api;
	}
	
    # redirect server error pages to the static page /50x.html
    error_page   500 502 503 504  /50x.html;
    location = /50x.html {
        root   /usr/share/nginx/html;
    }
}
jugt
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
java:java高级学习，主要包括并发编程，设计模式，性能优化，源码分析，微服务框架，高性能Nginx服务器，互联网高并发解决方案，互联网安全架构，分布式架构，分布式协调工具，分布式解决方案方案
03-24
Java java高级学习，主要包括并发编程，设计模式，性能优化，源码分析，微服务框架，高性能Nginx服务器，互联网高并发解决方案，互联网安全架构，分布式架构，分布式协调工具，分布式解决方案方案
nginx高级配置详解
最新发布
十七拾的博客
02-25 1012
本文详细阐释了nginx的高级配置，包括nginx的网页状态、nginx第三方模块echo、nginx变量、nginx压缩功能等，希望对你有帮助！
nginx配置stream模块做负载均衡
02-23 674
nginx配置stream模块做负载均衡
Nginx负载均衡
jfcjjg的博客
04-08 3292
目录Nginx负载均衡七层均衡四层均衡源码安装的nginx引用stream模块yum安装的nginx引用stream模块使用四层均衡代理后端MySQLip_hashurl_hash根据响应时间均衡备用服务器Rsync Nginx负载均衡 七层服务使用的是http的指令块，四层服务则使用stream指令块，http和stream指令块是同级的 七层均衡 nginx3配置(192.168.113.145) 错误的连接由proxy_next_upstream， fastcgi_next_upstream等指令决
NGINX的stream模块以及实操问题
zsk_john的技术分享专用博客
08-23 7047
NGINX的stream模块以及实操问题 前言： nginx从1.9.0开始，新增加了一个stream模块，用来实现四层协议的转发、代理或者负载均衡等。 nginx作为一个优秀的web服务器软件，毫无疑问，功能是十分强大的，但学习这种软件，如果脱离了实际操作（应用场景落地），那么就是一种耍流氓的行为。 （1）关于stream域的模块有哪些？ 目前官网上列出的第三方模块、简直就是http模块的镜像、比如access模块访问控制ip和ip段，map模块实现映射、 geo模块实现地理位置映射、等等。使用
手把手教你Nginx常用模块详解之ngx_stream_upstream_module(八)
菜鸟路上的小白
08-14 1870
max_fails= number设置在fail_timeout参数设置的持续时间内应该发生的与服务器通信失败的次数，以便在参数设置的持续时间内将服务器视为不可用fail_timeout。如果在与服务器通信期间发生错误，则连接将被传递到下一个服务器，等等，直到所有正在运行的服务器都将被尝试。最高优先级的SRV记录（具有相同的最低优先级值的记录）被解析为主服务器，其余的SRV记录被解析为备份服务器。指定组应该使用负载平衡方法，其中考虑到服务器的权重，将连接传递给平均时间最少且活动连接数最少的服务器。.....
nginx配置tcp负载均衡
hqzxsc2006的专栏
07-30 684
stream { log_format proxy '$remote_addr [$time_local] ' '$protocol $status $bytes_sent $bytes_received ' '$session_time "$upstream_addr" ' '"$ups...
Nginx之数据流代理stream模块简介和使用 ---九五小庞
qq_37241964的博客
07-14 517
一、stream模块简介   stream模块一般用于TCP/UDP数据流的代理和负载均衡，通过stream模块我们可以代理转发tcp报文。ngx_stream_core_module模块从1.9.0版开始提供。默认情况下，此模块不是构建的，应该使用–with stream配置参数启用它，即我们需要使用./configure --with-stream的方式在编译的时候将stream模块添加进去...
Nginx stream 模块数据流程分析
weixin_42906485的博客
03-12 2829
1.nginx stream 模块 从nginx1.9.0开始，新增加了stream模块用来实现四层协议的转发、代理和负载均衡。与著名的四层LB软件lvs相比，stream 模块(开源版)无论从功能还是性能上，都有一定的差距，实现也相对简单。 从原理上来说，stream模块在应用层实现四层的转发，需要与两端建立起socket连接以后，来实现两端的数据收发进行代理转发。因此，大量的数据从内核态到...
nginx的几个超时时间
热门推荐
johnhuster的专栏
03-18 2万+
nginx比较强大,可以针对单个域名请求做出单个连接超时的配置. 比如些动态解释和静态解释可以根据业务的需求配置 proxy_connect_timeout:后端服务器连接的超时时间_发起握手等候响应超时时间 proxy_read_timeout:连接成功后_等候后端服务器响应时间_其实已经进入后端的排队之中等候处理（也可以说是后端服务器处理请求的时间） proxy_send_time...
Nginx服务器配置性能优化方案
01-20
nginx.conf文件中，Nginx中有少数的几个高级配置在模块部分之上。 user www-data; pid /var/run/nginx.pid; worker_processes auto; worker_rlimit_nofile 100000; user和pid应该按默认设置 – 我们不会更改...
Nginx软件及Nginx高性能Web服务器详解.zip
01-22
Nginx的安装和基础配置、优化配置，Nginx服务器的高级配置，服务器的代理服务，Nginx在Jsp、PHP网站建设中的使用。
PHP 高级课程 商品秒杀系统 高并发高性能
08-14
Linux / Nginx / Mysql / Redis 基础平台工具，搭配PHP原生代码 不在局限框架选择 掌握系统设计与方法 从需求分析、数据结构创建 到基础功能开发、程序优化 实现完整开发思路 实现系统极致优化
Nginx版UPUPW PHP绿色服务器平台
02-13
支持高级服务清理工具； 支持UPUPW安全防护功能； 支持PHP功能组件开启关闭； 支持主机性能适配功能； 支持生产开发环境选项； 支持FTP服务器端管理模块； 支持UPUPW配置文件的备份与还原。
Nginx（22）-网络传输层负载均衡-Stream和Mail
davidwkx的博客
12-06 987
前面章节主要讲述Nginx对http协议的支持，这也是Nginx使用最广泛的功能。本节补充讲述Nginx对Stream协议和Mail协议的支持。
【Nginx41】Nginx学习：Stream四层负载均衡浅尝及总结
硬核项目经理
11-13 1011
Nginx学习：Stream四层负载均衡浅尝及总结学习了这么久，也该有个结束了，在最后一篇中，我们先来看一下 Nginx 做四层代理并实现负载均衡的模块。这个和 HTTP 模块中的七层代理没啥差别，就简单演示一下。最后，再稍稍总结一下，主要就是讲讲我们还有哪些东西没讲到。毕竟整个 Nginx 体系就是一个应用服务器体系的学习，牵涉到的东西还有很多。那么出于什么原因咱们不再继续了呢？别急，下面会说出...
Nginx请求处理时间过长问题解决
qq_41512902的博客
08-10 1万+
Nginx请求处理时间过长问题解决
nginx负载均衡的5种策略（转载）
weixin_30376509的博客
05-17 138
nginx可以根据客户端IP进行负载均衡，在upstream里设置ip_hash，就可以针对同一个C类地址段中的客户端选择同一个后端服务器，除非那个后端服务器宕了才会换一个。 nginx的upstream目前支持的5种方式的分配 1、轮询（默认）每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器down掉，能自动剔除。upstream backserver {ser...
nginx-s3-gateway
10-23
其次，由于将Nginx作为代理服务器，可以使用Nginx提供的高级反向代理和负载均衡功能。这使得在大规模文件传输时能够更好地分发负载和优化网络连接。 此外，nginx-s3-gateway还提供了对Amazon S3存储桶的访问控制和...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值