Nginx优化 - 01

Nginx优化

一、什么是优化
1.了解知识
# nginx进程的两种工作方式

master  调度
worker  工作 #最多也就几百并发

1、首先需要了解我们当前系统的结构和瓶颈,了解当前使用的是什么,运行的是什么业务,都有哪些服务,了解每个服务最大能支撑多少并发。比如nginx作为静态资源服务并发是多少,最高瓶颈在哪里,能支持多少qps(每秒查询率)的访问请求,那我们怎么得出这组系统结构瓶颈呢,比如top查看系统的CPU负载、内存使用率、总得运行进程等,也可以通过日志去分析请求的情况,当然也可以通过我们前面介绍到的stub_status模块查看当前的连接情况,也可以对线上的业务进行压力测试(低峰期),去了解当前这套系统能承担多少的请求和并发,以做好响应的评估。这个是我们做性能优化最先考虑的地方。  
## 服务的极限 最高支持50000并发

2、其次我们需要了解业务模式,虽然我们是做性能优化,但每一个性能的优化都是为业务所提供的服务的,我们需要了解每个业务接口的类型,比如:电商网站中的抢购模式,这种情况下,平时没什么流量,但到了抢购时间流量会突增。我们还需要了解系统层次化的结构,比如:我们使用nginx做的是代理、还是动静分离、还是后端直接服务用户,那么这个就需要我们对每一层做好相应的梳理。以便更好的服务业务。

3、最后我们需要考虑性能与安全,往往注重了性能,但是忽略了安全。往往过于注重安全,对性能又会产生影响。比如:我们在设计防火墙功能时,检测过于严密,这样就会给性能带来影响。那么如果对于性能完全追求,却不顾服务的安全,这个也会造成很大的隐患,所以需要评估好两者的关系,把握好两者的孰重孰轻。以及整体的相关性,权衡好对应的点。
1.首先需要了解我们当前系统的结构和瓶颈
# 结构和瓶颈 : 了解我们的服务器的各个配置,例如负载均衡,如果至于七层,表示我们端口至于65535个,假如用户访问量多,可能会不够,那是否需要做4层负载均衡添加端口。
# 了解七层负载均衡下面的web服务器的硬件性能都是怎样的,内存,硬件,CPU。目前现在的web服务器够支持服务吗?
# mysql有多少台.假如客户的访问量大,导致WEB端访问mysql的量也大,那么mysql是否做了主从,以及读写分离,分担数据库的压力。
# 静态共享文件用的是什么?是NFS还是分布式文件系统?、、

2、其次我们需要了解业务模式,
# 例如双十一电商网站中的抢购模式,这种情况下,平时没什么流量,但到了抢购时间流量会突增。我们还需要了解系统层次化的结构,登录,用户管理,购物车,支付,浏览,双十一的时候,会对,购物车,支付以及浏览的要求量比较大,这时候,我们是否应该针对购物车,支付,以及浏览的web端多添加一台机器,缓解压力。
`重点来说,看自己的业务模式,针对压力大的服务,来进行优化,或者添加硬件配置。

3.我们还需要了解系统层次化的结构

4.最后我们需要考虑性能与安全
# 对于性能以及安全,查看公司的业务系统,是关于金融,游戏。电商等,各个不同,对于安全性以及性能的取舍也不同。
2.Nginx从哪些方面入手进行优化
# OSI七层模型:物理层,数据链路层,网络层,传输层,会话层,表示层,应用层

# 1.物理层,硬件:
		1、nginx做负载均衡只需要cpu核心多一些
		2、静态资源存储,磁盘大一些
		3、nginx做动态资源代理,CPU
		4、ES,redis服务内存需要大一些
		
# 2.网络层:
		1、丢包、延迟
		2、带宽
		
# 3.系统:对linux系统优化
		1、打开文件数 --- #文件描述符
	 	2、端口复用 --- # 强制使用time_wait端口
	 	'即服务器之间的连接,例如web01的'7890'端口连接数据库的'80'端口,他们之间的连接也是tcp3次握手协议。针对TCP4次挥手。因为在服务端结束后,也就是第三次挥手的时候会有个'time_wait'等待释放时间,这个时间段大概是1-4分钟,在这1-4分钟内不能使用,在这个时间内,端口不会迅速的被释放,所以可通过端口复用的方法来解决这个问题'
	 	
# 4.应用:tcp长连接 -- (比较块,一次链接,多次请求)
		不仅仅是用户访问服务器的,'负载均衡的keepalived',负载均衡连接web,web连接php,数据库,共享文件等,都是短链接,需要我们优化为长链接。

# 5.服务:服务的针对性优化
3.影响性能的指标
1.网络   # 丢包,延迟
2.系统   # 文件描述符,端口的复用,系统的内存/负载
3.服务   # 
4.程序   # 开发代码(不关我们事)
5.数据库 # 读写分离,主从,高可用,索引等。
二、ab测试工具
1.安装ab测试工具
为什么用nginx做web服务?nginx性能最优,在处理静态文件速度比apache,tomcat快。
用ab测试工具,测试tomcat以及nginx之间,那个处理的速度比较快。

#查看命令所在的包
[root@web01 ~]# yum provides ab

#安装ab
[root@web01 ~]# yum install -y httpd-tools
2.工具使用
[root@web01 ~]# ab -n 200 -c 2 http://www.baidu.com/  ##必须加根/

-n	请求的次数
-c	请求的并发数
-k	开启长连接

Usage: ab [options] [http[s]://]hostname[:port]/path
3.配置nginx网站
[root@web01 conf.d]# vim linux.ab.com.conf 
server {
    listen 80;
    server_name linux.ab.com;
    root /mm;

    location / {
        try_files $uri $uri/ @java;
    }

    location @java {
        proxy_pass http://172.16.1.8:8080;
    }
}

[root@web01 conf.d]# echo "test nginx web" > /mm/index.html

[root@web01 conf.d]# echo "test try_file" > /mm/index.html

# 授权: chown -R www.www /mm/
## 检查nginx -t 并重启

[root@web01 conf.d]# systemctl restart nginx

本地hosts访问  10.10.0.7 linux12.ab.com
4.配置hosts压测nginx访问静态资源 #nginx 测试的比较快
[root@web01 conf.d]# vim /etc/hosts

10.10.0.7 linux12.ab.com

[root@web01 conf.d]# ab -n 50000 -c 200 http://linux12.ab.com/

Concurrency Level:      200
Time taken for tests:   10.534 seconds
Complete requests:      50000
Failed requests:        0
Write errors:           0
Total transferred:      13600000 bytes
HTML transferred:       1000000 bytes
Requests per second:    4746.50 [#/sec] (mean)
Time per request:       42.136 [ms] (mean)
Time per request:       0.211 [ms] (mean, across all concurrent requests)
Transfer rate:          1260.79 [Kbytes/sec] received

5.压测tomcat访问静态资源
[root@web01 conf.d]# mv /mm/ /mmbak

[root@web01 conf.d]# ab -n 50000 -c 200 http://linux12.ab.com/
Server Software:        nginx/1.18.0
Server Hostname:        linux12.ab.com
Server Port:            80

Document Path:          /
Document Length:        20 bytes

Concurrency Level:      200
Time taken for tests:   9.664 seconds
Complete requests:      50000
Failed requests:        0
Write errors:           0
Total transferred:      13600000 bytes
HTML transferred:       1000000 bytes
Requests per second:    5173.97 [#/sec] (mean)
Time per request:       38.655 [ms] (mean)
Time per request:       0.193 [ms] (mean, across all concurrent requests)
Transfer rate:          1374.34 [Kbytes/sec] received
6.压测httpd访问静态资源
[root@web01 conf.d]# yum install -y httpd
[root@web01 conf.d]# echo "test httpd" > /var/www/html/index.html
[root@web01 conf.d]# systemctl stop nginx
[root@web01 conf.d]# systemctl start httpd

[root@web01 conf.d]# ab -n 50000 -c 200 http://10.10.0.7/
Server Software:        Apache/2.4.6
Server Hostname:        10.10.0.7
Server Port:            80

Document Path:          /
Document Length:        11 bytes

Concurrency Level:      200
Time taken for tests:   8.925 seconds
Complete requests:      50000
Failed requests:        0
Write errors:           0
Total transferred:      14050000 bytes
HTML transferred:       550000 bytes
Requests per second:    5602.52 [#/sec] (mean)
Time per request:       35.698 [ms] (mean)
Time per request:       0.178 [ms] (mean, across all concurrent requests)
Transfer rate:          1537.41 [Kbytes/sec] received

7.结论
nginx处理静态资源的速度比其他web服务要快 (5倍左右)
8.tomcat正经安装方式
8.1.下载或上传tomcat包
[root@web01 ~]# mkdir /service
[root@web01 ~]# cd /service
[root@web01 service]# ll
total 5884
-rw-r--r-- 1 root root 6022059 Apr 10 16:29 apache-tomcat-9.0.41-src.tar.gz
8.2 解压代码包
# 1.上传并解压至指定文件夹
[root@web01 service]# tar xf jdk-8u40-linux-x64.gz -C /service/
[root@web01 service]# mv jdk1.8.0_40 java1.8

# 2.安装tomcat  # 第二种方式
[root@lb02 script]# yum install java-1.8.0-openjdk -y
[root@lb02 script]# https://mirrors.bfsu.edu.cn/apache/tomcat/tomcat-9/v9.0.45/bin/apache-tomcat-9.0.45.tar.gz
[root@lb02 script]# tar -xf apache-tomcat-9.0.45.tar.gz -C /usr/local

# 3.修改添加环境变量
[root@web01 service]# vim /etc/profile.d/java.sh
export JAVA_HOME=/service/java1.8
export JRE_HOME=/service/java1.8/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$PATH:$JAVA_HOME/bin
[root@web01 service]# source /etc/profile
8.3配置tomcat页面
[root@web01 service]# echo "linux12_tomcat" > apache-tomcat-8.5.51/webapps/ROOT/index.html
[root@lb02 apache-tomcat-9.0.45]# java -version #tomcat成功
openjdk version "1.8.0_292"
OpenJDK Runtime Environment (build 1.8.0_292-b10)
OpenJDK 64-Bit Server VM (build 25.292-b10, mixed mode)
8.4启动tomcat,启动的时候最好看着日志
[root@web01 service]# /service/apache-tomcat-8.5.51/bin/startup.sh            #启动tomcat 

[root@web01 service]# /service/apache-tomcat-8.5.51/bin/ shutdown.sh           # 停止tomcat

[root@web01 service]#tail -f /service/apache-tomcat-8.5.51/logs/catalina.out   #日志监控
三、系统优化
1.文件句柄优化–可打开的最大文件数量
# 1、查看文件句柄数设置

[root@lb01 ~]# ulimit -n
1024

# 2.查看打开的文件句柄数 (安装lsof软件)

[root@lb01 ~]# lsof | wc -l
3061
[root@web01 ~]# lsof | wc -l
5060

# 3.查看指定服务的打开文件句柄数

[root@web01 ~]# lsof -p 31491  | wc -l   #31491  :查看同一个服务打开的所有文件数是多少。

# 4.设置文件句柄数 -- 系统全局的设置

[root@web01 ~]# vim /etc/security/limits.conf
* - nofile 65535
* soft nofile 65535
* hard nofile 65535 
*		#所有用户
-		#当超过设置的文件句柄数时,什么都不干
soft	#当超过设置的文件句柄数时,仅提示
hard	#当超过设置的文件句柄数时,直接限制

# 5.设置文件句柄数 -- 用户局部局的设置

[root@web01 ~]# vim /etc/security/limits.conf
root - nofile 65535
root soft nofile 65535
root hard nofile 65535

# 6.针对某一个服务设置 文件巨柄

'以NGINX为例子,修改它的文件句柄,其他的服务通路,找到某项服务的主配置文件,
[root@lb01 ~]# vim /etc/nginx/nginx.conf 
user  www;
worker_processes  1;
worker_rlimit_nofile 65535; # 修改nignx的最大文件句柄为65535.
2、系统通用优化 (内核优化)
[root@lb01 ~]# sysctl -a   #全部内核参数
[root@lb01 ~]# cat /etc/sysctl.conf  #这个文件夹也可以
net.ipv4.tcp_fin_timeout = 2
net.ipv4.tcp_tw_reuse = 1

[root@lb01 ~]# vim /etc/sysctl.conf
net.ipv4.tcp_fin_timeout = 2
net.ipv4.tcp_tw_reuse = 1  #tw 就是time wait  开启time wait 使用
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_keepalive_time = 600
net.ipv4.ip_local_port_range = 4000 65000
net.ipv4.tcp_max_syn_backlog = 16384
net.ipv4.tcp_max_tw_buckets = 36000
net.ipv4.route.gc_timeout = 100
net.ipv4.tcp_syn_retries = 1
net.ipv4.tcp_synack_retries = 1
net.core.somaxconn = 16384
net.core.netdev_max_backlog = 16384
net.ipv4.tcp_max_orphans = 16384
net.ipv4.ip_forward = 1    #开启IP转发,默认是开启的

[root@lb01 conf.d]# sysctl -p   #生效
四、代理服务优化
# tcp长连接 -- (比较块,一次链接,多次请求)
# 不仅仅是用户访问服务器的,'负载均衡的keepalived',负载均衡连接web,web连接php,数据库,共享文件等,都是短链接,需要我们用到代理,优化为长链接。

1.配置用户访问负载均衡的长连接
[root@lb01 ~]# vim /etc/nginx/nginx.conf
... ...
http {
	... ...
	keepalive_timeout  65;
	... ...
}

2.配置负载均衡代理到web的长连接
[root@lb01 ~]# vim /etc/nginx/conf.d/linux12.keep.com.conf
upstream tomcat {
    server 172.16.1.7:8080;
    keepalive 8;  #配置开启长连接,16,32也是同样开启长连接
}

server {
    listen 80;
    server_name linux12.keep.com;

    location / {
        proxy_pass http://tomcat;
        proxy_http_version 1.1;             #代理带后端的http版本,1.0是短链接,1.1是长链接。
        proxy_set_header Connection "";	    #清除请求头字段
        include proxy_params;
    }
}

# 代理nginx也可以  把8080改成80就行

3.配置web代理到php保持长连接
[root@web01 ~]# vim /etc/nginx/conf.d/linux12.wp.com.conf 
## 这是基于负载均衡,使用我代理我自己方式,开启长链接。
upstream php_server {
    server 127.0.0.1:9000;
}

server {
    listen 80;
    server_name linux12.wp.com;

    location / {
        root /mm/wordpress;
        index index.php;
    }

    location ~* \.php$ {
        fastcgi_pass php_server;
        fastcgi_param SCRIPT_FILENAME /mm/wordpress/$fastcgi_script_name;
        fastcgi_param HTTPS on;
        fastcgi_keep_conn on;  # 表示对于'php_server'开启长链接
        include fastcgi_params; 
    }
}

4.代理优化配置
[root@lb01 ~]# vim /etc/nginx/proxy_params 
proxy_set_header Host $http_host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_connect_timeout 20s;
proxy_read_timeout 20s;
proxy_send_timeout 20s;
proxy_buffering on;
proxy_buffer_size 8k;
proxy_buffers 8 8k;
proxy_next_upstream http_500 http_502 http_503 http_504;

五、静态资源优化
1.静态资源缓存
# 类型	         后缀
图片文件	gif、png、jpg、jpeg
视频文件	mp4、avi、rmvb
其他文件	txt、xml、pdf
样式文件	css、js、html

2.静态资源缓存
## 此都是在浏览器的内容

#响应头部
cache-control: no-cache, max-age=0, must-revalidate
expires: Fri, 01 Jan 1980 00:00:00 GMT
last-modified: Mon, 28 Sep 1970 06:00:00 GMT
ETag: "5fd6c1d9-7cda"

#请求头部
If-None-Match: "5fs2c4d9-7cda"
If-Modified-Since: Sat, 13 Sep 2021 15:43:09 GMT

3、浏览器缓存
# 1、浏览器缓存原理
1.浏览器先去查看响应头部的 cache-control
2.如果没有超过缓存时间,直接返回浏览器缓存的内容
3.如果 cache-control 设置为 no-cache,浏览器会继续去读取 expires
4.如果没有到达 expires 设置的时间,那么浏览器会读取缓存
5.如果 cache-control 和 expires 都没有设置
6.浏览器会去查看服务器上面的 ETag
7.服务器上如果有 ETag,那么浏览器会拿着 If-None-Match 与其对比,如果值相同,那么走缓存
8.如果 ETag 与 If-None-Match 不同,浏览器会读取服务器上的 last-modified
9.服务器上如果有 last-modified,那么浏览器会拿着 If-Modified-Since 与其对比,如果值相同,那么走缓存
10.如果 last-modified 与 If-Modified-Since 不同,则不走缓存,需要重新到服务器上获取数据并返回

# 2、浏览器缓存参数含义
1.cache-control:    `缓存控制,记录的是文件的保留时长
2.expires:          `缓存到期时间
3.ETag:             `服务器上保留的文件的唯一识别符
4.If-None-Match:    `浏览器上上保留的文件的唯一识别符
5.last-modified:    `服务器上保留的文件的最后修改时间
6.If-Modified-Since:`浏览器上保留的文件的最后修改时间
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

FikL-09-19

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值