【nginx 扩容及常用模块扩展】

wjp_somnus

已于 2023-01-29 09:00:50 修改

阅读量1.7k

点赞数 2

文章标签：服务器 nginx 运维

于 2023-01-28 15:20:47 首次发布

本文链接：https://blog.csdn.net/wjp_somnus/article/details/128778101

版权

Nginx高级

第一部分：扩容

通过扩容提升整体吞吐量

1.单机垂直扩容：硬件资源增加

云服务资源增加
整机：IBM、浪潮、DELL、HP等
CPU/主板：更新到主流
网卡：10G/40G网卡
磁盘：SAS(SCSI) HDD（机械）、HHD（混合）、SATA SSD、PCI-e SSD、 MVMe SSD
SSD
多副本机制
系统盘/热点数据/数据库存储
HDD
冷数据存储

2.水平扩展：集群化

会话管理

Nginx高级负载均衡

ip_hash (适用于中小型的项目 ,问题:1. ip 集中 2.后端转发的服务器宕机,关键数据的丢失,session)

hash $cookie_jsessionid; #1.登录系统,会下发一个文件->客户端 2.客户端携带这个 cookie 去访问服务 3.tomcat ,java 才会下发 jsessionid ,如果是其他服务,没有携带这个字段,所以没法进行 hash

hash $request_uri; #1.某些终端设备不支持 cookie 的情况 2.资源不平均分配

使用lua逻辑定向分发 (使用 lua 对nginx 进行2次开发)

Redis + SpringSession

   upstream httpds {
   ip_hash;   #nginx 自带的模块
   #hash    $request_uri;
   server 192.168.44.102 ;
   server 192.168.44.103 ;
   }


    server {
        listen       80;
        server_name  localhost;

        location / {
	    proxy_pass http://httpds;

      	# root   html;
        }
    
    
    
       location ~*/(css|img|js) {
     
        root   /usr/local/nginx/html;

    }

使用sticky模块完成对Nginx的负载均衡

使用参考

http://nginx.org/en/docs/http/ngx_http_upstream_module.html#sticky

tengine中有session_sticky模块我们通过第三方的方式安装在开源版本中

sticky是第三方模块，需要重新编译Nginx,他可以对Nginx这种静态文件服务器使用基于cookie的负载均衡.增加cookies 的字段.优化三次握手,网络开销

1.下载模块

项目官网

https://bitbucket.org/nginx-goodies/nginx-sticky-module-ng/src/master/

另外一个版本

https://github.com/bymaximus/nginx-sticky-module-ng

下载

https://bitbucket.org/nginx-goodies/nginx-sticky-module-ng/get/1.2.6.zip

2.上传解压

3.重新编译Nginx

依赖openssl-devel

进到源码目录重新编译

./configure --prefix=/usr/local/nginx --add-module=/root/nginx-goodies-nginx-sticky-module-ng-c78b7dd79d0d

执行make

如遇报错修改源码

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-eHVi4I0u-1674889403582)(C:\Users\wjp\AppData\Roaming\Typora\typora-user-images\image-20221121093106776.png)]

打开 ngx_http_sticky_misc.c文件

在12行添加

#include <openssl/sha.h>
#include <openssl/md5.h>

备份之前的程序

mv /usr/local/nginx/sbin/nginx /usr/local/nginx/sbin/nginx.old

把编译好的Nginx程序替换到原来的目录里

cp objs/nginx /usr/local/nginx/sbin/

升级检测

make upgrade

检查程序中是否包含新模块

nginx -V

配置方法

upstream httpget {

sticky name=route expires=6h;   #定义的字段的名称,不能和java 下发的jsessionid 重复,  存活的时间6Hour

server 192.168.44.102;
server 192.168.44.103;
}

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4aA6XFbu-1674889403583)(C:\Users\wjp\AppData\Roaming\Typora\typora-user-images\image-20221124195520050.png)]

KeepAlive

在http协议header中可以看到当前连接状态

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Gmb1zwHi-1674889403583)(C:\Users\wjp\AppData\Roaming\Typora\typora-user-images\image-20221122152502551.png)]

测试工具charles,抓包工具-商业的

下载地址

https://www.charlesproxy.com/assets/release/4.6.2/charles-proxy-4.6.2-win64.msi?k=fc1457e312

官网

https://www.charlesproxy.com

什么时候使用？

明显的预知用户会在当前连接上有下一步操作

复用连接，有效减少握手次数，尤其是https建立一次连接开销会更大

什么时候不用？

访问内联资源一般用缓存，不需要keepalive,图片啥的

长时间的tcp连接容易导致系统资源无效占用

对客户端使用keepalive

keepalive_time

限制keepalive保持连接的最大时间

1.19.10新功能

keepalive_timeout

用于设置Nginx服务器与客户端保持连接的超时时间

用于踢出不活动连接

keepalive_timeout = 0 即关闭

send_timeout 10; 10秒
send_timeout 10 10; 同时下发一个header 告诉浏览器

send_timeout

两次向客户端写操作之间的间隔如果大于这个时间则关闭连接默认60s

此处有坑，注意耗时的同步操作有可能会丢弃用户连接

该设置表示Nginx服务器与客户端连接后，某次会话中服务器等待客户端响应超过10s，就会自动关闭连接。

keepalive_request

默认1000

单个连接中可处理的请求数

keepalive_disable

不对某些浏览器建立长连接

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9JbbgVm3-1674889403584)(C:\Users\wjp\AppData\Roaming\Typora\typora-user-images\image-20221122153407241.png)]

默认msie6

http {
    include       mime.types;
    default_type  application/octet-stream;


    sendfile        on;


    keepalive_timeout  65 65; #超过这个时间 没有活动，会让keepalive失效  ,两个参数因为 http: v1.0 和 1.1 区别的参数
    keepalive_time 1h; # 一个tcp连接总时长，超过之后 强制失效
  
    send_timeout 60;# 默认60s  此处有坑！！ 系统中 若有耗时操作，超过 send_timeout 强制断开连接。 注意：准备过程中，不是传输过程


    keepalive_requests 1000;  #一个tcp复用中 可以并发接收的请求个数

对上游服务器使用keepalive

首先需要配置使用http1.1协议。以便建立更高效的传输，默认使用http1.0，在http1.0中需要配置header才能

在Upstream中所配置的上游服务器默认都是用短连接，即每次请求都会在完成之后断开

AB安装

yum install httpd-tools

参数说明：

-n 即requests，用于指定压力测试总共的执行次数。
-c 即concurrency，用于指定的并发数。
-t 即timelimit，等待响应的最大时间(单位：秒)。
-b 即windowsize，TCP发送/接收的缓冲大小(单位：字节)。
-p 即postfile，发送POST请求时需要上传的文件，此外还必须设置-T参数。
-u 即putfile，发送PUT请求时需要上传的文件，此外还必须设置-T参数。
-T 即content-type，用于设置Content-Type请求头信息，例如：application/x-www-form-urlencoded，默认值为text/plain。
-v 即verbosity，指定打印帮助信息的冗余级别。
-w 以HTML表格形式打印结果。
-i 使用HEAD请求代替GET请求。
-x 插入字符串作为table标签的属性。
-y 插入字符串作为tr标签的属性。
-z 插入字符串作为td标签的属性。
-C 添加cookie信息，例如：“Apache=1234”(可以重复该参数选项以添加多个)。
-H 添加任意的请求头，例如：“Accept-Encoding: gzip”，请求头将会添加在现有的多个请求头之后(可以重复该参数选项以添加多个)。
-A 添加一个基本的网络认证信息，用户名和密码之间用英文冒号隔开。
-P 添加一个基本的代理认证信息，用户名和密码之间用英文冒号隔开。
-X 指定使用的和端口号，例如:“126.10.10.3:88”。
-V 打印版本号并退出。
-k 使用HTTP的KeepAlive特性。
-d 不显示百分比。
-S 不显示预估和警告信息。
-g 输出结果信息到gnuplot格式的文件中。
-e 输出结果信息到CSV格式的文件中。
-r 指定接收到错误信息时不退出程序。
-h 显示用法信息，其实就是ab -help。

直连nginx,简单页面

ab -n 10000 -c 30 http://192.168.1.1/ # 后端服务器的承载量

Server Software:        nginx/1.21.6
Server Hostname:        192.168.44.102
Server Port:            80

Document Path:          /
Document Length:        16 bytes

Concurrency Level:      30
Time taken for tests:   13.035 seconds
Complete requests:      100000
Failed requests:        0
Write errors:           0
Total transferred:      25700000 bytes
HTML transferred:       1600000 bytes
Requests per second:    7671.48 [#/sec] (mean)   # qps , nginx 每秒处理的请求,(每秒的并发量)
Time per request:       3.911 [ms] (mean)
Time per request:       0.130 [ms] (mean, across all concurrent requests)
Transfer rate:          1925.36 [Kbytes/sec] received  #吞吐量

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:        0    0   0.4      0      12
Processing:     1    3   1.0      3      14
Waiting:        0    3   0.9      3      14
Total:          2    4   0.9      4      14

Percentage of the requests served within a certain time (ms)
  50%      4
  66%      4
  75%      4
  80%      4
  90%      5
  95%      5
  98%      6
  99%      7
 100%     14 (longest request)

反向代理

Server Software:        nginx/1.21.6
Server Hostname:        192.168.44.101
Server Port:            80

Document Path:          /
Document Length:        16 bytes

Concurrency Level:      30
Time taken for tests:   25.968 seconds
Complete requests:      100000
Failed requests:        0
Write errors:           0
Total transferred:      25700000 bytes
HTML transferred:       1600000 bytes
Requests per second:    3850.85 [#/sec] (mean)
Time per request:       7.790 [ms] (mean)
Time per request:       0.260 [ms] (mean, across all concurrent requests)
Transfer rate:          966.47 [Kbytes/sec] received

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:        0    0   0.2      0      13
Processing:     3    8   1.4      7      22
Waiting:        1    7   1.4      7      22
Total:          3    8   1.4      7      22

Percentage of the requests served within a certain time (ms)
  50%      7
  66%      8
  75%      8
  80%      8
  90%      9
  95%     10
  98%     12
  99%     13
 100%     22 (longest request)

直连Tomcat

Server Software:        
Server Hostname:        192.168.44.105
Server Port:            8080

Document Path:          /
Document Length:        7834 bytes

Concurrency Level:      30
Time taken for tests:   31.033 seconds
Complete requests:      100000
Failed requests:        0
Write errors:           0
Total transferred:      804300000 bytes
HTML transferred:       783400000 bytes
Requests per second:    3222.38 [#/sec] (mean)
Time per request:       9.310 [ms] (mean)
Time per request:       0.310 [ms] (mean, across all concurrent requests)
Transfer rate:          25310.16 [Kbytes/sec] received

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:        0    0   0.3      0      15
Processing:     0    9   7.8      7     209
Waiting:        0    9   7.2      7     209
Total:          0    9   7.8      7     209

Percentage of the requests served within a certain time (ms)
  50%      7
  66%      9
  75%     11
  80%     13
  90%     18
  95%     22
  98%     27
  99%     36
 100%    209 (longest request)

nginx反向代理Tomcat + keepalive

Server Software:        nginx/1.21.6
Server Hostname:        192.168.44.101
Server Port:            80

Document Path:          /
Document Length:        7834 bytes

Concurrency Level:      30
Time taken for tests:   23.379 seconds
Complete requests:      100000
Failed requests:        0
Write errors:           0
Total transferred:      806500000 bytes
HTML transferred:       783400000 bytes
Requests per second:    4277.41 [#/sec] (mean)
Time per request:       7.014 [ms] (mean)
Time per request:       0.234 [ms] (mean, across all concurrent requests)
Transfer rate:          33688.77 [Kbytes/sec] received

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:        0    0   0.2      0       9
Processing:     1    7   4.2      6     143
Waiting:        1    7   4.2      6     143
Total:          1    7   4.2      6     143

Percentage of the requests served within a certain time (ms)
  50%      6
  66%      7
  75%      7
  80%      7
  90%      8
  95%     10
  98%     13
  99%     16
 100%    143 (longest request)

nginx反向代理Tomcat

Server Software:        nginx/1.21.6
Server Hostname:        192.168.44.101
Server Port:            80

Document Path:          /
Document Length:        7834 bytes

Concurrency Level:      30
Time taken for tests:   33.814 seconds
Complete requests:      100000
Failed requests:        0
Write errors:           0
Total transferred:      806500000 bytes
HTML transferred:       783400000 bytes
Requests per second:    2957.32 [#/sec] (mean)
Time per request:       10.144 [ms] (mean)
Time per request:       0.338 [ms] (mean, across all concurrent requests)
Transfer rate:          23291.74 [Kbytes/sec] received

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:        0    0   0.2      0       9
Processing:     1   10   5.5      9     229
Waiting:        1   10   5.5      9     229
Total:          1   10   5.5      9     229

Percentage of the requests served within a certain time (ms)
  50%      9
  66%     10
  75%     11
  80%     11
  90%     13
  95%     14
  98%     17
  99%     19
 100%    229 (longest request)

UpStream工作流程

proxy_pass 向上游服务器请求数据共有6个阶段

初始化
与上游服务器建立连接
向上游服务器发送请求
处理响应头
处理响应体
结束

set_header

设置header

proxy_connect_timeout

与上游服务器连接超时时间、快速失败

proxy_send_timeout

定义nginx向后端服务发送请求的间隔时间(不是耗时)。默认60秒，超过这个时间会关闭连接

proxy_read_timeout

后端服务给nginx响应的时间，规定时间内后端服务没有给nginx响应，连接会被关闭，nginx返回504 Gateway Time-out。默认60秒

缓冲区

proxy_requset_buffering

是否完全读到请求体之后再向上游服务器发送请求

proxy_buffering

是否缓冲上游服务器数据

proxy_buffers 32 64k;

缓冲区大小 32个 64k大小内存缓冲块

proxy_buffer_size

header缓冲区大小

proxy_requset_buffering on;
proxy_buffering on;    #body 部分 是否开启 缓冲读到的数据, on 开启, off 关闭

proxy_buffer_size 64k;

proxy_buffers 32 128k;    #32 个 128k 的缓冲块,去缓存 后端服务器发过来的请求资源
proxy_busy_buffers_size 8k;
proxy_max_temp_file_size 1024m;

proxy_temp_file_write_size 8k

当启用从代理服务器到临时文件的响应的缓冲时，一次限制写入临时文件的数据的大小。默认情况下，大小由proxy_buffer_size和proxy_buffers指令设置的两个缓冲区限制。临时文件的最大大小由proxy_max_temp_file_size指令设置。

proxy_max_temp_file_size 1024m;

临时文件最大值-(proxy-pass 读到向磁盘写入的最大值)

proxy_temp_path

proxy_temp_path /spool/nginx/proxy_temp 1 2;  #设置存储的路径和存储的层级,分多少个目录存储

a temporary file might look like this:

/spool/nginx/proxy_temp/7/45/00000123457

对客户端的限制

可配置位置

http
server
location

client_body_buffer_size

对客户端请求中的body缓冲区大小

默认32位8k 64位16k

如果请求体大于配置，则写入临时文件

client_header_buffer_size

设置读取客户端请求体的缓冲区大小。如果请求体大于缓冲区，则将整个请求体或仅将其部分写入临时文件。默认32位8K。 64位平台16K。

client_max_body_size 1000M;

默认1m，如果一个请求的大小超过配置的值，会返回413 (request Entity Too Large)错误给客户端

将size设置为0将禁用对客户端请求正文大小的检查。

client_body_timeout

指定客户端与服务端建立连接后发送 request body 的超时时间。如果客户端在指定时间内没有发送任何内容，Nginx 返回 HTTP 408（Request Timed Out）

client_header_timeout

客户端向服务端发送一个完整的 request header 的超时时间。如果客户端在指定时间内没有发送一个完整的 request header，Nginx 返回 HTTP 408（Request Timed Out）。

client_body_temp_path path [level1 [level2 [level3`]]]

在磁盘上客户端的body临时缓冲区位置

client_body_in_file_only on;

把body写入磁盘文件，请求结束也不会删除.(和 debug 类似, 调优,排查,分析用,生产慎用)

client_body_in_single_buffer

尽量缓冲body的时候在内存中使用连续单一缓冲区，在二次开发时使用$request_body读取数据时性能会有所提高

client_header_buffer_size

设置读取客户端请求头的缓冲区大小

如果一个请求行或者一个请求头字段不能放入这个缓冲区，那么就会使用large_client_header_buffers

large_client_header_buffers

默认8k

反向代理中的容错机制

参考文档

https://docs.nginx.com/nginx/admin-guide/load-balancer/http-load-balancer/

http://nginx.org/en/docs/stream/ngx_stream_proxy_module.html#proxy_bind

proxy_timeout

重试机制

proxy_next_upstream

作用：

当后端服务器返回指定的错误时，将请求传递到其他服务器。

error与服务器建立连接，向其传递请求或读取响应头时发生错误;

timeout在与服务器建立连接，向其传递请求或读取响应头时发生超时;

invalid_header服务器返回空的或无效的响应;

http_500服务器返回代码为500的响应;

http_502服务器返回代码为502的响应;

http_503服务器返回代码为503的响应;

http_504服务器返回代码504的响应;

http_403服务器返回代码为403的响应;

http_404服务器返回代码为404的响应;

http_429服务器返回代码为429的响应;

不了解这个机制，在日常开发web服务的时候，就可能会踩坑。

比如有这么一个场景：一个用于导入数据的web页面，上传一个excel，通过读取、处理excel，向数据库中插入数据，处理时间较长（如1分钟），且为同步操作（即处理完成后才返回结果）。暂且不论这种方式的好坏，若nginx配置的响应等待时间（proxy_read_timeout）为30秒，就会触发超时重试，将请求又打到另一台。如果处理中没有考虑到重复数据的场景，就会发生数据多次重复插入！（当然，这种场景，内网可以通过机器名访问该服务器进行操作，就可以绕过nginx了，不过外网就没办法了。）

获取客户端真实IP

X-Real-IP

额外模块，不推荐使用

setHeader

proxy_set_header X-Forwarded-For $remote_addr;

Gzip

作用域 http, server, location

gzip on;

开关，默认关闭

gzip_buffers 32 4k|16 8k

缓冲区大小

gzip_comp_level 1；

压缩等级 1-9，数字越大压缩比越高

gzip_http_version 1.1;

使用gzip的最小版本

gzip_min_length

设置将被gzip压缩的响应的最小长度。长度仅由“Content-Length”响应报头字段确定。

gzip_proxied 多选

off 为不做限制

作为反向代理时，针对上游服务器返回的头信息进行压缩

expired - 启用压缩，如果header头中包含 “Expires” 头信息
no-cache - 启用压缩，如果header头中包含 “Cache-Control:no-cache” 头信息
no-store - 启用压缩，如果header头中包含 “Cache-Control:no-store” 头信息
private - 启用压缩，如果header头中包含 “Cache-Control:private” 头信息
no_last_modified - 启用压缩,如果header头中不包含 “Last-Modified” 头信息
no_etag - 启用压缩 ,如果header头中不包含 “ETag” 头信息
auth - 启用压缩 , 如果header头中包含 “Authorization” 头信息
any - 无条件启用压缩

gzip_vary on;

增加一个header，适配老的浏览器 Vary: Accept-Encoding

gzip_types

哪些mime类型的文件进行压缩

gzip_disable

禁止某些浏览器使用gzip

完整实例

在location 这一级进行限定

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ulJo3jbw-1674889403585)(C:\Users\wjp\AppData\Roaming\Typora\typora-user-images\image-20221123165428690.png)]

  gzip on;
  gzip_buffers 16 8k;
  gzip_comp_level 6;
  gzip_http_version 1.1;
  gzip_min_length 256;
  gzip_proxied any;
  gzip_vary on;
  gzip_types text/plain application/x-javascript text/css application/xml;
  gzip_types
    text/xml application/xml application/atom+xml application/rss+xml application/xhtml+xml image/svg+xml
    text/javascript application/javascript application/x-javascript
    text/x-json application/json application/x-web-app-manifest+json
    text/css text/plain text/x-component
    font/opentype application/x-font-ttf application/vnd.ms-fontobject
    image/x-icon;
  gzip_disable "MSIE [1-6]\.(?!.*SV1)";

HTTP/1.1 200
Server: nginx/1.21.6
Date: Wed, 18 May 2022 17:42:35 GMT
Content-Type: text/html;charset=utf-8
Content-Length: 7832
Connection: keep-alive
Keep-Alive: timeout=65

ngx_http_gunzip_module (解压缩的模块)

帮助不支持gzip的客户端解压本地文件-使用场景较少,作用就是节省服务器存储资源

实例

gunzip on;

http_gzip_static_module(静态压缩) -

jd.com ,(文件相对有压缩价值的传输文件,发送给客户端,让客户端进行解压缩的操作)

实例

gzip_static always;  #on  开启 | off 关闭 | always 总是

需要重新编译nginx

./configure --with-http_gzip_static_module

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pz58DkYE-1674889403586)(C:\Users\wjp\AppData\Roaming\Typora\typora-user-images\image-20221123170107297.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NUk0mB8E-1674889403586)(C:\Users\wjp\AppData\Roaming\Typora\typora-user-images\image-20221123171436289.png)]

Brotli

(谷歌提出来的,前提是支持 https,比gizp 的效率会高出百分之20 左右)

安装

官网
- https://github.com/google/ngx_brotli
- https://codeload.github.com/google/brotli/tar.gz/refs/tags/v1.0.9
下载两个项目

同时解压两个文件,

把britli 文件下的东西,移动到, ngx_brotli-xxxrc/deps/brotli/ 目录

解压缩

模块化编译

./configure --with-compat --add-dynamic-module=/root/ngx_brotli-1.0.0rc --prefix=/usr/local/nginx/

或

--add-dynamic-module=brotli目录

make
将 objs/目录下,编译好的ngx_http_brotli_filter_module.so ngx_http_brotli_static_module.so拷贝到/usr/local/nginx/modules/
复制nginx主程序
配置文件中添加

load_module "/usr/local/nginx/modules/ngx_http_brotli_filter_module.so";
load_module "/usr/local/nginx/modules/ngx_http_brotli_static_module.so";

brotli on;
    brotli_static on;
	brotli_comp_level 6;
	brotli_buffers 16 8k;
	brotli_min_length 20;
	brotli_types text/plain text/css text/javascript application/javascript text/xml application/xml application/xml+rss application/json image/jpeg image/gif image/png;

测试

默认http协议是没有br的

curl -H 'Accept-Encoding: gzip' -I http://localhost

合并客户端请求

Concat模块 (优化网络请求连接数, 淘宝研发)https://www.taobao.com/

Tengine 淘宝网发布的

Nginx官方介绍

https://www.nginx.com/resources/wiki/modules/concat/

git地址

https://github.com/alibaba/nginx-http-concat

安装

下载源码解压缩编译安装

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wMPWyPQA-1674889403588)(C:\Users\wjp\AppData\Roaming\Typora\typora-user-images\image-20221124113810049.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-t4hyhzcN-1674889403588)(C:\Users\wjp\AppData\Roaming\Typora\typora-user-images\image-20221124113935457.png)]

./configure --prefix=/usr/local/nginx/ --add-module=/root/xxxx/

mkae

然后把 ningx 执行文件移动到对应目录,并重启nginx

配置

    concat on;
    concat_max_files 30;

实现效果,jd.com 为例

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GgR8HYSS-1674889403589)(C:\Users\wjp\AppData\Roaming\Typora\typora-user-images\image-20221124152300145.png)]

资源静态化

•高并发系统资源静态化方案

•一致性问题

•合并文件输出

•集群文件同步

原理图

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FxXS8Wgd-1674889403589)(C:\Users\wjp\AppData\Roaming\Typora\typora-user-images\image-20221124153747862.png)]

SSI合并服务器端文件

官方文档

http://nginx.org/en/docs/http/ngx_http_ssi_module.html

ssi 这个模块是nginx 自带的,可以直接配置使用

配置

在http.conf 配置开关

ssi on | off; #可以在 http /server/ localtion 根据场景选择作用域

ssi_min_file_chunk

向磁盘存储并使用sendfile发送，文件大小最小值

ssi_last_modified

是否保留lastmodified ,和客户端关系,用于判断缓存文件是否需要再次更新

ssi_silent_errors

不显示逻辑,语法上的错误

ssi_value_length

限制脚本参数最大长度

ssi_types

默认text/html;如果需要其他mime类型需要设置

include file

<!--# include file="footer.html" -->

静态html中文件直接引用,类似调取样式的方法,前提是这些资源在同一个nginx 上.

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-eNRyXg5h-1674889403589)(C:\Users\wjp\AppData\Roaming\Typora\typora-user-images\image-20221124155554227.png)]

include virtual

可以指向location，而不一定是具体文件

include wait

阻塞请求

include set

在virtual基础上设置变量

set

设置临时变量

block

可以声明一个ssi的命令块，里面可以包裹其他命令

config errmsg

在模板中配置报错情况

config timefmt

日期格式化

echo

直接输出变量

var变量名称
encoding 是否使用特殊编码格式
default 变量没有值的时候使用默认值

if

逻辑判断

rsync

https://www.samba.org/ftp/rsync/rsync.html

remote synchronize是一个远程数据同步工具，可通过 LAN/WAN 快速同步多台主机之间的文件。也可以使用 rsync 同步本地硬盘中的不同目录。
rsync 是用于替代 rcp 的一个工具，rsync 使用所谓的 rsync算法进行数据同步，这种算法只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快。

rsync 基于inotify 开发

Rsync有三种模式：

本地模式（类似于cp命令）
远程模式（类似于scp命令）
守护进程（socket进程：是rsync的重要功能）

rsync 常用选项

选项	含义
-a	包含-rtplgoD
-r	同步目录时要加上，类似cp时的-r选项
-v	同步时显示一些信息，让我们知道同步的过程
-l	保留软连接
-L	加上该选项后，同步软链接时会把源文件给同步
-p	保持文件的权限属性
-o	保持文件的属主
-g	保持文件的属组
-D	保持设备文件信息
-t	保持文件的时间属性
–delete	删除DEST中SRC没有的文件
–exclude	过滤指定文件，如–exclude “logs”会把文件名包含logs的文件或者目录过滤掉，不同步
-P	显示同步过程，比如速率，比-v更加详细
-u	加上该选项后，如果DEST中的文件比SRC新，则不同步
-z	传输时压缩

安装

两端安装

yum install -y rsync

源端的配置:

rsync 的配置文件 /etc/rsyncd.conf

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KMnzZgpu-1674889403590)(C:\Users\wjp\AppData\Roaming\Typora\typora-user-images\image-20221124170200836.png)]

密码文件

创建文件/etc/rsync.password

内容

hello:123

修改权限

chmod 600 /etc/rsync.password

修改配置 /etc/rsyncd.conf

auth users = hello
secrets file = /etc/rsyncd.pwd

临时启动

rsync --daemon
ps -ef | grep rsync

开机启动

在/etc/rc.local文件中添加

rsync --daemon

修改权限,填补你家

echo “hello:111” >> /etc/rsyncd.passwd

目标端的配置:

查看远程目录

rsync --list-only 192.168.44.104::www/

rsync --list-only hello@192.168.44.104::ftp/

拉取数据到指定目录

未加密前:
rsync -avz rsync://192.168.44.104:873/www

rsync -avz 192.168.44.104::www/ /root/www

加密后:
rsync -avz --delete --password-file=/etc/rsyncd.passwd.client hello@192.168.44.104::www/ /root/www

使用SSH方式

rsync -avzP /usr/local/nginx/html/ root@192.168.44.105:/www/

客户端免密

客户端只放密码

echo "111" >> /etc/rsyncd.passwd.client

修改对应的权限

chmod 600 /etc/rsync.password.client

此时在客户端已经可以配合脚本实现定时同步了

如何实现推送？

把上面源和目标端的配置,反过来,再配置一边,调换身份.

现在从刚才的源主机向 104 主机上主动推送,上面的所有都配置好之后,进行下面的操作

再104 上,比上面作为源端,还需要添加,一项配置, 把只读关掉,就是允许别人修改.

rsync 的配置文件 /etc/rsyncd.conf

auto users = hello
secrets file = /etc/rsyncd.pwd
read only = no 
 [www]
     path = /root/html
 [ftp]
     path = /usr/local/nginx/html

修改配置

rsync -avz --password-file=/etc/rsyncd.passwd.client /usr/local/nginx/html/ rsync://hel@192.168.44.105:/www
也可以用
rsync -avz --password-file=/etc/rsyncd.passwd.client /root/www  hello@192.168.44.104::www/ 

rsync --list-only --password-file=/etc/rsyncd.passwd.client hello@192.168.44.104::ftp/

--delete 删除目标目录比源目录多余文件

拉取目标主机的文件,到本地/root/www
rsync -avz --delete --password-file=/etc/rsyncd.passwd.client hello@192.168.44.104::www/ /root/www
推送本地 /root/www目录到目标主机
rsync -avz --delete --password-file=/etc/rsyncd.passwd.client /root/www hello@192.168.44.104::www/

实时推送

推送端安装inotify

依赖

yum install -y automake

wget http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz
./configure --prefix=/usr/local/inotify
make && make install

监控目录

/usr/local/inotify/bin/inotifywait -mrq --timefmt '%Y-%m-%d %H:%M:%S' --format '%T %w%f %e' -e close_write,modify,delete,create,attrib,move //usr/local/nginx/html/

把本机的配置文件用户指定一下

vim /etc/rsyncd.conf

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5LZ4pmgn-1674889403590)(C:\Users\wjp\AppData\Roaming\Typora\typora-user-images\image-20221124184929880.png)]

简单自动化脚本(生产中脚本,需要优化,)

chmod 755 /usr/local/nginx/html #源端和目标端都需要给权限,权限根据实际情况授权即可

#!/bin/bash

/usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f %e' -e close_write,modify,delete,create,attrib,move //usr/local/nginx/html/ | while read file
do
       
        rsync -az --delete --password-file=/etc/rsyncd.passwd.client /usr/local/nginx/html/ sgg@192.168.44.102::ftp/
done

inotify常用参数

参数	说明	含义
-r	–recursive	#递归查询目录
-q	–quiet	#打印很少的信息，仅仅打印监控事件信息
-m	–monitor	#始终保持事件监听状态
–excludei		#排除文件或目录时，不区分大小写
–timefmt		#指定事件输出格式
–format		#打印使用指定的输出类似格式字符串
-e	–event[ -e\|–event … ]accessmodifyattribcloseopenmove_tomove createdeleteumount	#通过此参数可以指定要监控的事件 #文件或目录被读取#文件或目录的内容被修改#文件或目录属性被改变#文件或目录封闭，无论读/写模式#文件或目录被打开#文件或目录被移动至另外一个目录#文件或目录被移动另一个目录或从另一个目录移动至当前目录#文件或目录被创建在当前目录#文件或目录被删除#文件系统被卸载

多级缓存

静态资源缓存

浏览器缓存

什么时候可以用缓存？

不常改变的内容
过期时间
针对post/get请求都可以
存储位置
磁盘使用空间限制
cdn 全网分发服务器,进行距离优化

观察京东缓存及加载速度

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-L54tE4f5-1674889403591)(C:\Users\wjp\AppData\Roaming\Typora\typora-user-images\image-20221124200452026.png)]

desk-cache

字面理解是从内存中，其实也是字面的含义，这个资源是直接从内存中拿到的，不会请求服务器一般已经加载过该资源且缓存在了内存当中，当关闭该页面时，此资源就被内存释放掉了，再次重新打开相同页面时不会出现from memory cache的情况

memory-cache

是从磁盘当中取出的，也是在已经在之前的某个时间加载过该资源，不会请求服务器但是此资源不会随着该页面的关闭而释放掉，因为是存在硬盘当中的，下次打开仍会from disk cache

Age

是CDN添加的属性表示在CDN中缓存了多少秒

via

用来标识CDN缓存经历了哪些服务器，缓存是否命中，使用的协议

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-UZ0a8nV3-1674889403591)(C:\Users\wjp\AppData\Roaming\Typora\typora-user-images\image-20221124201928421.png)]

Nginx默认缓存

Nginx版本不同会默认配置

强制缓存与协商缓存

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YYB7PYdT-1674889403591)(C:\Users\wjp\AppData\Roaming\Typora\typora-user-images\image-20221124201416633.png)]

强制缓存：直接从本机读取，不请求服务器(服务器nginx 端,首次下发数据的时候,直接携带过期时间,比如3天,就是3天内,访问这个资源,不在有请求的动作,直接用本地磁盘上的缓存文件,超过3天,就删除,重新请求服务器,获取新一轮的时间戳)

协商缓存：发送请求header中携带Last-Modified，服务器可能会返回304 Not Modified

浏览器强制缓存

cache-control

http1.1的规范，使用max-age表示文件可以在浏览器中缓存的时间以秒为单位

vim /usr/local/nginx/conf/nginx,.conf

localtion / {

  add_header cache-control "max-age:300"; 

}

标记	类型	功能
public	响应头	响应的数据可以被缓存，客户端和代理层都可以缓存
private	响应头	可私有缓存，客户端可以缓存，代理层不能缓存（CDN，proxy_pass）
no-cache	请求头	可以使用本地缓存，但是必须发送请求到服务器回源验证
no-store	请求和响应	应禁用缓存
max-age	请求和响应	文件可以在浏览器中缓存的时间以秒为单位
s-maxage	请求和响应	用户代理层缓存，CDN下发，当客户端数据过期时会重新校验
max-stale	请求和响应	缓存最大使用时间，如果缓存过期，但还在这个时间范围内则可以使用缓存数据
min-fresh	请求和响应	缓存最小使用时间，
must-revalidate	请求和响应	当缓存过期后，必须回源重新请求资源。比no-cache更严格。因为HTTP 规范是允许客户端在某些特殊情况下直接使用过期缓存的，比如校验请求发送失败的时候。那么带有must-revalidate的缓存必须校验，其他条件全部失效。
proxy-revalidate	请求和响应	和must-revalidate类似，只对CDN这种代理服务器有效，客户端遇到此头，需要回源验证
stale-while-revalidate	响应	表示在指定时间内可以先使用本地缓存，后台进行异步校验
stale-if-error	响应	在指定时间内，重新验证时返回状态码为5XX的时候，可以用本地缓存
only-if-cached	响应	那么只使用缓存内容，如果没有缓存则504 getway timeout

在浏览器和服务器端验证文件是否过期的时候，浏览器在二次请求的时候会携带IF-Modified-Since属性

Expires

http1.1 之前的一个用的比较老的一个 heard 请求头了,1.1 之后用的都是cache-control 这个heard,而且优先级更高.

浏览器只有重新,开启一个窗口的时候,才回去校验这个资源是否是过期的.(如果再一个窗口,来回刷新, get 请求,会每次都会下发新的数据文件到客户端,不会校验使用本地缓存数据)

过期时间

expires 30s;   #缓存30秒
expires 30m;  #缓存30分钟   
expires 2h;     #缓存2小时
expires 30d;    #缓存30天


-----------
vim /usr/local/nginx/conf/nginx,.conf

localtion / {

   expires 30d;  

}

协商缓存

last-modified

可以选择性开启,nginx 服务器是否给用户返回 last-modifiedh值,

vim /usr/local/nginx/conf/nginx,.conf



localtion / {

   add_header Last-Modified ""; 

}

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-MdMzAiYr-1674889403592)(C:\Users\wjp\AppData\Roaming\Typora\typora-user-images\image-20221125093609599.png)]

或者屏蔽客户都发起的,if-modified-since:

vim /usr/local/nginx/conf/nginx,.conf



localtion / {

   #add_header Last-Modified ""; 
    if_modified_since off;
}

屏蔽之后,nginx 就不会再例会这个请求头了,无论过期不过期,都客户都安重新200 发送数据,.不用缓存

etag

http1.1支持

在HTTP协议中If-Modified-Since和If-None-Match分别对应Last-Modified和ETag

Entity Tag 的缩写，中文译过来就是实体标签的意思.

HTTP中并没有指定如何生成ETag，哈希是比较理想的选择。

在计算Etag的时候，会产生CPU的耗费，所以也可以用时间戳，但这样直接使用Last-Modified即可。

ETag 用来校验用户请求的资源是否有变化，作用和lastmodified很像，区别是lastmodified精确到秒，ETag可以用hash算法来生成更精确的比对内容。

当用户首次请求资源的时候返回给用户数据和200状态码并生成ETag，再次请求的时候服务器比对ETag，没有发生变化的话返回304

Cache-Control直接是通过不请求来实现，而ETag是会发请求的，只不过服务器根据请求的东西的内容有无变化来判断是否返回请求的资源

可以选择性开启,nginx 服务器是否给用户返回 etag hash值,

vim /usr/local/nginx/conf/nginx,.conf



localtion / {

   etag off; 

}

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YcFV718M-1674889403592)(C:\Users\wjp\AppData\Roaming\Typora\typora-user-images\image-20221125094235411.png)]

总结：

cache-control expires 强制缓存

页面首次打开，直接读取缓存数据，刷新，会向服务器发起请求

etag lastmodify 协商缓存

没发生变化返回304 不发送数据

last-modified 与ssi的冲突

浏览器缓存原则 -102

多级集群负载时last-modified必须保持一致
还有一些场景下我们希望禁用浏览器缓存。比如轮训api上报数据数据
浏览器缓存很难彻底禁用，大家的做法是加版本号，随机数等方法。
只缓存200响应头的数据，像3XX这类跳转的页面不需要缓存。
对于js，css这类可以缓存很久的数据，可以通过加版本号的方式更新内容
不需要强一致性的数据，可以缓存几秒
异步加载的接口数据，可以使用ETag来校验。
在服务器添加Server头，有利于排查错误
分为手机APP和Client以及是否遵循http协议
在没有联网的状态下可以展示数据
流量消耗过多
提前下发避免秒杀时同时下发数据造成流量短时间暴增
兜底数据在服务器崩溃和网络不可用的时候展示
临时缓存退出即清理
固定缓存展示框架这种，可能很长时间不会更新，可用随客户端下发
- 首页有的时候可以看做是框架应该禁用缓存，以保证加载的资源都是最新的
父子连接页面跳转时有一部分内容不需要重新加载，可用从父菜单带过来
预加载某些逻辑可用判定用户接下来的操作，那么可用异步加载那些资源
漂亮的加载过程异步加载先展示框架，然后异步加载内容，避免主线程阻塞

CDN 内容分发网络

主要实现异步,缓存,实现靠近客户端,增加体验度,较少延迟. 静态资源,视频,直播等领域.

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6zMIN1FX-1674889403592)(C:\Users\wjp\AppData\Roaming\Typora\typora-user-images\image-20221125112218314.png)]

GEOip 地理定位

如果不是又特殊需求,可以直接使用云产品进行dns 的域名限制和额请求分发

1 下载数据库

官网需注册登录

下载数据库

maxmind.com

2 安装依赖

官方git

https://github.com/maxmind/libmaxminddb

下载后执行编译安装之后

$ 解压进入到目录后  直接 ./configure
$  make &&& make install
$ 
$ echo /usr/local/lib  >> /etc/ld.so.conf.d/local.conf 
$ ldconfig

Nginx模块

https://github.com/leev/ngx_http_geoip2_module

$  1 下载插件的源码包,并解压缩 ,/root/xxxx
$  2 nginx 重新编译  ./coonfigure --prefix=/usr/loacl/nginx  --add-module=/root/xxxx  
$  3. make && make install 
$
$
$
$

更完整的配置可参考官方文档

http://nginx.org/en/docs/http/ngx_http_geoip_module.html#geoip_proxy

Nginx配置

    geoip2 /root/GeoLite2-ASN_20220524/GeoLite2-ASN.mmdb {
$geoip2_country_code country iso_code;
    }
add_header country $geoip2_country_code;


--------

再nginx 配置文件中定义引用刚才下载好的库文件 ,就maxmind.com 官网拉取下来的文件,直接解压,就好.

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QZwASInM-1674889403593)(C:\Users\wjp\AppData\Roaming\Typora\typora-user-images\image-20221125120011900.png)]

重启一下服务 /./nginx -s reload

访问测试

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3PRDEIsJ-1674889403593)(C:\Users\wjp\AppData\Roaming\Typora\typora-user-images\image-20221125120205906.png)]

正向代理与反向代理缓存

正向代理配置

正向代理,类似于网关 ,路由器 ,跳板机的功能,进行请求报文的转发,和ip 的 nat 转换之类的. 用 nginx 正向代理的使用场景很少,因为很多硬件设备实现的功能更为灵活和健壮.领域不同,

proxy_pass $scheme://$host$request_uri;
resolver 8.8.8.8;

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9FcgeXYF-1674889403593)(C:\Users\wjp\AppData\Roaming\Typora\typora-user-images\image-20221125121334099.png)]

代理https请求

需要第三方模块

https://github.com/chobits/ngx_http_proxy_connect_module

配置

 server {
     listen                         3128;

     # dns resolver used by forward proxying
     resolver                       8.8.8.8;

     # forward proxy for CONNECT request
     proxy_connect;
     proxy_connect_allow            443 563;
     proxy_connect_connect_timeout  10s;
     proxy_connect_read_timeout     10s;
     proxy_connect_send_timeout     10s;

     # forward proxy for non-CONNECT request
     location / {
         proxy_pass http://$host;
         proxy_set_header Host $host;
     }
 }

proxy缓存

官网解释

http://nginx.org/en/docs/http/ngx_http_proxy_module.html#proxy_cache

配置

默认发行版的nginx 版本里面就自带了,直接在配置文件中引用就行了

http模块：
proxy_cache_path /ngx_tmp levels=1:2 keys_zone=test_cache:100m inactive=1d max_size=10g ;   #临时文件存储1天
location模块：
add_header  Nginx-Cache "$upstream_cache_status";    #系统的一个upstream 的一个变量,显示是否命中
proxy_cache test_cache;
proxy_cache_valid 16h;    #多长时间去上游取数据

效果:

未命中

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Xt24jctf-1674889403593)(C:\Users\wjp\AppData\Roaming\Typora\typora-user-images\image-20221125151203072.png)]

命中:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3qIZdlDl-1674889403593)(C:\Users\wjp\AppData\Roaming\Typora\typora-user-images\image-20221125151147887.png)]

proxy_cache_use_stale

默认off

在什么时候可以使用过期缓存

proxy_cache_background_update

默认off

运行开启子请求更新过期的内容。同时会把过期的内容返回给客户端

proxy_no_cache proxy_cache_bypass

指定什么时候不使用缓存而直接请求上游服务器

proxy_no_cache $cookie_nocache $arg_nocache$arg_comment;
proxy_no_cache $http_pragma    $http_authorization;

如果这些变量如果存在的话不为空或者不等于0，则不使用缓存

proxy_cache_convert_head

默认 on

是否把head请求转换成get请求后再发送给上游服务器以便缓存body里的内容

如果关闭需要在 cache key 中添加 $request_method 以便区分缓存内容

proxy_cache_lock

默认off

缓存更新锁

proxy_cache_lock_age

默认5s

缓存锁超时时间

断点续传缓存 range

当有完整的content-length之后即可断点续传

在反向代理服务器中需向后传递header,流的方式传输数据

proxy_set_header Range $http_range;

proxy_cache_key中增加range

proxy_cache_max_range_offset

range最大值，超过之后不做缓存，默认情况下不需要对单文件较大的资源做缓存

proxy_cache_methods

默认 head get

proxy_cache_min_uses

默认1

被请求多少次之后才做缓存

proxy_cache_path

path 指定存储目录

以cache_key取md5值

levels=1:2

取mdb5后几位

TMPFS

use_temp_path

默认创建缓存文件时，先向缓冲区创建临时文件，再移动到缓存目录

是否使用缓冲区

inactive

指定时间内未被访问过的缓存将被删除

缓存清理

purger

需要第三方模块支持

https://github.com/FRiCKLE/ngx_cache_purge

先编译安装 ./configure 那一套

然后,

配置

        location ~ /purge(/.*) {

            proxy_cache_purge  test_cache  $1;
        }
        location / {
        
        
        自定义cachekey
         proxy_cache_key $uri;
         }

proxy_cache_key

默认$scheme$proxy_host$request_uri #根据协议+proxy-pass的地址+后面的 uri

缓存的key

proxy_cache_revalidate

如果缓存过期了，向上游服务器发送“If-Modified-Since” and “If-None-Match来验证是否改变，如果没有就不需要重新下载资源了

类似于客户端向nginx的协商缓存,这种属于 nginx 和上有服务器之前的缓存协商,如果没有变化直接返货304 不更新,如果是很多大文件,这种就有效的减少了请求带宽的占用

proxy_cache_valid

可以针对不容http状态码设置缓存过期时间

不设置状态码会默认200, 301, 302

proxy_cache_valid 200 302 10m;
proxy_cache_valid 301      1h;
proxy_cache_valid any      1m;

any指其他任意状态码

wjp_somnus

关注

2
点赞
踩
9

收藏

觉得还不错? 一键收藏
0
评论
【nginx 扩容及常用模块扩展】

深层次了解 nginx 的更多功能,用法
复制链接

扫一扫

【nginx 扩容及常用模块扩展】

1.单机垂直扩容：硬件资源增加

2.水平扩展：集群化

会话管理

Nginx高级负载均衡

使用sticky模块完成对Nginx的负载均衡

1.下载模块

2.上传解压

3.重新编译Nginx

KeepAlive

测试工具charles,抓包工具-商业的

什么时候使用？

什么时候不用？

对客户端使用keepalive

对上游服务器使用keepalive

相关配置

upstream中配置

server中配置

AB安装

直连nginx,简单页面

反向代理

直连Tomcat

nginx反向代理Tomcat + keepalive

nginx反向代理Tomcat

UpStream工作流程

缓冲区

对客户端的限制

反向代理中的容错机制

参考文档

重试机制

获取客户端真实IP

X-Real-IP

setHeader

Gzip

gzip on;

gzip_buffers 32 4k|16 8k

gzip_http_version 1.1;

gzip_min_length

gzip_proxied 多选

gzip_vary on;

gzip_types

gzip_disable

完整实例

ngx_http_gunzip_module (解压缩的模块)

http_gzip_static_module(静态压缩) -

Brotli

安装

合并客户端请求

资源静态化

SSI合并服务器端文件

配置

include file

include virtual

include wait

include set

set

block

config errmsg

config timefmt

echo

if

rsync

rsync 常用选项

安装

密码文件

开机启动

查看远程目录

拉取数据到指定目录

使用SSH方式

客户端免密

如何实现推送？

实时推送

简单自动化脚本(生产中脚本,需要优化,)

inotify常用参数

多级缓存

静态资源缓存

浏览器缓存

什么时候可以用缓存？

Age

via