nginx（六）--Nginx Proxy服务器

最新推荐文章于 2024-05-16 03:22:55 发布
最新推荐文章于 2024-05-16 03:22:55 发布
阅读量1.3k 收藏
点赞数
分类专栏： nginx 文章标签： 服务器 nginx 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_47800859/article/details/128857434
版权
  1. 代理原理
  2. Proxy代理
  3. Proxy缓存

1.代理原理

        1.1正向代理

内网客户机通过代理访问互联网。通常要设置代理服务器地址和端口。

        1.2反向代理

外网用户通过代理访问内网服务器。内网服务器无感知。 

2. Proxy代理

        2.1模块：ngx_http_proxy_module

        2.2语法

代理
Syntax:         proxy_pass URL;                        代理的后端服务器URL
Default:     —
Context:     location, if in location, limit_except

缓冲区
Syntax:     proxy_buffering on | off;
Default:    proxy_buffering on;                缓冲开关
Context:     http, server, location
proxy_buffering开启的情况下，nignx会把后端返回的内容先放到缓冲区当中，然后再返回给客户端
（边收边传，不是全部接收完再传给客户端)。

Syntax:       proxy_buffer_size size;
Default:     proxy_buffer_size 4k|8k;            缓冲区大小
Context:     http, server, location

Syntax:         proxy_buffers number size;
Default:     proxy_buffers 8 4k|8k;                    缓冲区数量
Context:     http, server, location

Syntax:        proxy_busy_buffers_size size;
Default:     proxy_busy_buffers_size 8k|16k;        忙碌的缓冲区大小，控制同时传递给客户端的buffer数量
Context:     http, server, location

头信息
Syntax:         proxy_set_header field value;
Default:     proxy_set_header Host $proxy_host;                设置真实客户端地址
                proxy_set_header Connection close;
Context:     http, server, location

超时
Syntax:         proxy_connect_timeout time;
Default:     proxy_connect_timeout 60s;                    链接超时
Context:     http, server, location

Syntax:         proxy_read_timeout time;
Default:     proxy_read_timeout 60s;
Context:     http, server, location

Syntax:         proxy_send_timeout time;nginx进程向fastcgi进程发送request的整个过程的超时时间
Default:     proxy_send_timeout 60s;
Context:     http, server, location
    buffer 工作原理

1. 所有的proxy buffer参数是作用到每一个请求的。每一个请求会安按照参数的配置获得自己的buffer。proxy buffer不是global而是per request的。

2. proxy_buffering 是为了开启response buffering of the proxied server，开启后proxy_buffers和proxy_busy_buffers_size参数才会起作用。

3. 无论proxy_buffering是否开启，proxy_buffer_size（main buffer）都是工作的，proxy_buffer_size所设置的buffer_size的作用是用来存储upstream端response的header。

4. 在proxy_buffering 开启的情况下，Nginx将会尽可能的读取所有的upstream端传输的数据到buffer，直到proxy_buffers设置的所有buffer们 被写满或者数据被读取完(EOF)。此时nginx开始向客户端传输数据，会同时传输这一整串buffer们。同时如果response的内容很大的 话，Nginx会接收并把他们写入到temp_file里去。大小由proxy_max_temp_file_size控制。如果busy的buffer 传输完了会从temp_file里面接着读数据，直到传输完毕。

5. 一旦proxy_buffers设置的buffer被写入，直到buffer里面的数据被完整的传输完（传输到客户端），这个buffer将会一直处 在busy状态，我们不能对这个buffer进行任何别的操作。所有处在busy状态的buffer size加起来不能超过proxy_busy_buffers_size，所以proxy_busy_buffers_size是用来控制同时传输到客户 端的buffer数量的。

        2.3启用代理  

        （两台nginx真是服务器）

        （一）1 nginx-1 启动网站(内容)

nginx-1的IP：192.168.26.144
yum install -y nginx
systemctl start nginx

        （二）2 nginx-2 启动代理程序

nginx-2的IP：192.168.26.147
yum install -y nginx
systemctl start nginx

        vim /etc/nginx/conf.d/default.conf

    location / {
.....
proxy_pass http://192.168.100.10:80;
proxy_redirect default;

proxy_set_header Host $http_host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

proxy_connect_timeout 30;
proxy_send_timeout 60;
proxy_read_timeout 60;

proxy_buffering on;
proxy_buffer_size 32k;
proxy_buffers 4 128k;
proxy_busy_buffers_size 256k;
proxy_max_temp_file_size 256k;
    }

proxy_pass ：真实服务器
proxy_redirect ：如果真实服务器使用的是的真是IP:非默认端口。则改成IP：默认端口。
proxy_set_header：重新定义或者添加发往后端服务器的请求头
proxy_set_header X-Real-IP ：启用客户端真实地址（否则日志中显示的是代理在访问网站）
proxy_set_header X-Forwarded-For：记录代理地址

proxy_connect_timeout：:后端服务器连接的超时时间_发起三次握手等候响应超时时间
proxy_send_timeout：后端服务器数据回传时间_就是在规定时间之内后端服务器必须传完所有的数据
proxy_read_timeout ：nginx接收upstream（上游/真实） server数据超时, 默认60s, 如果连续的60s内没有收到1个字节, 连接关闭。像长连接

proxy_buffering on;开启缓存
proxy_buffer_size：proxy_buffer_size只是响应头的缓冲区
proxy_buffers 4 128k; 内容缓冲区域大小
proxy_busy_buffers_size 256k; 从proxy_buffers划出一部分缓冲区来专门向客户端传送数据的地方
proxy_max_temp_file_size 256k;超大的响应头存储成文件。

请注意：proxy_pass http://  填写nginx-1服务器的地址。

proxy_set_header X-Real-IP     启用客户端真实地址（否则日志中显示的是代理在访问网站）

未配置        Nginxbackend 的日志：记录只有192.168.107.112

配置       Nginxbackend 的日志,记录的有192.168.107.16 192.168.107.107 192.168.107.112

proxy_buffers    内容缓冲区域大小

的缓冲区大小一般会设置的比较大，以应付大网页。 proxy_buffers当中单个缓冲区的大小是由系统的内存页面大小决定的，Linux系统中一般为4k。 proxy_buffers由缓冲区数量和缓冲区大小组成的。总的大小为number*size。

若某些请求的响应过大,则超过_buffers的部分将被缓冲到硬盘(缓冲目录由_temp_path指令指定), 当然这将会使读取响应的速度减慢, 影响用户体验. 可以使用proxy_max_temp_file_size指令关闭磁盘缓冲.

        （三）使用PC客户端访问nginx-2服务器地址

        成功访问nginx-1服务器页面

        （四） 观察nginx-1服务器的日志 

192.168.26.147 - - [02/Feb/2023:22:27:08 +0800] "GET / HTTP/1.0" 200 604 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36" "192.168.26.1"

192.168.26.147 代理服务器地址
192.168.26.1 客户机地址。

访问成功。 记录了客户机的IP和代理服务器的IP。

3.Proxy缓存

        3.1缓存类型

网页缓存 （公网）CDN
数据库缓存 memcache redis
网页缓存  nginx-proxy
客户端缓存 浏览器缓存

        3.2模块：ngx_http_proxy_module

        3.3语法

缓存开关
Syntax:         proxy_cache zone | off;
Default:         proxy_cache off;
Context:     http, server, location

代理缓存
Syntax:     proxy_cache_path path [levels=levels]             keys_zone=name:size[inactive=time] [max_size=size]             [manager_files=number]
Default:  —
Context: http
example:proxy_cache_path /data/nginx/cache levels=1:2 keys_zone=one:10m;

缓存维度
Syntax:         proxy_cache_key string;  定义缓存唯一key,通过唯一key来进行hash存取，缓存文件名
Default:         proxy_cache_key $scheme$proxy_host$request_uri;
Context:     http, server, location

缓存过期
Syntax:         proxy_cache_valid [code ...] time;
Default:         —
Context:     http, server, location
proxy_cache_valid 200 302 10m;
proxy_cache_valid 404      1m;

        3.4启动缓存

        （一） 延续代理实验

        （二）设置代理服务缓存：

vim /etc/nginx/nginx.conf  :

http {
...

 proxy_cache_path /app/test/cache levels=1:2 keys_zone=proxy_cache:10m max_size=10g inactive=60m use_temp_path=off;

...
}

proxy_cache_path命令中的参数及对应配置说明如下：
1.用于缓存的本地磁盘目录是/app/test/cache
2.levels在/app/test/cache/设置了一个两级层次结构的目录。
将大量的文件放置在单个目录中会导致文件访问缓慢，所以针对大多数部署，我们推荐使用两级目录层次结构。
如果levels参数没有配置，则NGINX会将所有的文件放到同一个目录中。
3.keys_zone设置一个共享内存区，该内存区用于存储缓存键和元数据，有些类似计时器的用途。将键的拷贝放入内存可以使NGINX在不检索磁盘的情况下快速决定一个请求是`HIT`还是`MISS`，这样大大提高了检索速度。一个1MB的内存空间可以存储大约8000个key，那么上面配置的10MB内存空间可以存储差不多80000个key。
4.max_size设置了缓存的上限（在上面的例子中是10G）。这是一个可选项；如果不指定具体值，那就是允许缓存不断增长，占用所有可用的磁盘空间。当缓存达到这个上线，处理器便调用cache manager来移除最近最少被使用的文件，这样把缓存的空间降低至这个限制之下。
5.inactive指定了项目在不被访问的情况下能够在内存中保持的时间。在上面的例子中，如果一个文件在60分钟之内没有被请求，则缓存管理将会自动将其在内存中删除，不管该文件是否过期。该参数默认值为10分钟（10m）。注意，非活动内容有别于过期内容。NGINX不会自动删除由缓存控制头部指定的过期内容（本例中Cache-Control:max-age=120）。过期内容只有在inactive指定时间内没有被访问的情况下才会被删除。如果过期内容被访问了，那么NGINX就会将其从原服务器上刷新，并更新对应的inactive计时器。
6.NGINX最初会将注定写入缓存的文件先放入一个临时存储区域， use_temp_path=off命令指示NGINX将在缓存这些文件时将它们写入同一个目录下。我们强烈建议你将参数设置为off来避免在文件系统中不必要的数据拷贝。use_temp_path在NGINX1.7版本和NGINX Plus R6中有所介绍。

vim /etc/nginx/conf.d/default.conf：

location / {

...

proxy_cache proxy_cache;        Proxy_cache   使用名为 的对应缓存配置

proxy_cache_valid 200 304 12h;      proxy_cache_valid  200 206 304 301 302 12h; 对httpcode为200…的缓存12小时

proxy_cache_valid any 10m;      proxy_cache_valid 设置不同相应码的缓存时间，除了上面的，其他的的存10分钟

proxy_cache_key $host$uri$is_args$args;      proxy_cache_key $uri  定义缓存唯一key,通过唯一key来进行hash存取

add_header  Nginx-Cache "$upstream_cache_status";         add_header：缓存命中情况如何在http头中体现，以及在nginx日志中查看  proxy_cache_path     缓存文件路径

proxy_next_upstream error timeout invalid_header http_500 http_502 http_503 http_504;

proxy_next_upstream 出现502-504或错误,会跳过此台服务器访问下一台服务器

本实验只有一个真实服务器：（扩展）结合LB功能的设置

...

}

mkdir -p /app/test/cache        准备缓存文件的存放目录 

systemctl restart nginx           重启服务器

         使用PC客户机，再次访问nginx-2服务器

        （三） 通过PC客户机浏览器开发者功能。观察是否命中缓存。

        命中hit

        未命中miss

        提示：新创建的网页文件，初次访问均为miss。

        （四）nginx缓存工作原理

        未启动缓存

        启动缓存第一次查询 

        第一次访问，proxy_cache并没有找到对应的缓存文件（未命中缓存MISS），所以当第一次请求完成的同时，proxy_cache会保持缓存：

        启动缓存第二次查询

        同一个url第二次访问，当同一个文件再次到达源站，proxy_cache就会找到其对应的缓存文件（命中缓存HIT）直接返回给请求端，无需再执行php程序

        3.5如何清理nginx_proxy缓存

1.rm删除已缓存的数据
rm -rf /cache/*
2.通过ngx_cache_purge扩展模块清理,需要编译安装nginx 

        nginx  proxy_cache_purge

      location ~ /purge(/.*) {
        allow       all;
        proxy_cache_purge proxy_cache $1$is_args$args;
   }

浏览器访问服务器的清理缓存页面即可。

http://192.168.26.147/purge/

while(a);
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
nginx proxy 详解，代理路径的转发
weixin_43874015的博客
09-17 1万+
proxy_pass 为urL时，没有/，视为相对路径，则会把匹配的路径部分给代理走，即会添加上这段匹配location的uri。 server { listen 80; server_name localhost; location /api { add_header Cache-Control no-cache; add_header Pragma no-cache; add_header Expires 0; # 动态页面 proxy_pass http://localhos
Nginx代理时header头中带”_”信息丢失问题的解决
01-10
前言 开发网关项目时，在请求时往请求头header中放入了签名sign_key信息，在接收请求时再从header中拿出，在本地调试时是可以的，但上线之后通过Nginx代理之后发现拿不到。 location / { proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header Host $http_host; proxy_set_header X-Nginx-Proxy true; add_header Pro
2024年网络安全最全nginx的反向代理的工作原理_nginx反向代理原理(1)，2024年最新网络安全开发新手入门教程(3)
2401_84972648的博客
05-16 828
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。深知大多数网络安全工程师，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！因此收集整理了一份《2024年网络安全全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上网络安全知识点！真正的体系化！
Nginx进阶篇 :Nginx proxy服务器
A66C19的博客
09-27 3345
正向代理：内网客户端通过代理访问互联网，通常要设置代理服务器地址和端口。 反向代理：外网用户通过代理访问内网服务器，内网服务器无感知。
Nginx Proxy反向代理
一个认真学习的女孩子的博客
01-19 1690
X-Forwarded-For 请求头是一种常用的标准请求头，用于记录请求经过的代理服务器的 IP 地址。$proxy_add_x_forwarded_for 是 Nginx 内置变量，它用于获取请求头中已经存在的 X-Forwarded-For 的值，并将客户端的真实 IP 地址追加到该值的末尾，以形成一个包含所有代理服务器 IP 地址的列表。#这样做的好处是，上游服务器可以通过读取 X-Forwarded-For 请求头，获取到请求经过的所有代理服务器的 IP 地址列表，从而了解请求的真实来源路径。
nginx(六十)proxy模块(一)proxy_pass指令
wzj_110的博客
11-23 1万+
proxy_pass深入讲解
Nginx----Proxy反向代理（操作步骤）
冲冲冲
08-16 1605
反向代理：反向代理的过程隐藏了真实的服务器，客户不知道真正提供服务的机器是哪台，客户端请求的服务都被代理服务器处理。我们请求www.baidu.com时，这www.baidu.com就是反向代理服务器，真实提供服务的服务器有很多台，反向代理服务器会把我们的请求分/转发到真实提供服务的各台服务器。反向代理中代理的对象是服务端，proxy和server同属一个LAN，对client透明。正向代理中代理的对象是客户端，proxy和client同属一个LAN，对server透明；正向代理和反向代理对比示意图。
nginx-proxy-manager:Docker容器，用于通过简单，强大的界面管理Nginx代理主机
04-27
该项目是一个预先构建的docker映像，使您可以轻松转发到在家中或其他情况下运行的网站，包括免费的SSL，而无需对Nginx或Letsencrypt有所了解。项目目标我创建此项目是为了满足个人需要，即为用户提供一种轻松的方法...
docker-letsencrypt-nginx-proxy-companion：LetsEncrypt伴侣容器用于nginx-proxy
02-02
标题中的“docker-letsencrypt-nginx-proxy-companion”是一个开源项目，它专为与nginx-proxy容器协同工作设计，目的是为了方便地获取并自动更新Let's Encrypt的免费SSL/TLS证书。Let's Encrypt是一个非营利组织，...
nginx-proxy-manager中的Nginx配置
最新发布
06-14
**Nginx配置详解——以Nginx Proxy Manager为例** Nginx Proxy Manager是一款基于Nginx构建的网络代理管理工具，它允许用户通过友好的Web界面轻松地配置和管理Nginx反向代理设置。在深入理解Nginx Proxy Manager的...
docker-nginx-proxy-manager:Nginx代理管理器的Docker容器
05-01
Nginx代理管理器的Docker容器 这是的Docker容器。 Nginx代理管理器使您可以轻松转发到在家中或其他情况下运行的网站，包括... --name=nginx-proxy-manager \ -p 8181:8181 \ -p 8080:8080 \ -p 4443:4443 \ -v
ansible-nginx-proxy:将 nginx 配置为代理服务器的 Ansible 秘诀
06-16
Nginx 代理将 Nginx 配置为代理服务器的 Ansible 秘诀。 这个秘籍并不试图涵盖所有可用的 Nginx 选项，只是使用将 Nginx 配置为代理服务器。角色变量选项描述nginx_enabled 在启动时启用 nginx 服务。 nginx_state ...
nginx反向代理文件下载失败
kaicen的博客
04-27 8232
通过nginx代理下载文件失败，文件只有几K可以下载，大于1M失败，原服务下载皆可成功。原因是nginx没有开起缓存，代理网络是立即响应的，默认没设置缓存，文件大了就会出现文件还没下载完成就反馈给客户端了，出现下载失败，因为拿到的不是一个完整的文件。需要设置nginx配置缓存，如下： # 文件不能下载 设置缓存 proxy_buffering on; proxy_buffer_size 4k; proxy_buffers 2 4k;
nginx 之 proxy_pass详解
热门推荐
z69183787的专栏
07-05 1万+
日常不管是研发还是运维，都多少会使用Nginx服务，很多情况Nginx用于反向代理，那就离不开使用proxy_pass，有些同学会对 proxy_pass 转发代理时 后面url加 /、后面url没有 /、后面url添加其它路由等场景，不能很明白其中的意思，下面来聊聊这些分别代表什么意思。结果：代理到URL：http://127.0.0.1/hello/world.html。结果：代理到URL：http://127.0.0.1/test/world.html。第二种场景 后面url没有 /
Nginx Proxy 代理
qq_45429357的博客
04-14 676
正反代理
nginx反向代理配置
这是一个将要崛起小达人
03-02 2831
全局配置： user www; worker_processes auto; error_log /usr/local/tengine/logs/error.log; events { worker_connections 65535; } http { server_tokens off; include mime.types; default_type application/octet-stream; log_format main
Nginx Proxy代理
花海~
10-20 927
正向代理，反向代理 ，负载均衡
nginx http proxy 反向代理
sayyy的专栏
10-13 3270
前言 nginx 1.14.2 proxy配置 location / { proxy_pass http://127.0.0.1:8080/; # $server_port端口，让request.getServerPort()能够获取正确的端口 proxy_set_header Host $host:$server...
nginx Proxy服务器
weixin_61428407的博客
09-18 299
nginx 代理与缓存
nginx-proxy-manager怎么安装
05-27
nginx-proxy-manager 是一个基于 Web 界面的 Nginx 反向代理管理工具，可以帮助用户轻松地设置和管理多个网站的反向代理。它基于 Node.js 和 Nginx，可以在 Linux、macOS 和 Windows 等操作系统上运行。 以下是在 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值