Nginx动态反向代理（2022/11/12）

最新推荐文章于 2024-07-26 11:20:39 发布
最新推荐文章于 2024-07-26 11:20:39 发布
阅读量5.8k 收藏 16
点赞数 3
分类专栏： Nginx 文章标签： nginx 运维 linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44797987/article/details/127818406
版权

Nginx动态反向代理（2022/11/12）

文章目录

工作中经常遇到需要在前端访问第三方平台接口的情况，前端直接访问会遇到跨域、http 禁止调用 https 等问题，故需要在后台通过 Nginx 进行反向代理。随着第三方平台的增加，反向代理配置文件越来越复杂，因此笔者在考虑通过参数传递目标地址实现动态反向代理，本文将详细介绍实现过程。

一、搭建环境

  • CentOS Linux release 7.9.2009 (Core)；
  • Nginx/1.22.0；

二、技术方案

方案一：

通过 query 参数携带反向代理目标地址到 nginx，nginx 通过 $arg_variable 获取到代理地址，进而通过 proxy_pass 进行反向代理。

方案二：

通过 sub url 传递反向代理目标地址到 nginx，nginx 通过正则匹配获取到代理地址，进而通过 proxy_pass 进行反向代理。

方案对比：

在实现的过程中，发现方案一存在以下问题：

  • 获取到的代理目标地址经过了 url 编码，nginx 无法正确代理；
  • url 编码将 // 编码成了 /；
  • 反向代理时 query 参数会携带反向代理地址，导致部分代理地址无法正确响应结果；

因此，笔者最终选择了通过方案二来实现，详细的实现过程见下文。

三、实现过程

  1. 配置 DNS 解析服务器：因为 proxy_pass 使用变量时无法正确解析域名，因此需要手动指定 DNS 解析服务器；

    location /_proxy/ {
    # 配置 DNS 服务器，proxy_pass 采用变量时需要指定
    resolver 114.114.114.114 valid=3600s;
}

  2. 获取代理地址：通过正则表达式获取代理目标地址，以 https://127.0.0.1/_proxy/https://api.github.com/search/users?q=test 为例；

    location /_proxy/ {
    # 配置 DNS 服务器，proxy_pass 采用变量时需要指定
    resolver 114.114.114.114 valid=3600s;

    # 通过正则截取路由中的 sub url
    if ($request_uri ~* "/_proxy/(.*)") {
        set $proxy_url $1;
    }
}

  3. 进行反向代理：通过正则获取代理地址中的主机地址，并通过 proxy_pass 进行反向代理；

    location /_proxy/ {
    # 配置 DNS 服务器，proxy_pass 采用变量时需要指定
    resolver 114.114.114.114 valid=3600s;

    # 通过正则截取路由中的 sub url
    if ($request_uri ~* "/_proxy/(.*)") {
        set $proxy_url $1;
    }

    # 解析请求地址，并进行反向代理
    set $is_matched 0;
    if ($proxy_url ~* "^(http|ws)(s?):\/\/?([a-zA-Z0-9\-\.]+:?\d*)([^\?]*)") {
        set $is_matched 1;
        set $proxy_protocol http$2;
        set $proxy_host $3;
        set $proxy_uri $4;
        set $proxy_url $proxy_protocol://$proxy_host$proxy_uri;

        proxy_pass $proxy_url$is_args$args;
    }
}

    注：proxy_pass 通过变量指定地址时，不会将 query 参数传递给目标地址，因此需要通过 $is_args$args 手动传递 query 参数。

  4. WebSocket 支持：根据 $http_upgrade 的值实现动态升级 WebSocket 连接；

    # map 指令根据客户端请求头中 $http_upgrade 的值构建 $connection_upgrade 的值；如果 $http_upgrade 没有匹配，默认值为 upgrade，如果 $http_upgrade 配置空字符串，值为 close
map $http_upgrade $connection_upgrade {
    default upgrade;
    '' close;
}

location /_proxy/ {
    # 配置 DNS 服务器，proxy_pass 采用变量时需要指定
    resolver 114.114.114.114 valid=3600s;

    # 通过正则截取路由中的 sub url
    if ($request_uri ~* "/_proxy/(.*)") {
        set $proxy_url $1;
    }

    # 解析请求地址，并进行反向代理
    set $is_matched 0;
    if ($proxy_url ~* "^(http|ws)(s?):\/\/?([a-zA-Z0-9\-\.]+:?\d*)([^\?]*)") {
        set $is_matched 1;
        set $proxy_protocol http$2;
        set $proxy_host $3;
        set $proxy_uri $4;
        set $proxy_url $proxy_protocol://$proxy_host$proxy_uri;

        proxy_pass $proxy_url$is_args$args;
    }


    # 请求服务器升级协议为 WebSocket
    proxy_http_version 1.1;
    proxy_set_header Upgrade $http_upgrade;
    proxy_set_header Connection $connection_upgrade;

    # 设置读写超时时间，默认 60s 无数据连接将会断开
    proxy_read_timeout 300s;
    proxy_send_timeout 300s;
}

  5. 反向代理优化：通过添加部分请求头对反向代理进行优化；

    # map 指令根据客户端请求头中 $http_upgrade 的值构建 $connection_upgrade 的值；如果 $http_upgrade 没有匹配，默认值为 upgrade，如果 $http_upgrade 配置空字符串，值为 close
map $http_upgrade $connection_upgrade {
    default upgrade;
    '' close;
}

location /_proxy/ {
    # 配置 DNS 服务器，proxy_pass 采用变量时需要指定
    resolver 114.114.114.114 valid=3600s;

    # 通过正则截取路由中的 sub url
    if ($request_uri ~* "/_proxy/(.*)") {
        set $proxy_url $1;
    }

    # 解析请求地址，并进行反向代理
    set $is_matched 0;
    if ($proxy_url ~* "^(http|ws)(s?):\/\/?([a-zA-Z0-9\-\.]+:?\d*)([^\?]*)") {
        set $is_matched 1;
        set $proxy_protocol http$2;
        set $proxy_host $3;
        set $proxy_uri $4;
        set $proxy_url $proxy_protocol://$proxy_host$proxy_uri;

        proxy_pass $proxy_url$is_args$args;
    }


    # 请求服务器升级协议为 WebSocket
    proxy_http_version 1.1;
    proxy_set_header Upgrade $http_upgrade;
    proxy_set_header Connection $connection_upgrade;

    # 设置读写超时时间，默认 60s 无数据连接将会断开
    proxy_read_timeout 300s;
    proxy_send_timeout 300s;

    # Host 主机名，为了避免目标服务做限制此处采用目标地址的 Host
    proxy_set_header Host $proxy_host;
    # X-Real-IP 将真实访问者的远端 IP 地址转发给代理服务器
    proxy_set_header X-Real-IP $remote_addr;
    # X-Forwarded-For 标记客户端通过代理连接到服务器的源 IP
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    # X-Forwarded-Host 标记客户端通过代理连接到服务器的原始主机
    proxy_set_header X-Forwarded-Host $host:$server_port;
    # X-Forwarded-Server 代理服务器的主机名
    proxy_set_header X-Forwarded-Server $host;
    # X-Forwarded-Port 定义客户端请求的原始端口
    proxy_set_header X-Forwarded-Port $server_port;
    # X-Forwarded-Proto 标记客户端通过代理连接到服务器的协议
    proxy_set_header X-Forwarded-Proto $scheme;
    # proxy_set_header X-Forwarded-Proto $proxy_x_forwarded_proto;
}

  6. 异常处理：对不合法的代理地址进行提示；

    # map 指令根据客户端请求头中 $http_upgrade 的值构建 $connection_upgrade 的值；如果 $http_upgrade 没有匹配，默认值为 upgrade，如果 $http_upgrade 配置空字符串，值为 close
map $http_upgrade $connection_upgrade {
    default upgrade;
    '' close;
}

location /_proxy/ {
    # 配置 DNS 服务器，proxy_pass 采用变量时需要指定
    resolver 114.114.114.114 valid=3600s;

    # 通过正则截取路由中的 sub url
    if ($request_uri ~* "/_proxy/(.*)") {
        set $proxy_url $1;
    }

    # 解析请求地址，并进行反向代理
    set $is_matched 0;
    if ($proxy_url ~* "^(http|ws)(s?):\/\/?([a-zA-Z0-9\-\.]+:?\d*)([^\?]*)") {
        set $is_matched 1;
        set $proxy_protocol http$2;
        set $proxy_host $3;
        set $proxy_uri $4;
        set $proxy_url $proxy_protocol://$proxy_host$proxy_uri;

        proxy_pass $proxy_url$is_args$args;
    }


    # 请求服务器升级协议为 WebSocket
    proxy_http_version 1.1;
    proxy_set_header Upgrade $http_upgrade;
    proxy_set_header Connection $connection_upgrade;

    # 设置读写超时时间，默认 60s 无数据连接将会断开
    proxy_read_timeout 300s;
    proxy_send_timeout 300s;

    # Host 主机名，为了避免目标服务做限制此处采用目标地址的 Host
    proxy_set_header Host $proxy_host;
    # X-Real-IP 将真实访问者的远端 IP 地址转发给代理服务器
    proxy_set_header X-Real-IP $remote_addr;
    # X-Forwarded-For 标记客户端通过代理连接到服务器的源 IP
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    # X-Forwarded-Host 标记客户端通过代理连接到服务器的原始主机
    proxy_set_header X-Forwarded-Host $host:$server_port;
    # X-Forwarded-Server 代理服务器的主机名
    proxy_set_header X-Forwarded-Server $host;
    # X-Forwarded-Port 定义客户端请求的原始端口
    proxy_set_header X-Forwarded-Port $server_port;
    # X-Forwarded-Proto 标记客户端通过代理连接到服务器的协议
    proxy_set_header X-Forwarded-Proto $scheme;
    # proxy_set_header X-Forwarded-Proto $proxy_x_forwarded_proto;

    # 如果目标地址为非 http、https、ws、wss 请求，提示错误信息
    default_type application/json;
    if ($is_matched = 0) {
        return 200 '{"code": 404, "message": "The proxy url is invalid!", "proxy_url": $proxy_url}';
    }
    # 调试输出
    # return 200 '{"code": 200, "proxy_url": $proxy_url$is_args$args, "proxy_host": $proxy_host, "request_uri": $request_uri}';
}

四、配置结果

# map 指令根据客户端请求头中 $http_upgrade 的值构建 $connection_upgrade 的值；如果 $http_upgrade 没有匹配，默认值为 upgrade，如果 $http_upgrade 配置空字符串，值为 close
map $http_upgrade $connection_upgrade {
    default upgrade;
    '' close;
}

location /_proxy/ {
    # 配置 DNS 服务器，proxy_pass 采用变量时需要指定
    resolver 114.114.114.114 valid=3600s;

    # 通过正则截取路由中的 sub url
    if ($request_uri ~* "/_proxy/(.*)") {
        set $proxy_url $1;
    }

    # 解析请求地址，并进行反向代理
    set $is_matched 0;
    if ($proxy_url ~* "^(http|ws)(s?):\/\/?([a-zA-Z0-9\-\.]+:?\d*)([^\?]*)") {
        set $is_matched 1;
        set $proxy_protocol http$2;
        set $proxy_host $3;
        set $proxy_uri $4;
        set $proxy_url $proxy_protocol://$proxy_host$proxy_uri;

        proxy_pass $proxy_url$is_args$args;
    }


    # 请求服务器升级协议为 WebSocket
    proxy_http_version 1.1;
    proxy_set_header Upgrade $http_upgrade;
    proxy_set_header Connection $connection_upgrade;

    # 设置读写超时时间，默认 60s 无数据连接将会断开
    proxy_read_timeout 300s;
    proxy_send_timeout 300s;

    # Host 主机名，为了避免目标服务做限制此处采用目标地址的 Host
    proxy_set_header Host $proxy_host;
    # X-Real-IP 将真实访问者的远端 IP 地址转发给代理服务器
    proxy_set_header X-Real-IP $remote_addr;
    # X-Forwarded-For 标记客户端通过代理连接到服务器的源 IP
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    # X-Forwarded-Host 标记客户端通过代理连接到服务器的原始主机
    proxy_set_header X-Forwarded-Host $host:$server_port;
    # X-Forwarded-Server 代理服务器的主机名
    proxy_set_header X-Forwarded-Server $host;
    # X-Forwarded-Port 定义客户端请求的原始端口
    proxy_set_header X-Forwarded-Port $server_port;
    # X-Forwarded-Proto 标记客户端通过代理连接到服务器的协议
    proxy_set_header X-Forwarded-Proto $scheme;
    # proxy_set_header X-Forwarded-Proto $proxy_x_forwarded_proto;

    # 如果目标地址为非 http、https、ws、wss 请求，提示错误信息
    default_type application/json;
    if ($is_matched = 0) {
        return 200 '{"code": 404, "message": "The proxy url is invalid!", "proxy_url": $proxy_url}';
    }
    # 调试输出
    # return 200 '{"code": 200, "proxy_url": $proxy_url$is_args$args, "proxy_host": $proxy_host, "request_uri": $request_uri}';
}

参考链接：

Hit不死的小强
关注
  • 3
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 13
    评论
专栏目录
Nginx配置动态反向代理
qq_1801743621的博客
11-02 1581
Nginx配置动态反向代理。业务场景中有一个接口，需要根据不同业务代理几十个地址，如果使用传统代理模式需要一个个地址代理非常繁琐且工作量大增也不好维护，这个时候使用动态代理就非常方便了。请求地址：http://127.0.0.1:8080/proxy/127.0.0.1:2023/api/test。请求地址：http://127.0.0.1:8080/api/test。准备工作：起两个项目。
Nginx(11)_Nginx反向代理
renzhongrui的博客
01-23 873
Nginx反向代理支持的协议 upstream模块 1、作用 upstream模块用于定义上游服务器的相关信息，如下图所示： upstream模块默认已被编译进nginx，禁用需要使用--without-http-upstream_module来编译nginx。 语法： upstream name { 指令 } 默认值：无 上下文：http 2、指令集 指令 含义 upst...
Nginx 动态反向代理
qq_36522188的博客
08-04 1439
request_filename 当前请求的文件路径名，比如/opt/nginx/www/test.php。$server_protocol 请求的协议版本，“HTTP/1.0"或"HTTP/1.1”$host 请求信息中的"Host"，如果请求中没有Host行，则等于设置的服务器名。$request_method 请求的方法，比如"GET"、"POST"等。$content_type 请求信息里的"Content-Type"$uri 请求的URI，可能和最初的值有不同，比如经过重定向之类的。...
nginx动态请求代理配置
ApexPredator的博客
02-21 2010
nginx动态请求代理配置
Nginx代理配置
最新发布
Ben_10_的博客
07-26 2152
是指客户端通过代理服务器来访问目标服务器，目标服务器不知道真正的客户端是谁，只知道请求来自于代理服务器。是指客户端通过代理服务器来访问目标服务器集群，客户端不知道真正的目标服务器是哪一个，只知道请求发送到了代理服务器。
基于 Nginx 的动态代理
weixin_34301307的博客
10-01 1902
基于 Nginx 的动态代理 作者：赵波日期：2016 年 8 月 4 日 在实际应用中，遇到了这样一个场景： 已有一个手机 APP 客户端，需要在该 APP 客户端中实现通过 Web 的形式接入其他的应用页面。按照常规的流程，在 APP 中为应用设置入口链接按钮，当用户点击应用入口按钮时，APP 启动 WebView 并打开设置的应用链...
Nginx动态反向代理1
weixin_30376453的博客
06-19 590
1.在nginx.con里配置 upstream backend_server{ server 172.31.49.158 weight=1;//分别配权重为1 server 172.31.49.118 weight=1; } //在server里加上location / {　　proxy_pass http://backend_server;　　proxy_se...
基于nginx 动态 URL反向代理的实现
skybot的专栏
03-25 928
我们在项目中在这样一个场景，用户需要使用固定的软件资源，这些资源是以服务器或者以容器形式存在的。 资源以webAPI方式在内网向外提供接口，资源分类多种类型，每种类型的资源程序和Wapi参数都一样。这些资源部属完成后使用IP＋端口进行区分。有没有一种办法可以做到动态转发呢？
Nginx反向代理动态业务
lzn1210899799的博客
02-14 298
部署美多商城服务器 Nginx部署静态数据 提示： 当Django运行在生产环境时，将不再提供静态文件的支持，需要将静态文件交给静态文件服务器。 我们需要收集项目中静态文件，并放到静态文件服务器中。 我们使用Nginx服务器作为静态文件服务器。 收集项目静态文件 配置收集静态文件存放的目录 STATIC_ROOT = os.path.join(os.path.dirname(BASE_D...
Nginx-反向代理
∑
10-24 343
反向代理实例 1 1、实现效果 （1）打开浏览器，在浏览器地址栏输入地址 www.123.com，跳转到 liunx 系统 tomcat 主页 面中 2、准备工作 （1）在 liunx 系统安装 tomcat，使用默认端口 8080 tomcat 安装文件放到 liunx 系统中，解压 进入 tomcat 的 bin 目录中，./startup.sh 启动 tomcat 服务器 （2）对外开放...
nginx反向代理webSocket配置详解
01-10
最近在做项目的时候用到了webSocket协议,而且是在微信小程序中用到了...另一种办法，就是使用nginx反向代理。 因为webSocket协议是基于http协议升级的（见下图），所以可以使用nginx反向代理webSocket. webSocket
Python-Ceryx是基于NGINXOpenResty的动态反向代理
08-10
Ceryx 是基于 NGINX OpenResty 的动态反向代理，带有一个 API。 代理 Ceryx 使用 NGINX OpenResty 为了基于请求主机进行路由请求。这个路由是使用 NGINX Lua 模块制作的，可以通过查询一个 Redis 后端获取结果。
Nginx+lua通过url传参的方式实现动态代理
07-20
需求大致如下:通过url传参的方式,让Nginx代理到不同的服务器 浏览器输入:http://127.0.0.1/remote?port=8081被代理到:http://192.168.108.2:8081
详解nginx反向代理配置及优化
01-20
前言: 由于服务器apache抗不住目前的并发.加上前端squid配置后,问题依然无法解决.而页面程序大部分是动态.无法使用fastcgi来处理.因此想使用nginx做为反向代理apache.整个配置安装过程很简单.在考虑高并发的情况下,在安装前就做了些优化.目前配置能抗住3000以上并发.好像不是特别大哦?呵~~ 但足以~~ 只是还有少量499问题..期待有人跟我讨论解决 第1部分:安装 1 建立用户及组 /usr/sbin/groupadd www /usr/sbin/useradd -g www www 2 安装pcre 让nginx支持rewrite 方便以后所需 wge
ForwardAPP:Confd+Etcd+Nginx动态反向代理,WEB可视化配置,绕过备案,集成内网穿透模块,docker一键化部署
05-13
ForwardApp 0x0 介绍   Confd+Etcd+Nginx反向代理,WEB可视化配置,集成内网穿透模块,docker一键化部署。 在线测试网址: 0x1 效果图展示 0x2 安装过程 docker推送镜像过程: 1.docker login 2.xq17/forwardapp:v1 正式安装 1.git clone https://github.com/mstxq17/ForwardAPP.git 访问较慢可以尝试下面链接 ps:git clone https://gitee.com/xq17Boy/ForwardAPP.git 2.cd ForwardAPP 这里建议修改docker-compose.yml中的nginx的映射端口为- 80:80 3.docker build -t xq17/forwardapp:v1 . 先本地建立起这个镜像再继续执行 下载镜像慢,ubu
nginx做反向代理时的真实IP_nginx反向代理_
10-02
要获取Nginx反向代理下的真实IP，主要涉及以下两个关键配置： 1. **$remote_addr 变量**：这是Nginx默认记录的客户端IP地址。在没有经过代理的情况下，$remote_addr会存储客户端的IP。但当Nginx作为反向代理时，它...
Nginx 反向代理并缓存及缓存清除的方法
01-20
本文介绍了Nginx 反向代理并缓存及缓存清除的方法，分享给大家，具体如下： 一. Nginx 配置 #user nobody; worker_processes 1; #error_log logs/error.log; #error_log logs/error.log notice; #error_log logs/...
nginx反向代理导致session失效的问题解决
09-29
在本文中，我们将深入探讨一个常见的问题：如何解决由Nginx反向代理导致的Session失效问题。这个问题通常发生在使用Nginx作为前端服务器，将用户请求转发到多个后端应用服务器的环境中。在这样的架构中，Session管理...
Cobalt_Strike_C2隐匿多级nginx反向代理1
08-03
1. 在第一层 Nginx 反向代理节点（例如：21.67.38.47）上配置 Nginx，设置监听 80 端口，并将所有流入的 80 端口流量转发到第二层 Nginx 反向代理的域名（如 host.second.com:80）。 ``` upstream default_pools...
nginx 动态反向代理
11-01
nginx动态反向代理是指nginx根据请求的内容动态地将请求转发到不同的后端服务器上。这种反向代理方式可以根据请求的内容进行负载均衡，从而提高系统的性能和可靠性。nginx动态反向代理的实现需要使用nginx的upstream模块和proxy_pass指令。upstream模块用于定义后端服务器的列表，而proxy_pass指令则用于将请求转发到后端服务器。在实际应用中，可以通过修改upstream模块的配置来动态地调整后端服务器的列表，从而实现动态反向代理的功能。
评论 13
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值