关闭nginx容器之后，再次启动，原来宿主机映射的端口失效的问题解决

已于 2023-06-10 22:19:34 修改
阅读量1.4k 收藏 1
点赞数
分类专栏： nginx 文章标签： nginx 运维 linux
于 2023-06-10 22:14:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/marlinlm/article/details/131146277
版权
在Ubuntu服务器上使用containerd和nerdctl部署nginx时，遇到端口映射问题。在停止旧容器并启动新容器后，新容器无法通过映射端口接收请求。问题源于iptables的CNI规则未清除，与nginx配置中使用特定IP进行重定向有关。解决方案是手动清理iptables的多余规则。提示读者检查nginx配置中的rewrite指令，避免使用IP地址以防止类似问题。
摘要由CSDN通过智能技术生成

最近用containerd在部署nginx的时候，发生了一个比较诡异的问题，当笔者通过nerdctl stop把原来的nginx容器关闭，然后再通过nerdctl run启动一个新的nginx容器的时候，把原来的宿主机端口映射到这个新容器上，但新启动的容器却无法通过映射的端口收到任何请求，而且新容器启动顺利，没有任何报错。这个问题的原因十分隐蔽，而且一开始让人无从下手。本文介绍了这个问题的解决办法，为被该问题困扰的同学提供一个脱困的思路。

1. 环境

出现问题的服务器环境长这样：

$ sudo uname -a
Linux ubuntu-1 5.4.0-121-generic #137-Ubuntu SMP Wed Jun 15 13:33:07 UTC 2022 x86_64 x86_64 x86_64 GNU/Linux
$ sudo nerdctl version
Client:
 Version:       v0.20.0
 OS/Arch:       linux/amd64
 Git commit:    e77e05b5fd252274e3727e0439e9a2d45622ccb9

Server:
 containerd:
  Version:      1.6.6
  GitCommit:    10c12954828e7c7c9b6e0ea9b0c02b01407d3ae1

同时还更新了cni网络插件到v1.1.1版本。
使用最新的nginx镜像：

$ sudo nerdctl exec nginx-4087e nginx -v
nginx version: nginx/1.25.0

2. 问题重现

首先启动一个nginx容器:

$ sudo nerdctl run -d -v /home/linmao/nginx/nginx.conf:/etc/nginx/nginx.conf -v /home/linmao/nginx/cert:/cert/ -p 8000:8000 -p 4443:4443 nginx
15b4bc769d04e6c28ac895c0403085656e866a35f72157edd6b81aec5464cbe6

其中映射了2个端口，8000端口用来提供http端点，4443端口用来提供https端点。
nginx.conf长这样：

events {
    worker_connections 64;
}

http {
    resolver 8.8.8.8;

    server {
        listen 8000;
        # 这是部署在nginx服务器上层的网络入口防火墙的ip地址，4443端口映射到本机的4443端口。
        rewrite ^(.*) https://xxx.xxx.xxx.xxx:4443$1 permanent;
    }

    server {
        listen 4443 ssl;
        # 这是笔者自签的证书
        ssl_certificate /cert/self_cert.pem;
        ssl_certificate_key /cert/self_key.pem;

        location ~ /(.*)$ {
        	# 这是代理的后端服务的域名
            proxy_pass https://www.xxxx.com/$1;
            proxy_redirect off;
            proxy_set_header Host $proxy_host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        }
    }
}

此时8000端口和4443端口是正常的。

$ curl localhost:8000
<html>
<head><title>301 Moved Permanently</title></head>
<body>
<center><h1>301 Moved Permanently</h1></center>
<hr><center>nginx/1.25.0</center>
</body>
</html>

$ curl localhost:4443
<html>
<head><title>400 The plain HTTP request was sent to HTTPS port</title></head>
<body>
<center><h1>400 Bad Request</h1></center>
<center>The plain HTTP request was sent to HTTPS port</center>
<hr><center>nginx/1.25.0</center>
</body>
</html>

关闭这个容器之后再用同样的命令run一个新的nginx，新的nginx启动日志是正常的，但是该新nginx无法收到任何网络流量。映射出来的端口并没有被监听。

$ sudo nerdctl stop 15b4bc769d04
15b4bc769d04

$ sudo nerdctl run -d -v /home/linmao/nginx/nginx.conf:/etc/nginx/nginx.conf -v /home/linmao/nginx/cert:/cert/ -p 8000:8000 -p 4443:4443 nginx
b8bf8e71ce1578d2b1f79c5d66cb75d2287a0f0d942d978761124f2dc003b3b8

$ sudo nerdctl logs -f b8bf8e71ce1578d2b1f79c5d66cb75d2287a0f0d942d978761124f2dc003b3b8
/docker-entrypoint.sh: /docker-entrypoint.d/ is not empty, will attempt to perform configuration
/docker-entrypoint.sh: Looking for shell scripts in /docker-entrypoint.d/
/docker-entrypoint.sh: Launching /docker-entrypoint.d/10-listen-on-ipv6-by-default.sh
10-listen-on-ipv6-by-default.sh: info: Getting the checksum of /etc/nginx/conf.d/default.conf
10-listen-on-ipv6-by-default.sh: info: Enabled listen on IPv6 in /etc/nginx/conf.d/default.conf
/docker-entrypoint.sh: Launching /docker-entrypoint.d/20-envsubst-on-templates.sh
/docker-entrypoint.sh: Launching /docker-entrypoint.d/30-tune-worker-processes.sh
/docker-entrypoint.sh: Configuration complete; ready for start up

$ curl localhost:8000
curl: (7) Failed to connect to localhost port 8000: No route to host
$ curl localhost:4443
curl: (7) Failed to connect to localhost port 4443: No route to host

$ netstat -ano|grep :8000
$
$ netstat -ano|grep :4443
$

3. 问题的原因

遇到这样的问题笔者是一点不慌（才怪），马上打开iptables看一下nat表，一下发现了一些不正常的地方（列表较长，不相关的规则被笔者去掉了，留下的都是相关的规则）。nat表的POSTROUTING链多了2个名为CNI-xxxxxx的规则，并且增加了2个名称对应为CNI-xxxxx的链。另外CNI-HOSTPORT-DNAT的链增加了2个名为CNI-DN-xxx的规则，同时增加了2个对应名称为CNI-DN-xxxxx的规则链。

$ sudo iptables -nL -t nat --line-numbers
...
Chain POSTROUTING (policy ACCEPT)
num  target     prot opt source               destination
...
9    CNI-d7ad1e347f6ac6bffdae5988  all  --  10.4.0.54            0.0.0.0/0            /* name: "bridge" id: "default-15b4bc769d04e6c28ac895c0403085656e866a35f72157edd6b81aec5464cbe6" */
10   CNI-a294464dbb367262e6fa35c6  all  --  10.4.0.55            0.0.0.0/0            /* name: "bridge" id: "default-b8bf8e71ce1578d2b1f79c5d66cb75d2287a0f0d942d978761124f2dc003b3b8" */
...
Chain CNI-HOSTPORT-DNAT (2 references)
num  target     prot opt source               destination
1    CNI-DN-d7ad1e347f6ac6bffdae5  tcp  --  0.0.0.0/0            0.0.0.0/0            /* dnat name: "bridge" id: "default-15b4bc769d04e6c28ac895c0403085656e866a35f72157edd6b81aec5464cbe6" */ multiport dports 8000,4443
2    CNI-DN-a294464dbb367262e6fa3  tcp  --  0.0.0.0/0            0.0.0.0/0            /* dnat name: "bridge" id: "default-b8bf8e71ce1578d2b1f79c5d66cb75d2287a0f0d942d978761124f2dc003b3b8" */ multiport dports 8000,4443
...
Chain CNI-DN-a294464dbb367262e6fa3 (1 references)
num  target     prot opt source               destination
1    CNI-HOSTPORT-SETMARK  tcp  --  10.4.0.0/24          0.0.0.0/0            tcp dpt:8000
2    CNI-HOSTPORT-SETMARK  tcp  --  127.0.0.1            0.0.0.0/0            tcp dpt:8000
3    DNAT       tcp  --  0.0.0.0/0            0.0.0.0/0            tcp dpt:8000 to:10.4.0.55:8000
4    CNI-HOSTPORT-SETMARK  tcp  --  10.4.0.0/24          0.0.0.0/0            tcp dpt:4443
5    CNI-HOSTPORT-SETMARK  tcp  --  127.0.0.1            0.0.0.0/0            tcp dpt:4443
6    DNAT       tcp  --  0.0.0.0/0            0.0.0.0/0            tcp dpt:4443 to:10.4.0.55:4443
...
Chain CNI-DN-d7ad1e347f6ac6bffdae5 (1 references)
num  target     prot opt source               destination
1    CNI-HOSTPORT-SETMARK  tcp  --  10.4.0.0/24          0.0.0.0/0            tcp dpt:8000
2    CNI-HOSTPORT-SETMARK  tcp  --  127.0.0.1            0.0.0.0/0            tcp dpt:8000
3    DNAT       tcp  --  0.0.0.0/0            0.0.0.0/0            tcp dpt:8000 to:10.4.0.54:8000
4    CNI-HOSTPORT-SETMARK  tcp  --  10.4.0.0/24          0.0.0.0/0            tcp dpt:4443
5    CNI-HOSTPORT-SETMARK  tcp  --  127.0.0.1            0.0.0.0/0            tcp dpt:4443
6    DNAT       tcp  --  0.0.0.0/0            0.0.0.0/0            tcp dpt:4443 to:10.4.0.54:4443
...
Chain CNI-d7ad1e347f6ac6bffdae5988 (1 references)
num  target     prot opt source               destination
1    ACCEPT     all  --  0.0.0.0/0            10.4.0.0/24          /* name: "bridge" id: "default-15b4bc769d04e6c28ac895c0403085656e866a35f72157edd6b81aec5464cbe6" */
2    MASQUERADE  all  --  0.0.0.0/0           !224.0.0.0/4          /* name: "bridge" id: "default-15b4bc769d04e6c28ac895c0403085656e866a35f72157edd6b81aec5464cbe6" */
...
Chain CNI-a294464dbb367262e6fa35c6 (1 references)
num  target     prot opt source               destination
1    ACCEPT     all  --  0.0.0.0/0            10.4.0.0/24          /* name: "bridge" id: "default-b8bf8e71ce1578d2b1f79c5d66cb75d2287a0f0d942d978761124f2dc003b3b8" */
2    MASQUERADE  all  --  0.0.0.0/0           !224.0.0.0/4          /* name: "bridge" id: "default-b8bf8e71ce1578d2b1f79c5d66cb75d2287a0f0d942d978761124f2dc003b3b8" */
...

再看一下mangle表，mangle表正常（空的）：

$ sudo iptables -nL -t mangle --line-numbers
Chain PREROUTING (policy ACCEPT)
num  target     prot opt source               destination

Chain INPUT (policy ACCEPT)
num  target     prot opt source               destination

Chain FORWARD (policy ACCEPT)
num  target     prot opt source               destination

Chain OUTPUT (policy ACCEPT)
num  target     prot opt source               destination

Chain POSTROUTING (policy ACCEPT)
num  target     prot opt source               destination

Chain KUBE-IPTABLES-HINT (0 references)
num  target     prot opt source               destination

Chain KUBE-KUBELET-CANARY (0 references)
num  target     prot opt source               destination

再看一下filter表也正常，不过在笔者的另一台机器里发现了fliter表也被增加了几个规则。不过在笔者尝试重现问题的时候并未发现filter表有异常。建议同学们也查一下这个表。

$ sudo iptables -nL -t filter --line-numbers

这些新增的规则和规则链不会因为容器的停止而删除。后来笔者发现，这些规则的新增，是因为nginx.conf配置文件中，server块的rewrite命令后边写了ip地址。

    server {
        listen 8000;
        # 就是这一句写了ip地址，导致出现了上边那些规则，如果把ip地址改成localhost就不会出现上边的问题。
        rewrite ^(.*) https://xxx.xxx.xxx.xxx:4443$1 permanent;
    }

4. 问题的解决

知道了原因就很好办了，直接使用iptables -F 或者 iptables -D删掉多出来的规则就行了。有同学知道为什么nginx.conf把rewrite写成一个ip地址，就会在iptables增加一些不会自动删除的规则和规则链的原因的吗？快来评论区告诉笔者吧。

马尔科夫司机
关注
专栏目录
Docker——镜像管理、数据管理、端口映射及容器互联
ML908的博客
04-22 678
文章目录一、Docker镜像的分层二、Docker镜像的创建1、基于Dockerfile创建2、基于已有镜像容器创建3、基于本地模板创建三、建立私有仓库四、数据卷1、Docker数据卷2、数据卷容器五、端口映射六、容器互联 一、Docker镜像的分层 Dockerfile中的每个指令都会创建一个新的镜像层 镜像层将被缓存和复用 当Dockerfile的指令修改了，复制的文件变化了，或者构建镜像...
Nginx 无法转发本地端口
hwx865的专栏
08-22 1205
本文主要分析解决 centos 下 nginx 配置端口转发后不生效，通过 nginx 配置 server 转发后，无法达到预期的转发目的，并出现502错误的问题。将配置文件修改后，重新访问 http://192.168.0.8 看是否能正确的转发到 http://192.168.0.8:8080 地址。然后重启你的虚拟机 reboot，经过以上二步后 nginx 无法转发本地端口的问题将得到彻底解决。经过修改后，再次访问 http://192.168.0.8 能正常转发到百度，那么说明了一个问题，
nginx重定向导致端口映射的端口无法正常访问
噜噜噜的博客
03-11 6156
描述：在使用路由器进行端口映射的时候，如果使用和nginx 监听的端口一样是不存在问题的 但是如果使用了其他端口 就会出现无法访问的问题。 例如：访问http://111.0.120.180:389 会直接跳转到http://111.0.120.180:38080/sso/?return=http://111.0.120.180:38089 通过web端的开发者工具 可以看到进行了一次301重...
nginx映射本地路径老是没有成功，终于发现问题了。
努力才配拥有的博客
05-16 5252
1、配置图片 2.去nginx的安装目录下的/logs/error.log，看日志 发现，日志中的路径是上次修改的路径，不是我配置的路径。 才明白，可能是缓存的原因，所以把expires设置为-1，这样还不够。 还需要打开任务管理器，关闭nginx的所有进程，然后重启nginx就行了 make ...
Mac M1Pro nginx端口映射一直失败，已解决
qq_43756400的博客
12-22 360
然后 终端里把nginx ， nginx -s reload一下。事情是这样的，我最近在学乐优商城的项目，到了nginx这里。一定要注意DNS啊，我还把虚拟机重装了几遍，呜呜。真的很苦恼，弄了一天了。我就去网络加了两个dns 8.8.8.8。重复试了很多遍，我突然想起dns。这是我的配置，没有任何问题。用了postman都测试了。需要用端口映射，来访问。
【nginx】监听80端口不生效问题
最新发布
Holenxr的博客
10-16 1295
Nginx安装之后在/etc/nginx/nginx.conf配置文件引用其它文件的配置，如果有的话需要注释掉，因为引用了一个默认80端口配置，所以在nginx.conf文件配置的80端口会不起作用，所以导致你在nginx.conf配置80端口，怎么访问都是nginx默认页面..._nginx启动监听不到9090端口。Nginx在配置监听80端口不生效问题_nginx启动监听不到9090端口_乌鸦啊的博客-CSDN博客。
nginx 反向代理 nacos2.1.1集群 报错Request nacos server failed:
weixin_43828003的博客
09-09 475
报错信息如下： com.alibaba.nacos.api.exception.NacosException...
docker+nginx 安装部署修改资源目录配置文件和容器端口信息
jh035的博客
12-01 1853
通用路径 /var/lib/docker/containers/{容器Id}/hostconfig.json，里面就存放有容器端口和本地端口，可以进行修改，通过。也可以只使用nginx.conf，修改下配置，不使用conf.d的子配置，但docker容器默认的是使用自配置。注意，这时候可以查看对应的文件信息，但这里不能使用vi查看文件内容，因为是新的终端命令环境，vi无法使用。是目录挂载，将本地目录映射到容器目录，后面直接修改本地目录下的内容，会同步到容器内。
服务器 启动多个nginx_Nginx工作原理和优化总结
weixin_39838302的博客
11-21 2944
NGINX以高性能的负载均衡器，缓存，和web服务器闻名，驱动了全球超过 40% 最繁忙的网站。在大多数场景下，默认的 NGINX 和 Linux 设置可以很好的工作，但要达到最佳性能，有些时候必须做些调整。首先我们先了解其工作原理。一、Nginx的模块与工作原理Nginx由内核和模块组成，其中，内核的设计非常微小和简洁，完成的工作也非常简单，仅仅通过查找配置文件将客户端请求映射到一个l...
dokcer容器nginx反向代理失效
09-30
docker容器中的nginx反向代理失效可能是由于配置问题引起的。在你提供的nginx配置中，proxy_pass的值为www.baidu.com，它需要以...如果问题仍然存在，请检查主机端口和容器端口的映射是否正确，以及容器是否成功启动。
Nginx启动总是端口占用杀了进程仍然端口占用
m0_47195133的博客
06-12 701
Nginx启动总是端口占用杀了进程仍然端口占用
网小鱼Java的bug小集锦0031-Linux环境下安装nginx配置文件错误:端口无法正常映射问题解决
m0_55284524的博客
06-11 1251
在linux系统下,docker中pull下来nginx之后,因为前一天晚上执行了一下文件,启动nginx容器，运行nginx镜像,执行代码如下: sudo docker run -p 80:80 --restart always --name nginx \ -v /usr/local/docker/nginx/:/etc/nginx/ \ -v /usr/local/docker/nginx/conf.d:/etc/nginx/conf.d \ -d nginx 当时第二天早上过来之后,忘记了昨晚已经
nginx外网映射工具连接不上新处理方案
liu18322599856的博客
11-14 587
自己总结
docker部署的nginx无法访问宿主机文件问题
weixin_63020134的博客
04-20 1281
要知道Docker是一种轻量级容器技术，与宿主机具有隔离性。我们做了与宿主机的配置文件挂载，但还没做 /home/genbotter/dist/ 路径的挂载。说明找不到 /home/genbotter/dist/index.html 文件，那我们就去找。记录一次使用docker部署nginx之后，nginx无法访问宿主机文件的问题。在该目录下确实有这个文件，那为什么会找不到呢？配置文件配置好之后访问网站发现找不到资源。遇到问题先查看配置文件配置是否有错误。容器配置文件拷贝到宿主机。启动nginx的命令。
不重建容器的情况下增加容器的端口映射
weixin_42639575的博客
06-29 374
https://www.jianshu.com/p/227f168e16be root@P100:/# docker ps #查看运行中的容器，查看容器id root@P100:/# docker inspect dc62475991c5 | grep IPAddress "SecondaryIPAddresses": null, "IPAddress": "172.17.0.2", "IPAddress": "172.
关于nginx指向nacos遇到的坑
qq_40472999的博客
07-09 4529
刚入职的时候一直在用正式服务器进行开始，项目上线后，还有东西要改就要放到测试服务器上，测试服务器是个新服务器，里面没有东西，我一想，简单啊，正式的往测试上面一放项目部署上去不就行了么，我想的太简单了。 部署时遇到的问题，项目里使用到了nacos，我就直接把正式上面的nacos和nginx都下载下来放到测试服务器上面，因为测试服务器上面只开放了8848端口，那就用nginx做代理指向nacos把，然后不出意外的出现问题了。 先把nacos的端口改成8849端口 然后做了个代理指向nacos .
Linux环境nginx宿主机安装教程
weixin_44216320的博客
02-22 106
1、nginx官网 安装包下载地址 一、 安装Nginx环境 yum install gcc gcc-c++ 1、运行 一般我们都需要先装pcre, zlib，前者为了重写rewrite，后者为了gzip压缩 （1）yum install -y pcre pcre-devel （2）yum install -y zlib zlib-devel （3）yum install -y openssl openssl-devel 2、2、解压： tar -zxvf nginx-1.13.4.tar.gz 3、进入c
本地宿主机连接nginx容器
跨过一座座山
04-19 502
1、启动docker systemctl start docker 2、安装nginx容器 docker run -d -p 80:80 nginx 3、利用ip addr查看虚拟机IP和容器IP 4、在本地宿主机浏览器输入以下地址，进入nginx 虚拟机IP:80 或者直接用 虚拟机IP ...
请求经过防火墙服务端无法获取用户真实ip问题的解决方案
sunweiking的博客
12-12 1664
通过防火墙的请求ip获取
怎么将nginx容器中的nginx.conf文件映射到宿主机
06-09
其中，`-d` 参数表示在后台运行容器，`-p 80:80` 参数表示将容器的80端口映射到宿主机的80端口，`-v /path/to/nginx.conf:/etc/nginx/nginx.conf` 参数表示将宿主机的 `/path/to/nginx.conf` 文件映射到容器的 `/etc...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值