Nginx 端口复用

背景

在没有使用kubernetes集群的情况下，如何实现Docker容器的平滑滚动更新，且不影响线上流量。以流量入口为例，入口服务为Nginx和Golang语言为主的程序来接收上游下发的流量。

解决方案

SO_REUSEPORT

SO_REUSEPORT是Linux内核3.9在SOCKET中引入的新功能，它允许将多个AF_INET或AF_INET6套接字绑定到相同的套接字地址。在将套接字绑定到接口之前，每个套接字都应启用此选项。这样，多个进程可以同时在同一端口上监听。

开启 Reuseport

如图所示，当未启用SO_REUSEPORT选项时，单个侦听套接字将通知工作程序传入连接，每个工作程序都尝试建立连接。启用SO_REUSEPORT选项后，每个IP地址和端口组合有多个套接字监听器，每个工作进程有一套接字监听器。下面以Nginx为例，启用reuseport。Nginx在1.9.1版本的时候已经加入了该支持。
开启方式，只需要主配置文件listen端口后面加上reuseport即可：

[root@master ~]# vim nginx.conf
    server {
        listen       80 reuseport;
        server_name  reuse.biz.weibo.com;
        root         /usr/share/nginx/html;

开启端口分片，这意味着将为每个工作进程创建一个单独的侦听套接字(使用SO_REUSEPORT socket选项)，从而允许内核在工作进程之间分配传入的连接。

修改后可以查看listen的socket数量的变化，未使用reuseport时，一个port有一个socket：

[root@master ~]# ss -lnt|grep 80
LISTEN     0      128          *:80                       *:*
LISTEN     0      128          *:80                       *:*
LISTEN     0      128          *:80                       *:*
LISTEN     0      128          *:80                       *:*
LISTEN     0      128          *:80                       *:*
LISTEN     0      128          *:80                       *:*
LISTEN     0      128          *:80                       *:*
LISTEN     0      128          *:80                       *:*
LISTEN     0      128          *:80                       *:*
LISTEN     0      128          *:80                       *:*
...
[root@master ~]# ss -lnt | grep ":80" | wc -l
41

升级Nginx验证

选用两个nginx版本：1.13、1.18.0，配置文件采用Nginx默认配置文件，只开启reuseport参数。

启动nginx 1.13

[root@master ~]# docker run -dit --name nginx --net=host nginx:1.13

拷贝线上流量

[root@master ~]# sudo gor --input-raw :80 --output-http "10.x.x.x"

此时流量已经打到10.x.x.x机器上，通过docker logs可以查看相关访问日志。

启动nginx 1.18.0

[root@master ~]# docker run -dit --name nginx --net=host nginx:1.18.0

[root@master ~]# sudo  docker ps
CONTAINER ID        IMAGE               COMMAND                  CREATED             STATUS              PORTS               NAMES
09a891a91d00        nginx:1.18.0      "/bin/sh -c 'nginx -…"   16 seconds ago      Up 15 seconds                           nginx-new
7644b490473c        nginx:1.13   "/bin/sh -c 'nginx -…"   25 minutes ago      Up 5 minutes                            nginx

通过docker logs查看两个容器都正常接收流量，这是将nginx1.13停止，流量也不会出现中断。

此案例以Nginx为例，Go语言开发的程序也可以开启reuseport 来实现同样的效果。