docker 安装及配置 nginx + tomcat（四）：高可用

---

1. 引言

前情提要：
《docker 安装及配置 nginx + tomcat（一）：基础安装》
《docker 安装及配置 nginx + tomcat（二）：负载均衡》
《docker 安装及配置 nginx + tomcat（三）：动静分离》
本文主要描述在在 nginx + tomcat 基础上实现高可用。

2. 高可用架构

高可用（High Availability，简称HA）是分布式系统架构设计中必须考虑的因素之一，它通常是指通过设计减少系统不能提供服务的时间。高可用的主要目的是为了保障“业务的连续性”，即在用户眼里，业务永远是正常对外提供服务的。

对于我们这里就是避免单点故障，当某个 nginx 服务器出现问题之后可以切到到其他的 nginx 服务。

先看下最终的架构图：

3. 实际步骤

3.1 虚拟机新建系统

为了模拟高可用的场景，需要在两台机器上模拟，在虚拟机上再开一台机器，作为 nginx 备服务器，如果在阿里云或者其他服务器上有两台机器也可以模拟。

Mac 系统可以参考这篇文章 《Mac VMware Fusion 安装 Centos 系统》 用虚拟机再来开一台机器。

在新的机器上，参考 《docker 安装及配置 nginx + tomcat（一）：基础安装》 安装 docker，nginx 等（tomcat 可不安装），并启动 nginx 容器。

新机器的 nginx 配置如下：

# 高可用
upstream testservers {
  server 172.16.2.128:8080; # 指向之前实际的 tomcat 服务器1，如果不需要，可以去掉
  server 172.16.2.128:8081; # 指向之前实际的 tomcat 服务器2，如果不需要，可以去掉
  server 172.16.2.128:8082; # 指向之前实际的 tomcat 服务器3，如果不需要，可以去掉
}
server {
    listen       80;
    listen  [::]:80;
    server_name  172.16.2.129;  # 当前新机器的主机 ip

    #access_log  /var/log/nginx/host.access.log  main;

    location = / {
        root   /usr/share/nginx/html;
        proxy_pass http://testservers;
        index  index.html index.htm;
    }

    location ^~ /static {
    	root /data/;
        index index.html;
    }

    location / {
	proxy_pass http://testservers;
    }
    #error_page  404              /404.html;

    # redirect server error pages to the static page /50x.html
    #
    error_page   500 502 503 504  /50x.html;
    location = /50x.html {
        root   /usr/share/nginx/html;
    }

    # proxy the PHP scripts to Apache listening on 127.0.0.1:80
    #
    #location ~ \.php$ {
    #    proxy_pass   http://127.0.0.1;
    #}

    # pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
    #
    #location ~ \.php$ {
    #    root           html;
    #    fastcgi_pass   127.0.0.1:9000;
    #    fastcgi_index  index.php;
    #    fastcgi_param  SCRIPT_FILENAME  /scripts$fastcgi_script_name;
    #    include        fastcgi_params;
    #}

    # deny access to .htaccess files, if Apache's document root
    # concurs with nginx's one
    #
    #location ~ /\.ht {
    #    deny  all;
    #}
}

注意 nginx 配置修改了后，记得重启服务，否则不生效！

# 在容器里
nginx -s reload
# 在容器外
docker exec -it nginx nginx -s reload

3.2 安装 keepalived

在主、备机器上均需下载 keepalived，如下：

yum install -y keepalived       # CentOS 7 / RHEL 7
dnf install -y keepalived       # CentOS 8 / RHEL 8

3.3 配置 keepalived

在主机器上，/etc/keepalived/keepalived.conf 上配置如下：

! Configuration File for keepalived

global_defs {
   router_id node01  # 路由 id: 当前安装 keepalived 节点主机的标识符，全局唯一
   vrrp_skip_check_adv_addr
   vrrp_strict
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}

vrrp_script check_nginx {
   script "/etc/keepalived/check_nginx.sh" # 检查 nginx 是否正常工作的脚本
   interval 2 # 脚本检测间隔，单位为秒
   weight -10
   fall 3 	# 连续检测3次失败就算失败，每次失败优先级减去 weight 的值
   rise 2 	# 连续检测2次成功就算成功
}

vrrp_instance VI_1 {
    state MASTER		# 表示当前为 ngxin 的主节点，master
    interface ens160	# 当前实例绑定的网卡名称: ifconfig 或者 ip a 可以查看
    virtual_router_id 51 # 虚拟路由 id，保证主备节点一致
    priority 100 		# 优先级，主的优先级设置的应该比备高
    advert_int 1		# 主备之间同步检查的时间间隔，默认1s
    authentication {	# 认证授权的密码
        auth_type PASS
        auth_pass 1111
    }
    # vip，保证主备一致，且最好跟主机 ip 在同一个网段下，例如我的主机 ip 是 172.16.2.128
    virtual_ipaddress {	
        172.16.2.120
    }
    # 检查的脚本
    track_script {
        check_nginx
    }
}

在备机器下，/etc/keepalived 上配置如下：

! Configuration File for keepalived

global_defs {
   router_id node02  # 路由 id: 当前安装 keepalived 节点主机的标识符，全局唯一
   vrrp_skip_check_adv_addr
   vrrp_strict
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}

vrrp_script check_nginx {
   script "/etc/keepalived/check_nginx.sh" # 检查 nginx 是否正常工作的脚本
   interval 2 # 脚本检测间隔，单位为秒
   weight -10
   fall 3 	# 连续检测3次失败就算失败，每次失败优先级减去 weight 的值
   rise 2 	# 连续检测2次成功就算成功
}

vrrp_instance VI_1 {
    state BACKUP		# 表示当前为 ngxin 的主节点，backup
    interface ens160	# 当前实例绑定的网卡名称: ifconfig 或者 ip a 可以查看
    virtual_router_id 51 # 虚拟路由 id，保证主备节点一致
    priority 90 		# 优先级，主的优先级设置的应该比备高
    advert_int 1		# 主备之间同步检查的时间间隔，默认1s
    authentication {	# 认证授权的密码
        auth_type PASS
        auth_pass 1111
    }
    # vip，保证主备一致，且最好跟主机 ip 在同一个网段下，例如我的主机 ip 是 172.16.2.129
    virtual_ipaddress {	
        172.16.2.120
    }
    # 检查的脚本
    track_script {
        check_nginx
    }
}

主、备的区别在于 router_id、state、priority 的配置。

主、备机器都需要放置检测脚本 /etc/keepalived/nginx_check.sh ，内容如下：

A=`curl localhost:80/index.html --connect-timeout 3`
if [ $A -eq 0 ]; then
  ps -ef|grep keepalived|grep -v grep|awk '{print $2}'|xargs kill -9
fi

3.4 启动 keepalived

主、备机器，都需执行如下命令：

systemctl start keepalived.service

查看 vip 是否生效：

ip a 
# 或者 
ifconfig

3.5 验证高可用

3.5.1 查看当前效果

通过 keepalived 设置的 vip 访问，注意我这里是配置了负载均衡，后端有3个 tomcat 服务器，如果想达到同样的效果，请参考前两章的内容。如果没有配置 tomcat 服务器，请直接访问 vip 即可，不用带上 /test/test.html

以下是通过 vip 结合负载均衡的效果：

3.5.2 模拟灾难

停止主机房的 nginx 容器

docker stop nginx

停止之后，整体架构退化成如下：

停止容器之后，由于 keepalived 脚本无法访问 nginx 服务异常，自动切换到备机器。此时还是访问 vip，注意服务是否中断。

服务依然正常，说明高可用已经生效。

4 参考

《docker 安装及配置 nginx + tomcat（一）：基础安装》
《docker 安装及配置 nginx + tomcat（二）：负载均衡》
《docker 安装及配置 nginx + tomcat（三）：动静分离》