文章目录
1. 引言
前情提要:
《docker 安装及配置 nginx + tomcat(一):基础安装》
《docker 安装及配置 nginx + tomcat(二):负载均衡》
《docker 安装及配置 nginx + tomcat(三):动静分离》
本文主要描述在在 nginx + tomcat 基础上实现高可用。
2. 高可用架构
高可用(High Availability,简称HA)是分布式系统架构设计中必须考虑的因素之一,它通常是指通过设计减少系统不能提供服务的时间。高可用的主要目的是为了保障“业务的连续性”,即在用户眼里,业务永远是正常对外提供服务的。
对于我们这里就是避免单点故障,当某个 nginx 服务器出现问题之后可以切到到其他的 nginx 服务。
先看下最终的架构图:
3. 实际步骤
3.1 虚拟机新建系统
为了模拟高可用的场景,需要在两台机器上模拟,在虚拟机上再开一台机器,作为 nginx 备服务器,如果在阿里云或者其他服务器上有两台机器也可以模拟。
Mac 系统可以参考这篇文章 《Mac VMware Fusion 安装 Centos 系统》 用虚拟机再来开一台机器。
在新的机器上,参考 《docker 安装及配置 nginx + tomcat(一):基础安装》 安装 docker,nginx 等(tomcat 可不安装),并启动 nginx 容器。
新机器的 nginx 配置如下:
# 高可用
upstream testservers {
server 172.16.2.128:8080; # 指向之前实际的 tomcat 服务器1,如果不需要,可以去掉
server 172.16.2.128:8081; # 指向之前实际的 tomcat 服务器2,如果不需要,可以去掉
server 172.16.2.128:8082; # 指向之前实际的 tomcat 服务器3,如果不需要,可以去掉
}
server {
listen 80;
listen [::]:80;
server_name 172.16.2.129; # 当前新机器的主机 ip
#access_log /var/log/nginx/host.access.log main;
location = / {
root /usr/share/nginx/html;
proxy_pass http://testservers;
index index.html index.htm;
}
location ^~ /static {
root /data/;
index index.html;
}
location / {
proxy_pass http://testservers;
}
#error_page 404 /404.html;
# redirect server error pages to the static page /50x.html
#
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root /usr/share/nginx/html;
}
# proxy the PHP scripts to Apache listening on 127.0.0.1:80
#
#location ~ \.php$ {
# proxy_pass http://127.0.0.1;
#}
# pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
#
#location ~ \.php$ {
# root html;
# fastcgi_pass 127.0.0.1:9000;
# fastcgi_index index.php;
# fastcgi_param SCRIPT_FILENAME /scripts$fastcgi_script_name;
# include fastcgi_params;
#}
# deny access to .htaccess files, if Apache's document root
# concurs with nginx's one
#
#location ~ /\.ht {
# deny all;
#}
}
注意 nginx 配置修改了后,记得重启服务,否则不生效!
# 在容器里
nginx -s reload
# 在容器外
docker exec -it nginx nginx -s reload
3.2 安装 keepalived
在主、备机器上均需下载 keepalived,如下:
yum install -y keepalived # CentOS 7 / RHEL 7
dnf install -y keepalived # CentOS 8 / RHEL 8
3.3 配置 keepalived
在主机器上,/etc/keepalived/keepalived.conf
上配置如下:
! Configuration File for keepalived
global_defs {
router_id node01 # 路由 id: 当前安装 keepalived 节点主机的标识符,全局唯一
vrrp_skip_check_adv_addr
vrrp_strict
vrrp_garp_interval 0
vrrp_gna_interval 0
}
vrrp_script check_nginx {
script "/etc/keepalived/check_nginx.sh" # 检查 nginx 是否正常工作的脚本
interval 2 # 脚本检测间隔,单位为秒
weight -10
fall 3 # 连续检测3次失败就算失败,每次失败优先级减去 weight 的值
rise 2 # 连续检测2次成功就算成功
}
vrrp_instance VI_1 {
state MASTER # 表示当前为 ngxin 的主节点,master
interface ens160 # 当前实例绑定的网卡名称: ifconfig 或者 ip a 可以查看
virtual_router_id 51 # 虚拟路由 id,保证主备节点一致
priority 100 # 优先级,主的优先级设置的应该比备高
advert_int 1 # 主备之间同步检查的时间间隔,默认1s
authentication { # 认证授权的密码
auth_type PASS
auth_pass 1111
}
# vip,保证主备一致,且最好跟主机 ip 在同一个网段下,例如我的主机 ip 是 172.16.2.128
virtual_ipaddress {
172.16.2.120
}
# 检查的脚本
track_script {
check_nginx
}
}
在备机器下,/etc/keepalived
上配置如下:
! Configuration File for keepalived
global_defs {
router_id node02 # 路由 id: 当前安装 keepalived 节点主机的标识符,全局唯一
vrrp_skip_check_adv_addr
vrrp_strict
vrrp_garp_interval 0
vrrp_gna_interval 0
}
vrrp_script check_nginx {
script "/etc/keepalived/check_nginx.sh" # 检查 nginx 是否正常工作的脚本
interval 2 # 脚本检测间隔,单位为秒
weight -10
fall 3 # 连续检测3次失败就算失败,每次失败优先级减去 weight 的值
rise 2 # 连续检测2次成功就算成功
}
vrrp_instance VI_1 {
state BACKUP # 表示当前为 ngxin 的主节点,backup
interface ens160 # 当前实例绑定的网卡名称: ifconfig 或者 ip a 可以查看
virtual_router_id 51 # 虚拟路由 id,保证主备节点一致
priority 90 # 优先级,主的优先级设置的应该比备高
advert_int 1 # 主备之间同步检查的时间间隔,默认1s
authentication { # 认证授权的密码
auth_type PASS
auth_pass 1111
}
# vip,保证主备一致,且最好跟主机 ip 在同一个网段下,例如我的主机 ip 是 172.16.2.129
virtual_ipaddress {
172.16.2.120
}
# 检查的脚本
track_script {
check_nginx
}
}
主、备的区别在于 router_id、state、priority 的配置。
主、备机器都需要放置检测脚本 /etc/keepalived/nginx_check.sh
,内容如下:
A=`curl localhost:80/index.html --connect-timeout 3`
if [ $A -eq 0 ]; then
ps -ef|grep keepalived|grep -v grep|awk '{print $2}'|xargs kill -9
fi
3.4 启动 keepalived
主、备机器,都需执行如下命令:
systemctl start keepalived.service
查看 vip 是否生效:
ip a
# 或者
ifconfig
3.5 验证高可用
3.5.1 查看当前效果
通过 keepalived 设置的 vip 访问,注意我这里是配置了负载均衡,后端有3个 tomcat 服务器,如果想达到同样的效果,请参考前两章的内容。如果没有配置 tomcat 服务器,请直接访问 vip 即可,不用带上 /test/test.html
以下是通过 vip 结合负载均衡的效果:
3.5.2 模拟灾难
停止主机房的 nginx 容器
docker stop nginx
停止之后,整体架构退化成如下:
停止容器之后,由于 keepalived 脚本无法访问 nginx 服务异常,自动切换到备机器。此时还是访问 vip,注意服务是否中断。
服务依然正常,说明高可用已经生效。
4 参考
《docker 安装及配置 nginx + tomcat(一):基础安装》
《docker 安装及配置 nginx + tomcat(二):负载均衡》
《docker 安装及配置 nginx + tomcat(三):动静分离》