keepalived+Nginx实现高可用集群

从单体到集群系列目录

从单体到集群(1) - 使用Nginx配置静态资源并搭建Tomcat集群

从单体到集群(2) - keepalived+Nginx实现高可用集群

从单体到集群(3) - LVS+Keepalived+Nginx实现高可用集群负载均衡

--------------------------------------------------------------------------------------------------------------------------

1.素材与软件版本

软件版本：

       IDAE：2019.2.2

       VMware：12.5.2

       虚拟机镜像：CentOs7.3标准版

       Xshell：Xshell6

       Postman：7.33.1

       Tomcat：8.5.41

       Nginx：1.18.0稳定版

       keepalived：2.0.18

       项目素材链接放上，需要的朋友请自行下载。后台项目为foodie-dev，前端项目有两个，foodie-shop为前端商城主体项目，foodie-center为前端商城个人中心项目。具体项目配置的话可以看下我的上篇博文架构篇：从单体到高可用集群(1) - 使用Nginx配置静态资源并搭建Tomcat集群

2.架构演变目标

       在上篇博文中，我们项目的架构由单体Tomcat部署前后台三个项目，演变成了由Nginx为静态资源提供服务同时将请求转发到后面的两个Tomcat集群上。上篇博文中的项目架构：

       这样确实保证了后台服务不会因为单节点Tomcat宕机而导致整体服务崩溃，但这样也有一个问题，用单节点Nginx为tomcat集群作转发，万一Nginx挂了怎么办？所以我们今天的目标就是为单节点的Nginx搭建集群，确保Nginx的高可用。我们的目标架构如下：keepalived+Nginx高可用集群（双主热备模式）

3.keepalived+Nginx高可用集群（双机主备模式）

3.1 安装keepalived

       我们先来了解一下主备模式：

       可以明显的看到主备模式的缺点，假设主机永远不宕机的话，备机一直处在待机模式，无法响应客户的请求，造成资源的浪费。下面我们要说的双主热备模式就可以解决这个问题，主备是双主热备的前提，所以我们先来配置一下主备模式。配置之前我们首先要再去创建一台Nginx虚拟机配置静态资源服务和搭建两台Tomcat集群，创建的步骤省略，不懂的小伙伴可以参考我上篇博文架构篇：从单体到高可用集群(1) - 使用Nginx配置静态资源并搭建Tomcat集群。目前四台虚拟机是已经配置好了：

       接下来我们把keepalived安装包上传到/home/software路径下，用tar指令解压：

tar -zxvf keepalived-2.0.18.tar.gz

       进入刚解压出的目录，配置并生成Makefile

./configure --prefix=/usr/local/keepalived --sysconf=/etc

       然后执行make和make install

make && make install

       这样keepalived我们就安装好了

3.2 配置keepalived

       进入/etc/keepalived路径，打开配置文件，修改配置文件内容为：

global_defs {
   #路由id：当前安装keepalived节点主机全局唯一标识符
   router_id keepalived_150
}
vrrp_instance VI_1 {
    #表示当前主机为主节点
    state MASTER
    #绑定当前实例的网卡，这个需要用ip addr查询自己网卡配置，不一定都是ens33
    interface ens33
    #主备节点识别id，保证主备节点一致 1~255之间
    virtual_router_id 255
    #权值，因为是主节点设置的高一些
    priority 100
    #主备节点之间同步检查时间，单位为s
    advert_int 1
    #授权认证密码
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    #虚拟IP
    virtual_ipaddress {
        192.168.1.140
    }
}

       保存退出后，去/usr/local/keepalived/sbin路径下启动keepalived：

./keepalived

       之后用ip addr指令查看一下，可以看到ens33网卡下生成配置好的虚拟IP

       同理在151这台机器上也安装一个keepalived，只不过配置文件稍加修改：

global_defs {
   #路由id：当前安装keepalived节点主机全局唯一标识符
   router_id keepalived_151
}
vrrp_instance VI_1 {
    #表示当前主机为从节点
    state BACKUP
    #绑定当前实例的网卡，这个需要用ip addr查询自己网卡配置，不一定都是ens33
    interface ens33
    #主备节点识别id，保证主备节点一致
    virtual_router_id 255
    #权值，因为是备用节点设置的低一些
    priority 50
    #主备节点之间同步检查时间，单位为s
    advert_int 1
    #授权认证密码
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    #虚拟IP
    virtual_ipaddress {
        192.168.1.140
    }
}

      注：keepalived启动需要时间，别刚启动就去ip addr查看虚拟ip，我刚开始安装的时候就搞了半天，一直以为安装失败，汗-_-||。具体日志在/var/log/messages文件中，如果真的启动失败可以手动查看一下。

      现在两台Nginx就配置好了集群，我们把192.168.1.150这台电脑的keepalived进程Kill掉，再访问192.168.1.140会发现被转发到了192.168.1.151这台电脑上，实现了Nginx的高可用。如果不想每次改完配置文件都去kill进程的话，可以把keepalived配置成系统服务。我们再访问192.168.1.140:90，可以看到后台请求也被转发到了192.168.1.151:90上，页面数据展示正常：

      但这样的配置存在一个问题就是，如果挂的不是keepalived而是这台电脑上的Nginx的话，keepalived的转发就不会生效，因为它无法识别Nginx服务是否正常，解决方案是可以在keepalived.conf文件中配置对Nginx的定时检查，如果发现Nginx挂了，调用脚本重启Nginx。

3.3 配置Nginx服务自动重启

      增加Nginx重启检测脚本：

vim /etc/keepalived/check_nginx_alive_or_not.sh

#!/bin/bash
A=`ps -C nginx --no-header |wc -l`
# 判断nginx是否宕机，如果宕机了，尝试重启
if [ $A -eq 0 ];then
    /usr/local/nginx/sbin/nginx
    # 等待一小会再次检查nginx，如果没有启动成功，则停止keepalived，使其启动备用机
    sleep 3
    if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then
        killall keepalived
    fi
fi

      增加运行权限

chmod +x /etc/keepalived/check_nginx_alive_or_not.sh

      在keepalived配置文件中写入监听nginx脚本

vrrp_script check_nginx_alive {
    script "/etc/keepalived/check_nginx_alive_or_not.sh"
    interval 2 # 每隔两秒运行上一行脚本
    weight 10 # 如果脚本运行失败，则升级权重+10
}

      在 vrrp_instance 中新增监控的脚本

track_script {
    check_nginx_alive # 追踪 nginx 脚本
}

      最后重启keepalived即可，至此keepalived+Nginx高可用集群（双机主备模式）搭建完毕。

4.keepalived+Nginx高可用集群（双主热备模式）

      双主热备的原理也很简单，就是在双机主备的基础上再增加一对实例，使192.168.1.150和192.168.1.151这两台虚拟机变成互为主备的关系。这次我们先打开原来的备用机151上keepalived的配置文件，做如下修改：

vrrp_instance VI_2 {
    #实例2中将备机151修改成主节点
    state MASTER
    interface ens33
    #记得同步修改对配id
    virtual_router_id 1
    #因为是主节点，权值加大
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    #将虚拟IP：19.168.1.141绑定到自己的网卡上
    virtual_ipaddress {
        192.168.1.141
    }
}

      同理192.168.1.150这台虚拟机也进行相似的配置：

vrrp_instance VI_2 {
    #这次改为从节点
    state BACKUP
    interface ens33
    #配对id保持一致
    virtual_router_id 1
    priority 50
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    #增加虚拟IP：192.168.1.141
    virtual_ipaddress {
        192.168.1.141
    }
}

      之后进行保存重启服务，可以看到150这台电脑绑定的虚拟IP:192.168.1.140，151这台电脑绑定的虚拟IP:192.168.1.141

      至此keepalived+Nginx高可用集群（双主热备模式）搭建完毕。细心的小伙伴可能会问，现在相当于有了两个前端访问入口（192.168.1.140和192.168.1.141），浏览器到底应该写哪一个呢？再来看一下我们的目标架构：

      可以看到前端请求在访问到虚拟IP之前，挡了一层DNS轮训转发，这需要购买一个运营商的DNS服务，在服务中进行配置就可以实现此功能。DNS是基于域名的，因为我没有购买，所以就不能展示项目中这部分的配置了。但是不用急，接下来我会分享一篇“基于LVS+keepalived+Nginx实现高可用集群架构”的文章，欢迎大家来踩。