Docker搭建Nginx+keepalived高可用负载均衡服务器

一、背景

1.nginx高可用

在生产环境下，Nginx作为流量的入口，如果Nginx不能正常工作或服务器宕机，将导致整个微服务架构的不可用。所以负责负载均衡、反向代理的服务（Nginx）为了提高处理性能，高可用，也需要集群部署。本期咋们采用 keepalived 和 Nginx实现高可用。

2.KeepAlived

KeepAlived是Linux下的基于VRRP备份路由的高可靠性中间件。如果一台服务器宕机，KeepAlived会检测到并将发生故障的机器从集群中摘除，同时使用其他的服务器代替该故障机器的工作，当服务器重新正常工作后KeepAlived就会自动将该服务器加入到工作集群中，以上的工作都是KeepAlived自动完成无需人工介入。

3.VRRP协议

VRRP协议英文全称：Virtual Router Redundancy Protocol，即”虚拟路由冗余协议“。将多台提供相同功能的路由器组成路由器组，包含一个master和多个backup。提供虚拟IP，占有这个虚拟IP的master负责ARP的响应和转发IP数据包。master负责发布组广播消息，若master发送的广播长时间没有被backup接收到就会触发选举backup当新master。

4.Nginx+keepalived 双机主从模式

使用两台Nginx服务器，一台主服务器和一台热备服务器，正常情况下，主服务器绑定一个公网虚拟IP，提供负载均衡服务，热备服务器处于空闲状态；当主服务器发生故障时，热备服务器接管主服务器的公网虚拟IP，提供负载均衡服务；但是热备服务器在主机器不出现故障的时候，永远处于浪费状态，对于服务器不多的网站，该方案不经济实惠。

5.Nginx+keepalived 双机主主模式

使用两台Nginx服务器，互为主备，且都处于活动状态，同时各自绑定一个公网虚拟IP，提供负载均衡服务；当其中一台发生故障时，另一台接管发生故障服务器的公网虚拟IP（这时由非故障机器一台负担所有的请求）。该方案解决了双击主从的资源浪费问题，但是有个性能瓶颈的问题在这种模式会出现。就是单台机器上的负载会瞬时过大。那如何解决这个问题呢，就出现了多点集群模式。

6.Nginx+keepalived 多点模式

以上两种方式都有各自的有缺点，多点集群模式应运而生。多点集群可以理解为双机热备在技术上的提升。多机服务器可以组成一个集群。根据应用的实际情况，可以灵活地在这些服务器上进行部署，同时可以灵活地设置接管策略。比如，可以由一台服务器作为其他所有服务器的备机，也可以设置多重的接管关系，等等。这样，就可以充分地利用服务器的资源，同时保证系统的高可用性。

二、docker部署双机主从模式

1.创建网络

# 创建bridge
docker network create -d bridge --subnet 172.70.0.0/16 --gateway 172.70.0.1 nginx-network
docker network ls
# 查看信息
docker network ls
docker network inspect minio-network
# 删除
docker network rm networkId

2.创建容器

# master
docker run -it --name centos-master --privileged -v /home/centos/master:/mnt/software -p 10010:80 --net=nginx-network centos:7
# salve
docker run -it --name centos-salve --privileged -v /home/centos/salve:/mnt/software -p 10020:80 --net=nginx-network centos:7

3.安装准备

# 切换目录
cd /etc/yum.repos.d/
# 删除yum源
rm -rf CentOS*
# 复制yum源
docker cp /etc/yum.repos.d/CentOS-Base.repo 容器id:/etc/yum.repos.d/CentOS-Base.repo
# 安装工具
yum -y update
yum install epel-release
yum -y install net-tools
yum -y install vim
# 清除缓存
yum clean all
# 生成缓存
yum makecache

4.安装nginx

yum -y install nginx
# 启动
nginx
# 停止
nginx -s quit
# 刷新配置
nginx -s reload

5.安装keepalived

yum -y install keepalived 
# 启动
keepalived -l -f /etc/keepalived/keepalived.conf
# 停止
pkill keepalived
# 查看
ps -ef | grep keepalived

keepalived配置

1. keepalived master配置

   # keepalived.conf
   ! Configuration File for keepalived
   global_defs {
      notification_email {
        acassen@firewall.loc
        failover@firewall.loc
        sysadmin@firewall.loc
      }
      notification_email_from Alexandre.Cassen@firewall.loc
      smtp_server 192.168.200.1
      smtp_connect_timeout 30
      # 路由id，主备节点不能相同
      router_id LVS_DEVEL_MASTER
      vrrp_skip_check_adv_addr
      #vrrp_strict
      vrrp_garp_interval 0
      vrrp_gna_interval 0
      script_user root
      enable_script_security
   }
   # nginx检查
   vrrp_script chk_nginx {
     script "/etc/keepalived/nginx_check.sh"
     interval 1
     weight 0
   }
   
   vrrp_instance VI_1 {
   	# Keepalived的角色，MASTER 表示主节点，BACKUP 表示备份节点
       state MASTER
       # 指定监测的网卡，可以使用 ifconfig 或 ip a 进行查看
       interface eth0
       # 虚拟路由的id，主备节点需要设置为相同
       virtual_router_id 51
       # 优先级，主节点的优先级需要设置比备份节点高
       priority 100
       # 设置主备之间的检查时间，单位为秒
       advert_int 1
       # 定义验证类型和密码
       authentication {
           auth_type PASS
           auth_pass 1111
       }
       # 虚拟IP地址，可以设置多个
       virtual_ipaddress {
           172.70.0.10
       }
       # 调用上面自定义的监控脚本
       track_script {
          chk_nginx
       }
   }
   
   

2. keepalived salve配置

   # keepalived.conf
   ! Configuration File for keepalived
   global_defs {
      notification_email {
        acassen@firewall.loc
        failover@firewall.loc
        sysadmin@firewall.loc
      }
      notification_email_from Alexandre.Cassen@firewall.loc
      smtp_server 192.168.200.1
      smtp_connect_timeout 30
      # 唯一值
      router_id LVS_DEVEL_SALVE
      vrrp_skip_check_adv_addr
      # vrrp_strict
      vrrp_garp_interval 0
      vrrp_gna_interval 0
      script_user root
      enable_script_security
   }
   
   # nginx检查
   vrrp_script chk_nginx {
     script "/etc/keepalived/nginx_check.sh"
     interval 1
     weight 0
   }
   
   vrrp_instance VI_1 {
       state BACKUP
       interface eth0
       # 主从一致
       virtual_router_id 51
       priority 100
       advert_int 1
       authentication {
           auth_type PASS
           auth_pass 1111
       }
       virtual_ipaddress {
           172.70.0.10
       }
       track_script {
          chk_nginx
       }
   }
   

3. nginx检查配置

   # nginx_check.sh
   A=`ps -C nginx --no-header |wc -l`
   if [ $A -eq 0 ];then
    #执行nginx启动命令
    #nginx
    # 启动失败停止keepalived
    if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then
   	pkill keepalived
    fi
   fi
   

4. 补充配置

   # 文件授权
   chmod +x check_nginx.sh
   chmod +x keepalived.conf