Lvs+keepalived+Nginx双机热备实现Nginx高可用

一、背景

  • 在一般的系统架构中,往往是采用一台Nginx做负载均衡,这台Nginx可能负责着转发多台Tomcat的请求。这就有一个问题,如果这台Nginx服务器挂了,那就等于整个系统都挂了。
  • 所以就需要引入一种机制,将Nginx集群化,同时保证有多台Nginx在运行,一台挂了,另外一台还能继续提供服务。要实现Nginx的高可用,就不得不提LVS+Keepalived。
  • Lvs+Keepalived:Lvs负责将外网请求交由集群中的Nginx进行处理;keepalived则监控lvs群组,根据监控情况,若lvs群组中的master出现宕机情况,则将宕机服务器从ipvsadm移除掉,即将VIP漂移到backup机上。实现了分布式系统高可用。

二、环境准备

系统:Centos7
MASTER 192.168.1.124:安装Lvs+Keepalived
BACKUP 192.168.1.126:安装Lvs+Keepalived
192.168.1.127:安装Nginx
192.168.1.128:安装Nginx
虚拟ip(VIP):192.168.1.110,对外提供服务的ip,也可称作浮动ip

三、安装Nginx

1、参考安装教程:

https://www.jianshu.com/p/b58b2767a92d
分别为192.168.1.127、192.168.1.128安装Nginx

2、Nginx配置

  • 假设我们现在的项目是前后端分离的项目,Nginx负责转发到前端项目上。现在我新建一个简单的前端html页面,放在下面的文件位置,然后由Nginx去访问(两台Nginx文件位置一样,只是为了验证访问的是哪台Nginx,html内容有些许区别,)



 

  • 在/etc/nginx/conf.d目录下,修改default.conf,加入以下内容
location /demo {
      root /root/server/vue/demo/;             #项目路径
      index /demo.html;                        
    }
  • 配置完后,重启Nginx即可
systemctl restart nginx      #重启Nginx
  • 如果安装配置成功,运行后应该能访问到新建的demo.html页面,我的效果如下。

四、配置Master主机(此处我的主机是:192.168.1.124)

1、前提配置

  • 开放80端口
firewall-cmd --zone=public --add-port=80/tcp --permanent  
firewall-cmd --reload 
  • 关闭SELINUX,修改/etc/sysconfig/selinux,永久生效
SELINUX=enforcing 改为 SELINUX=disabled
  • 修改文件关闭SELINUX需要重启机器才能生效,如果不方便重启,可以临时用命令修改,立即生效,但是重启后就会失效。所以我们可以先修改文件(但是不立即重启),然后再用命令执行立即生效,这样等下次有其他需求重启的时候,SELINUX关闭也就永久生效了。
setenforce 0
  • 防火墙开启vrrp 协议支持
firewall-cmd --direct --permanent --add-rule ipv4 filter INPUT 0 --in-interface ens33 --destination 224.0.0.18 --protocol vrrp -j ACCEPT
firewall-cmd --reload

2、安装Keepalived

  • 执行命令安装
yum -y install keepalived
  • 配置/etc/keepalived/keepalived.conf
! Configuration File for keepalived

global_defs {
   #notification_email {    #email 通知
     #acassen@firewall.loc   #设置报警邮件地址,可以设置多个,每行一个。
     #failover@firewall.loc
     #sysadmin@firewall.loc
   #}
   #notification_email_from Alexandre.Cassen@firewall.loc  #设置邮件的发送地址
   #smtp_server 192.168.200.1     #设置smtp server地址
   #smtp_connect_timeout 30    #设置连接smtp server的超时时间
   router_id LVS_DEVEL       #表示运行keepalived服务器的一个标识。发邮件时显示在邮件主题的信息
   #vrrp_skip_check_adv_addr
   #vrrp_strict
   #vrrp_garp_interval 0
   #vrrp_gna_interval 0
}

vrrp_instance VI_1 {
    state MASTER           #指定keepalived的角色,MASTER表示此主机是主服务器,BACKUP表示此主机是备用服务器
    interface ens33      #网卡名,用ip a命令可以查看
    virtual_router_id 51      #虚拟路由标识,主备两个节点的设置必须一样,以指明各个节点属于同一VRRP组 
    priority 100          #定义优先级,数字越大,优先级越高,在同一个vrrp_instance下,MASTER的优先级必须大于BACKUP的优先级
    advert_int 1            ##设定MASTER与BACKUP负载均衡器之间同步检查的时间间隔,单位是秒
    authentication {     #设置验证类型和密码
        auth_type PASS   #设置验证类型,主要有PASS和AH两种
        auth_pass 1111   #设置验证密码,在同一个vrrp_instance下,MASTER与BACKUP必须使用相同的密码才能正常通信
    }
    virtual_ipaddress {   #设置vip
        192.168.1.110    #可以多个虚拟IP,换行即可
    }
}

virtual_server 192.168.1.110 80 {   #设置虚拟服务器,需要指定虚拟IP地址和服务端口,IP与端口之间用空格隔开
    delay_loop 6     ##健康时间检查,单位秒
    lb_algo rr  #负载均衡调度算法wlc|rr,和您将使用的LVS的调度算法保持原则一致
    lb_kind DR  #设置LVS实现负载均衡的机制,有NAT、TUN、DR三个模式可选
    persistence_timeout 50   #会话保持时间,单位是秒。这个选项对动态网页是非常有用的,为集群系统中的session共享提供了一个很好的解决方案。
                                        #有了这个会话保持功能,用户的请求会被一直分发到某个服务节点,直到超过这个会话的保持时间。
                                        #需要注意的是,这个会话保持时间是最大无响应超时时间,也就是说,用户在操作动态页面时,如果50秒内没有执行任何操作
                                        #那么接下来的操作会被分发到另外的节点,但是如果用户一直在操作动态页面,则不受50秒的时间限制
    protocol TCP  #指定转发协议类型,有TCP和UDP两种

    real_server 192.168.1.127 80 {  #真实服务器,此处为Nginx服务器
        weight 1  #设置权重,数字越大权重越高
        TCP_CHECK {   #设置检查方式,可以设置HTTP_GET | SSL_GET
            connect_timeout 3   #超时时间,秒。如果在这个时间内没有返回,则说明一次监测失败
            nb_get_retry 3   #设置多少次监测失败,就认为这个真实节点死掉了
            delay_before_retry 3   #重试间隔
        }
    }

    real_server 192.168.1.128 80 {  #真实服务器,此处为Nginx服务器
        weight 1  #设置权重,数字越大权重越高
        TCP_CHECK {   #设置检查方式,可以设置HTTP_GET | SSL_GET | TCP_CHECK
            connect_timeout 3   #超时时间,秒。如果在这个时间内没有返回,则说明一次监测失败
            nb_get_retry 3   #设置多少次监测失败,就认为这个真实节点死掉了
            delay_before_retry 3   #重试间隔
        }
    }
}

3、安装ipvsadm

  • 执行命令安装。安装ipvsadm在此处只是为了查看LVS的转发情况
yum -y install ipvsadm
  • 查看lvs状态
ipsvadm

五、配置Slave主机(此处我的主机是:192.168.1.126)

1、安装Keepalived

  • 安装同上Master
  • 配置有些许改变
state MASTER 改为:state BACKUP
priority 100   改小为:priority 99   

六、配置两台真实主机(此处为两台Nginx)

1、 两台真实Nginx服务器上为回环地址lo:0绑定VIP地址、ARP广播

  • 新建脚本文件realserver.sh,分别在两台真实服务器(192.168.1.127、192.168.1.128)上执行
#!/bin/bash
#description: Config realserver

VIP=192.168.1.110

/etc/rc.d/init.d/functions

case "$1" in
start)
       /sbin/ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP
       /sbin/route add -host $VIP dev lo:0
       echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
       echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
       echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
       echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
       sysctl -p >/dev/null 2>&1
       echo "RealServer Start OK"
       ;;
stop)
       /sbin/ifconfig lo:0 down
       /sbin/route del $VIP >/dev/null 2>&1
       echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
       echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
       echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
       echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
       echo "RealServer Stoped"
       ;;
*)
       echo "Usage: $0 {start|stop}"
       exit 1
esac

exit 0
  • 执行
chmod +x realserver.sh   #赋予权限
chmod +x /etc/rc.d/init.d/functions
./realserver.sh  start        #执行
  • 另外这个脚本的修改重启后就会失效,所以我们需要将这个脚本设置为开机自启动。
chmod +x /etc/rc.d/rc.local
  • 修改rc.local
vi /etc/rc.d/rc.local
  • 加入以下文件最后追加以下内容即可
/etc/rc.d/init.d/realserver.sh start
  • realserver.sh启动成功后,可以看到192.168.1.127主机上的回环地址已经绑定上了VIP。

七、启动keepalived

  • 启动192.168.1.124、192.168.1.126的keepalived
#启动Keepalived
systemctl start keepalived
  • 设置开机自启动
#keepalived设置开机启动
systemctl enable keepalived
  • 其他参考命令
#Keepalived 相关操作命令
#关闭Keepalived
systemctl stop keepalived

#重启Keepalived
systemctl restart keepalived

#查看状态Keepalived
systemctl status keepalived
  • 在Master主机上查看vip是否绑定上
ip addr

可以看到Marster:192.168.1.127的ens33网卡上已经绑定了Vip

 

 

  • 查看keepalived日志
tail -f  /var/log/messages

八、试验

1.正常情况

  • 正常情况下,lvs会把请求转发到两个nginx服务上,如下图

     

  •  

2.关闭一台keepalived,模拟一台keepalived主机挂掉。

  • 关闭master
systemctl stop keepalived 
  • 可以看到master192.168.1.124解绑vip,backup接管了vip

     

    Master

     

    BackUp

  • 页面可以正常访问

     

     

 

3.关闭一台Nginx

  • 我们先把上面刚刚关闭的一台keepalived开启,然后再试验关闭Nginx
systemctl start keepalived 
  • 开启后正常情况应该是vip重新回到master。
  • 接着关闭192.168.1.127上面的nginx
systemctl stop nginx
  • 可以看到lvs只有一台机器可以转发了
ipvsadm

 

  • 访问页面,也只有一台机器的页面了

     

    image.png

  • 如果此时把192.168.1.127上面的nginx开启,那么又会自动恢复集群正常的情况了。



 

作者:linjiajiam
链接:https://www.jianshu.com/p/6b64a78b6424
来源:简书
简书著作权归作者所有,任何形式的转载都请联系作者获得授权并注明出处。

©️2020 CSDN 皮肤主题: 技术黑板 设计师:CSDN官方博客 返回首页