LVS+Keepalived高可用群集

目录

一、keepalived简介

二、keepalived工作原理

三、LVS-DR模式+keepalived 高可用集群部署

1、部署2台web服务器

2、部署2台负载调度器

四、总结

---

一、keepalived简介

       Keepalived是通过vrrp 协议的实现高可用性，对网络比较了解的IT人，对这个技术应该非常熟悉了，早期核心交换机用来实现双机双线的标准协议，现在随着技术发展出现了更好的核心设备的双活技术，vrrp/hrrp慢慢被取代了，但目前在Linux主机类应用场景使用还比较广泛。它的原生设计目的为了解决 ipvs高可用性。它与HeartBeat实现类似的功能，都可以实现服务或者网络的高可用，但是又有差别，HeartBeat是一个专业的、功能完善的高可用软件，它提供HA软件所需的基本功能，比如：心跳检测、资源接管，检测集群中的服务，在集群节点转移共享IP地址的所有者等等。HeartBeat功能强大，但是部署和使用相对比较麻烦，与HeartBeat相比，Keepalived主要是通过虚拟路由冗余来实现高可用功能，虽然它没有HeartBeat功能强大，但是Keepalived部署和使用非常的简单，所有配置只需要一个配置文件即可以完成。

官网：http://keepalived.org/

功能：

• 基于vrrp协议完成地址漂移；
• 为vip地址所在的节点生成ipvs规则 (在配置文件中预先定义)；
• 为ipvs集群的各RS做健康状态检测；（ keepalived 可以搭配 LVS、haproxy等成为黄金组合，尤其是 keepalived + haproxy 在很多企业生产中使用）
• 基于脚本调用接口完成脚本中定义的功能，进而影响集群事务，以此支持nginx、haproxy等服务。

二、keepalived工作原理

在一个LVS服务集群中通常有主服务器（MASTER）和备份服务器（BACKUP）两种角色的服务器，但是对外表现为一个虚拟IP，主服务器会发送VRRP通告信息给备份服务器，当备份服务器收不到VRRP消息的时候，即主服务器异常的时候，备份服务器就会接管虚拟IP，继续提供服务，从而保证了高可用性。

• 主服务器作用：转发数据；发送报文告诉备服务器自己在线。
• 备服务器作用：监听主服务器发来的数据；收不到消息的时候就接替主服务器。

三、LVS-DR模式+keepalived 高可用集群部署

 

主DR调度器：192.168.80.3/24

备DR调度器：192.16880.5/24

web1：192.168.80.7/24

web2：192.168.80.8/24

VIP：192.168.80.100/32

1、部署2台web服务器

第一台web节点服务器（192.168.80.7/24），VIP：192.168.80.100/32

1、#关闭防火墙
[root@web1 ~]# systemctl stop firewalld
[root@web1 ~]# setenforce 0
 ​
2、#安装httpd，开启服务
[root@web1 ~]# mount /dev/sr0 /mnt      //挂载光盘
mount: /dev/sr0 写保护，将以只读方式挂载
[root@web1 ~]# yum install httpd -y     //安装httpd服务
[root@web1 ~]# systemctl start httpd    //开启httpd服务
 ​
3、#配置虚拟IP地址（VIP:192.168.80.100），添加虚接口lo:0。
#此地址仅用作发送We响应数据包的源地址，并不需要监听客户机的访问请求（改由调度器监听并分发）。
#因此使用虚接口lo:0来承载VIP地址，并为本机添加一条路由记录，将访问VIP的数据限制在本地，以避免通信紊乱。
[root@web1 ~]# cd /etc/sysconfig/network-scripts/
[root@web1 network-scripts]# cp ifcfg-lo ifcfg-lo:0
[root@web1 network-scripts]# vim ifcfg-lo:0  //设置虚接口lo:0
DEVICE=lo:0
IPADDR=192.168.80.100
NETMASK=255.255.255.255     //子网掩码必须全为1（即32个1）
ONBOOT=yes
[root@web1 network-scripts]# ifup lo:0         //启动虚接口
[root@web1 network-scripts]# ifconfig lo:0     //查看虚接口的信息
 ​
4、#添加路由记录，dev指定出站网卡
[root@web1 ~]# route add -host 192.168.80.100 dev lo:0  
[root@web1 ~]# route -n  //以数字形式显示路由信息
 ​
#可以将添加路由的命令写入开机自启配置文件中，每次开机后自动执行
[root@web1 ~]# vim /etc/rc.local
/sbin/route add -host 192.168.80.100 dev lo:0
[root@web1 ~]# chmod +x /etc/rc.d/rc.local
 ​
5、#调整内核的ARP响应参数
#arp_ignore=1，使本机只响应目的IP为本地物理网卡IP的ARP请求。
#arp_announce=2，使本机系统采用发送接口的IP作为ARP请求报文源地址。
[root@web1 ~]# vim /etc/sysctl.conf
net.ipv4.conf.lo.arp_ignore = 1  
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
[root@web1 ~]# sysctl -p  //刷新配置，读取修改后的配置
 ​
6、#创建站点文件
[root@web1 ~]# echo "tt is a boy" > /var/www/html/index.html
[root@web1 ~]# cat /var/www/html/index.html
 tt is a boy

第二台web节点服务器（192.168.80.8/24），VIP：192.168.80.100/32

1、#关闭防火墙
[root@web2 ~]# systemctl stop firewalld
[root@web2 ~]# setenforce 0
 ​
2、#安装httpd，开启服务
[root@web2 ~]# mount /dev/sr0 /mnt      //挂载光盘
mount: /dev/sr0 写保护，将以只读方式挂载
[root@web2 ~]# yum install httpd -y     //安装httpd服务
[root@web2 ~]# systemctl start httpd    //开启httpd服务
 ​
3、#配置虚拟IP地址（VIP:192.168.80.100），添加虚接口lo:0。
#此地址仅用作发送We响应数据包的源地址，并不需要监听客户机的访问请求（改由调度器监听并分发）。
#因此使用虚接口lo:0来承载VIP地址，并为本机添加一条路由记录，将访问VIP的数据限制在本地，以避免通信紊乱。
[root@web2 ~]# cd /etc/sysconfig/network-scripts/
[root@web2 network-scripts]# cp ifcfg-lo ifcfg-lo:0
[root@web2 network-scripts]# vim ifcfg-lo:0  //设置虚接口lo:0
DEVICE=lo:0
IPADDR=192.168.80.100
NETMASK=255.255.255.255     //子网掩码必须全为1（即32个1）
ONBOOT=yes
[root@web2 network-scripts]# ifup lo:0         //启动虚接口
[root@web2 network-scripts]# ifconfig lo:0     //查看虚接口的信息
 ​
4、#添加路由记录，dev指定出站网卡
[root@web2 ~]# route add -host 192.168.80.100 dev lo:0  
[root@web2 ~]# route -n  //以数字形式显示路由信息
 ​
#可以将添加路由的命令写入开机自启配置文件中，每次开机后自动执行
[root@web2 ~]# vim /etc/rc.local
/sbin/route add -host 192.168.80.100 dev lo:0
[root@web2 ~]# chmod +x /etc/rc.d/rc.local
 ​
5、#调整内核的ARP响应参数
#arp_ignore=1，使本机只响应目的IP为本地物理网卡IP的ARP请求。
#arp_announce=2，使本机系统采用发送接口的IP作为ARP请求报文源地址。
[root@web2 ~]# vim /etc/sysctl.conf
net.ipv4.conf.lo.arp_ignore = 1  
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
[root@web2 ~]# sysctl -p     //刷新配置，读取修改后的配置
 ​
6、#创建站点文件
[root@web2 ~]# echo "suzuka is a girl" > /var/www/html/index.html
[root@web2 ~]# cat /var/www/html/index.html
 suzuka is a girl

2、部署2台负载调度器

主DR调度器：192.168.80.7/24

备DR调度器：192.168.80.8/24

两台调度器配置步骤相同，配置文件的参数有所不同。

1、#关闭防火墙和selinux
[root@tt1 ~]# systemctl stop firewalld
[root@tt1 ~]# setenforce 0
 ​
2、#安装ipvsadm工具和keepalived工具，加载ip_vs模块
[root@tt1 ~]# yum -y install ipvsadm keepalived
[root@tt1 ~]# modprobe ip_vs        //加载ip_vs模块
[root@tt1 ~]# cat /proc/net/ip_vs   //查看ip_vs模块的版本
 ​
 ​
3、#找到keeplived配置文件，进行备份（主、备DR 服务器上都要设置）
[root@tt1 ~]# rpm -qc keepalived
/etc/keepalived/keepalived.conf     //配置文件位置
/etc/sysconfig/keepalived
[root@tt1 ~]# cd /etc/keepalived/
[root@tt1 keepalived]# cp keepalived.conf keepalived.conf.bak   //备份配置文件
[root@tt1 keepalived]# ls
keepalived.conf  keepalived.conf.bak
 ​
 ​
4、#修改keeplived配置文件（主、备DR 服务器上都要设置）
[root@tt1 keepalived]# vim keepalived.conf
 ......
#定义全局参数
global_defs {                   
    smtp_server 127.0.0.1   #修改这一行，将邮件服务指向本地
    router_id LVS_01   #指定服务器的名称，主备服务器名称须不同，主为LVS_01，备为LVS_02
    #vrrp_skip_check_adv_addr
    #vrrp_strict
    #vrrp_garp_interval 0
    #vrrp_gna_interval 0
    #将以上四行vrrp的配置注释掉， 取消严格遵守VRRP协议功能，否则VIP无法被连接
}
 ​
#定义VRRP热备实例参数
vrrp_instance VI_1 {
    state MASTER     #指定热备状态，主为MASTER，备为BACKUP。但真正的主备是用优先级区分。
    interface ens33       #指定承载vip地址的物理接口
    virtual_router_id 51  #指定虚拟路由器的ID号，每个热备组保持一致。默认为51  
    #nopreempt      #如果设置非抢占模式，两个节点state必须为bakcup，并加上配置nopreempt
    priority 100             #指定优先级，数值越大优先级越高，这里设置主为100，备为90
    advert_int 1             #通告间隔秒数(心跳频率)
    authentication {         #定义认证信息,每个热备组保持一致
        auth_type PASS       #认证类型
        auth_pass abc123     #指定验证密码，主备服务器保持一致
    }
    virtual_ipaddress {         #指定群集vip地址
        192.168.80.100
    }
}
 ​
#指定虚拟服务器地址(VIP)、端口，定义虚拟服务器和Web服务器池参数
virtual_server 192.168.80.100 80 {
    delay_loop 6                #健康检查的间隔时间(秒)
    lb_algo rr                  #指定调度算法，轮询(rr)
    lb_kind DR                  #指定群集工作模式，直接路由(DR)
    persistence_timeout 0       #连接保持时间(秒)
    protocol TCP                #应用服务采用的是 TCP协议
   
    real_server 192.168.80.7 80 {     #添加第一个Web节点的地址、端口
        weight 1      #节点的权重
         
        # SSL_GET {     #注释掉这个健康检查的方式，默认SSL_GET，我们采用TCP_CHECK
            #url {
             # path /
             # digest ff20ad2481f97b1754ef3e12ecd3a9cc
           # }
           # url {
            #  path /mrtg/
             # digest 9b3a0c85a887a256d6939da88aabd8cd
 ​
        TCP_CHECK {                 #采用TCP_CHECK健康检查的方式
            connect_port 80         #添加检查的目标端口
            connect_timeout 3       #添加连接超时(秒)
            nb_get_retry 3          #添加重试次数
            delay_before_retry 3    #添加重试间隔
        }
    }
 ​
    real_server 192.168.80.8 80 {      #添加第二个Web节点的地址、端口
        weight 1
        TCP_CHECK {
            connect_port 80
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
}
##删除后面多余的配置##
 ​
 ​
 ​
5、#启动eepalived服务
[root@tt1 keepalived]# systemctl start keepalived
[root@tt1 keepalived]# ip addr   #查看虚拟网卡vip
 ​
 ​
6、#保存调度策略，启动 ipvsadm 服务
[root@tt1 keepalived]# ipvsadm-save > /etc/sysconfig/ipvsadm
[root@tt1 keepalived]# systemctl start ipvsadm
[root@tt1 keepalived]# ipvsadm -ln    //查看调度策略
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.80.100:80 rr persistent 50
  -> 192.168.80.7:80             Masq    1      0          0         
  -> 192.168.80.8:80             Masq    1      0          0    
#如没有VIP 的分发策略，则重启 keepalived 服务，systemctl restart keepalived
 ​
 ​
7、#调整 proc 响应参数，关闭Linux内核的重定向参数响应。
#由于LVS负载调度器和各节点需要共用VIP地址，需要关闭icmp的重定向，关闭路由转发功能，不充当路由器
[root@tt1 keepalived]# vim /etc/sysctl.conf
[root@tt1 keepalived]# sysctl -p   //刷新配置，读取修改后的配置
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
 ​
 ​
8、#主调度器将配置文件传给备调度器。
[root@localhost keepalived]# scp keepalived.conf 192.168.80.5:`pwd`
 ​
 ​
9、#备调度器修改配置文件，修改为"router_id LVS_02"、"state BACKUP"、"priority 90"，其他参数和主调度器保持一致。
[root@tt2 keepalived]# vim keepalived.conf
global_defs {
   ......
   router_id LVS_02  #指定服务器的名称，主备服务器名称须不同，主为LVS_01，备为LVS_02
}
 ​
vrrp_instance VI_1 {
    ......
    state  BACKUP  #指定热备状态，主为MASTER，备为BACKUP。
    priority 90    #指定优先级，数值越大优先级越高，这里设置主为100，备为90
    .......
}

四、总结

Keepalived通过什么判断哪台主机为主服务器，通过什么方式配置浮动IP？

• Keepalived首先做初始化先检查state状态，master为主服务器，backup为备服务器。
• 然后再对比所有服务器的priority，谁的优先级高谁是最终的主服务器。
• 优先级高的服务器会通过ip命令，为自己配置一个提前定义好的浮动IP地址。

---

keepalived的抢占与非抢占模式：

• 抢占模式即MASTER从故障中恢复后，会将VIP从BACKUP节点中抢占过来。非抢占模式即MASTER恢复后，不抢占BACKUP升级为MASTER后的VIP。
• 非抢占式俩节点的state必须都设置为bakcup，且必须配置nopreempt。

这样配置后，我们要注意启动服务的顺序，优先启动的获取master权限，与优先级没有关系。