LVS+Keepalived集群

前言

企业应用中，单台服务器承担应用存在单点故障的危险，单点故障一旦发生，企业服务将发生中断，造成极大的危害和损失。keepalived 软件起初是专为 LVS 负载均衡软件设计的，用来管理并监控 LVS 集群中各个服务节点的状态，后来又加入了可以实现高可用的 VRRP 功能。

一、Keepalived 概述

keepalived 软件起初是专为 LVS 负载均衡软件设计的，用来管理并监控 LVS 集群中各个服务节点的状态，后来又加入了可以实现高可用的 VRRP 功能。因此，keepalived 除了能够管理 LVS 集群外，还可以为其他服务（例如：Nginx、Haproxy、MySQL等）实现高可用。
  keepalived 软件主要是通过 VRRP 协议实现高可用功能的。VRRP 是 Virtual Router Redundancy Protocol（虚拟路由器冗余协议）的缩写，VRRP 出现的目的就是为了解决静态路由单点故障的问题，它能够保证当个别节点宕机时，整个网络可以不间断地运行。
  所以，keepalived 一方面具有配置管理 LVS 的功能，同时还具有对 LVS 下面节点进行健康检查的功能，另一方面也可实现系统网络服务的高可用。

1、keepalived 服务重要功能

管理 LVS 负载均衡软件

早期的LVS软件，需要通过命令行或脚本实现管理，并且没有针对LVS节点的健康检查功能。为了解决LVS的这些使用不便问题，Keepalived诞生了，可以说，Keepalived软件起初是专为解决LVS的问题而诞生的。因此，Keepalived和LVS的感情很深，他们的关系如同夫妻一样，可以紧密地结合，愉快地工作。Keepalived可以通过读取自身的配置文件，实现通过更底层的接口直接管理LVS的配置以及控制服务的启动，停止功能，这使得LVS的应用更加简单方便了。

支持故障自动切换（Failover）

Keepalived可以实现任意两台主机之间，例如Master和Backup主机之间的故障转移和自动切换，这个主机可以是普通的不能停机的业务服务器，也可以是LVS负载均衡，Nginx反向代理这样的服务器。

Keepalived高可用功能实现的简单原理为，两台主机同时安装好Keepalived软件并启动服务，开始正常工作时，由角色为Master的主机获得所有资源并对用户提供服务，角色为Backup的主机作为Master主机的热备；当角色为Master的主机失效或出现故障时，角色为Backup的主机将自动接管Master主机的所有工作，包括接管VIP资源及相应资源服务；而当角色为Master的主机故障修复后，又会自动接管回它原来处理的工作，角色为Backup的主机则同时释放Master主机失效时它接管的工作，此时，两台主机将恢复到最初启动时各自的原始角色及工作状态。

Keepalived软件的官方站点是http://www.keepalived.org

实现 LVS 集群中节点的健康检查（Health Checking）

Keepalived可以通过在自身的Keepalived.conf文件里配置LVS的节点IP和相关参数实现对LVS的直接管理；除此之外，当LVS集群中的某一个甚至是几个节点服务器同时发生故障无法提供服务时，Keepalived服务会自动将失效的节点服务器从LVS的正常转发队列中清除出去，并将请求调度到别的正常节点服务器上，从而保证最终用户的访问不受影响；当故障的节点服务器被修复以后，Keepalived服务又会自动地把它们加入到正常转发队列中，对客户提供服务。
实现 LVS 负载调度器、节点服务器的高可用性（HA）

一般企业集群需要满足的三个特点：负载均衡、健康检查、故障切换，使用 LVS + Keepalived 完全可以满足需求。

2、keepalived 高可用故障切换转移原理

keepalived 高可用服务对集群之间的故障切换转移，是通过 VRRP（虚拟路由器冗余协议）来实现的。
  在 keepalived 服务正常工作时，主（Master）节点会不断地向备（Backup）节点发送（多播的方式）心跳消息，用以告诉备节点自己还活看，当主节点发生故障时，就无法发送心跳消息，备节点也就因此无法继续检测到来自主节点的心跳了，于是调用自身的接管程序，接管主节点的 IP 资源及服务。而当主节点恢复时，备节点又会释放主节点故障时自身接管的 IP 资源及服务，恢复到原来的备用角色。

2.1、VRRP通信原理

VRRP也就是虚拟路由冗余协议，它的出现就是为了解决静态路由的单点故障。
VRRP是通过一种竞选协议机制来将路由任务交给某台VRRP路由器的。
VRRP用IP多播的方式（默认多播地址（224.0.0.18））实现高可用之间通信。
工作时主节点发包，备节点接包，当备节点接收不到主节点发的数据包的时候，就启动接管程序接管主节点的资源。备节点可以有多个，通过优先级竞选，但一般Keepalived系统运维工作中都是一对。
VRRP使用了加密协议加密数据，但Keepalived官方目前还是推荐用明文的方式配置认证类型和密码。

2.2、keepalived 体系主要模块及其作用

2.3、Keepalived服务的工作原理

Keepalived高可用之间是通过VRRP进行通信的，VRRP是通过竞选机制来确定主备的，主的优先级高于备，因此，工作时主会优先获得所有的资源，备节点处于等待状态，当主挂了的时候，备节点就会接管主节点的资源，然后顶替主节点对外提供服务。

在Keepalived服务之间，只有作为主的服务器会一直发送VRRP广播包，告诉备它还活着，此时备不会抢占主，当主不可用时，即备监听不到主发送的广播包时，就会启动相关服务接管资源，保证业务的连续性。接管速度最快可以小于1秒。

二、keepalived脑裂及解决办法

1、keepalived脑裂

在高可用（HA）系统中，当联系2个节点的“心跳线”断开时，本来为一整体、动作协调的HA系统，就分裂成为2个独立的个体。由于相互失去了联系，都以为是对方出了故障。两个节点上的HA软件像“裂脑人”一样，争抢“共享资源”、争起“应用服务”，就会发生严重后果——或者共享资源被瓜分、2边“服务”都起不来了；或者2边“服务”都起来了，但同时读写“共享存储”，导致数据损坏（常见如数据库轮询着的联机日志出错）。

2、脑裂的原因

1.高可用服务器对之间心跳线链路发生故障，导致无法正常通信。如心跳线坏了（包括断了，老化）。
2.因网卡及相关驱动坏了，ip配置及冲突问题（网卡直连）。
3.因心跳线间连接的设备故障（网卡及交换机）。
4.因仲裁的机器出问题（采用仲裁的方案）。
5.高可用服务器上开启了 iptables防火墙阻挡了心跳消息传输。
6.Keepalived配置里同一 VRRP实例,如果 virtual_router_id两端参数配置不一致也会导致裂脑问题发生。
7.vrrp实例名字不一致、优先级一致。

3、应对策略

添加冗余的心跳线，例如：双线条线（心跳线也HA），尽量减少“裂脑”发生几率
启用磁盘锁。正在服务一方锁住共享磁盘，“裂脑”发生时，让对方完全“抢不走”共享磁盘资源。但使用锁磁盘也会有一个不小的问题，如果占用共享盘的一方不主动“解锁”，另一方就永远得不到共享磁盘。现实中假如服务节点突然死机或崩溃，就不可能执行解锁命令。后备节点也就接管不了共享资源和应用服务。于是有人在HA中设计了“智能”锁。即：正在服务的一方只在发现心跳线全部断开（察觉不到对端）时才启用磁盘锁。平时就不上锁了。
设置仲裁机制。例如设置参考IP（如网关IP），当心跳线完全断开时，2个节点都各自ping一下参考IP，不通则表明断点就出在本端。不仅“心跳”、还兼对外“服务”的本端网络链路断了，即使启动（或继续）应用服务也没有用了，那就主动放弃竞争，让能够ping通参考IP的一端去起服务。更保险一些，ping不通参考IP的一方干脆就自我重启，以彻底释放有可能还占用着的那些共享资源。
利用脚本检测、报警。

三、LVS+Keepalived 高可用群集部署

1、环境配置

2、配置负载调度器

# 配置Keepalived master服务器 ####
#关闭防火墙
systemctl stop firewalld.service
setenforce 0
 
yum -y install ipvsadm keepalived
modprobe ip_vs            #加载ip_vs模块
cat /proc/net/ip_vs
 
#调整proce响应参数，关闭Linux内核的重定向参数响应
vim /etc/sysctl.conf
net.ipv4.ip_forward = 1
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
sysctl -p
 
 #修改配置文件keeplived.conf
cd /etc/keepalived/
cp keepalived.conf keepalived.conf.bak
 
vim keepalived.conf
......
global_defs {						#定义全局参数
--10行--修改，邮件服务指向本地
	smtp_server 127.0.0.1
--12行--修改，指定服务器（路由器）的名称，主备服务器名称须不同，主为LVS_01，备为LVS_02
	router_id LVS_01
--14行--注释掉，取消严格遵守VRRP协议功能，否则VIP无法被连接
	#vrrp_strict
}
 
vrrp_instance VI_1 {				#定义VRRP热备实例参数
--20行--修改，指定热备状态，主为MASTER，备为BACKUP
    state MASTER
--21行--修改，指定承载vip地址的物理接口
    interface ens33
--22行--修改，指定虚拟路由器的ID号，每个热备组保持一致	
    virtual_router_id 10
	#nopreempt		#如果设置非抢占模式，两个节点state必须为bakcup，并加上配置 nopreempt
--23行--修改，指定优先级，数值越大优先级越高，这里设置主为100，备为90
    priority 100
    advert_int 1					#通告间隔秒数(心跳频率)
    authentication {				#定义认证信息,每个热备组保持一致
		auth_type PASS				#认证类型
--27行--修改，指定验证密码，主备服务器保持一致
        auth_pass 123456
    }
    virtual_ipaddress {				#指定群集vip地址
        192.168.58.110
    }
}
 
--36行--修改，指定虚拟服务器地址(VIP)、端口，定义虚拟服务器和Web服务器池参数
virtual_server 192.168.10.188 80 {
    delay_loop 6					#健康检查的间隔时间(秒)
    lb_algo rr						#指定调度算法，轮询(rr)
--39行--修改，指定群集工作模式，直接路由(DR)
    lb_kind DR
    persistence_timeout 0			#连接保持时间(秒)
    protocol TCP					#应用服务采用的是 TCP协议
--43行--修改，指定第一个Web节点的地址、端口
    real_server 192.168.10.16 80 {
        weight 1					#节点的权重
--45行--删除，添加以下健康检查方式		
        TCP_CHECK {
			connect_port 80			#添加检查的目标端口
			connect_timeout 3		#添加连接超时(秒)
			nb_get_retry 3			#添加重试次数
			delay_before_retry 3	#添加重试间隔
		}
	}
 
	real_server 192.168.10.17 80 {		#添加第二个 Web节点的地址、端口
        weight 1
        TCP_CHECK {
			connect_port 80
			connect_timeout 3
			nb_get_retry 3
			delay_before_retry 3
		}
	}
##删除后面多余的配置##
}
 
 
配置vip(虚拟IP)
vim /etc/sysconfig/network-scripts/ifcfg-ens33:0
DEVICE=ens33:0
ONBOOT=yes
IPADDR=192.168.10.188
NETMASK=255.255.255.255
 
 重启网卡、查看虚拟网卡vip
systemctl restart network
ifup ens33:0
ifconfig
 
systemctl start keepalived
ip addr						#查看虚拟网卡vip
 
 
### 配置ipvsadm ###
 
配置负载分配策略，并启动服务
ipvsadm-save > /etc/sysconfig/ipvsadm
ipvsadm -C
ipvsadm -A -t 192.168.58.110:80 -s rr
ipvsadm -a -t 192.168.58.110:80 -r 192.168.58.20:80 -g
ipvsadm -a -t 192.168.58.110:80 -r 192.168.58.35:80 -g
systemctl start ipvsadm
ipvsadm
ipvsadm -ln
#如没有VIP 的分发策略，则重启 keepalived 服务，systemctl restart keepalived
systemctl restart keepalived.service 
 
 
 

关闭防火墙

安装服务


调整 proc 响应参数，关闭Linux 内核的重定向参数响应


修改配置文件keeplived.conf




配置vip(虚拟IP)

重启网卡服务、查看虚拟网卡vip

开启服务，查看虚拟IP

配置负载分配策略，并启动服务

清空ipvsadm，并做策略


重启服务

3、配置负载调度器

## 配置Keepalived master服务器 #
#关闭防火墙
systemctl stop firewalld.service
setenforce 0
#安装服务
yum -y install ipvsadm keepalived
 
异地传输
cd /etc/keepalived/
scp keepalived.conf root@192.168.58.19:/etc/keepalived/
 
cd /etc/keepalived/
vim keepalived.conf 
 
修改scp过来的配置文件。进行修改
 
 
调整 proc 响应参数，关闭Linux 内核的重定向参数响应
sysctl -p
vim /etc/sysctl.conf 
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
 
 
 配置负载分配策略，并启动服务
modprobe ip_vs
cat /proc/net/ip_vs
ipvsadm-save > /etc/sysconfig/ipvsadm
systemctl start ipvsadm
 
ipvsadm -C   ##清空规则
ipvsadm -A -t 192.168.58.110:80 -s rr
ipvsadm -a -t 192.168.58.110:80 -r 192.168.58.20:80 -g
ipvsadm -a -t 192.168.58.110:80 -r 192.168.58.35:80 -g
ipvsadm-save > /etc/sysconfig/ipvsadm
ipvsadm
ipvsadm -ln
 
 
配置vip(虚拟IP)
cd /etc/sysconfig/network-scripts/
cp ifcfg-ens33 ifcfg-ens33:0
vim ifcfg-ens33:0
DEVICE=ens33:0
ONBOOT=yes
IPADDR=192.168.58.110
NETMASK=255.255.255.255
 
systemctl restart network
 
 
 
 
 

调整proce响应参数，关闭Linux内核的重定向参数响应



清空ipvsadm，并做策略

配置虚拟IP

4、配置节点服务器 web1

#关闭防火墙
systemctl stop firewalld
setenforce 0
 
#安装并开启httpd服务
yum -y install httpd
systemctl start httpd
 
#配置站点文件
cd /var/www/html/
vim index.html
this is web1 liy
 
#配置虚拟vip
vim /etc/sysconfig/network-scripts/ifcfg-lo:0
DEVICE=lo:0
ONBOOT=yes
IPADDR=192.168.58.110
NETMASK=255.255.255.255
 
systemctl restart network
 
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
 
 
ifup lo:0
ifconfig lo:0
设置路由
route add -host 192.168.58.110 dev lo:0
route -n

重启网卡， 调整 proc 响应参数

刷新proc参数

设置路由

5、配置节点服务器 web2

#关闭防火墙
systemctl stop firewalld
setenforce 0
#安装并开启httpd服务
yum -y install httpd
systemctl start httpd
 
#配置站点文件
vim /var/www/html/index.html
this is web2 yong
 
#配置虚拟vip
vim /etc/sysconfig/network-scripts/ifcfg-lo:0
DEVICE=lo:0
ONBOOT=yes
IPADDR=192.168.58.110
NETMASK=255.255.255.255
 
 
#重启网络服务，开启虚拟网卡
systemctl restart network
ifup lo:0
ifconfig lo:0
 
 
#设置路由
route add -host 192.168.58.110 dev lo:0
route -n
 
 
#调整 proc 响应参数
#添加系统只响应目的IP为本地IP的ARP请求
#系统不使用原地址来设置ARP请求的源地址，而是物理mac地址上的IP
vim /etc/sysctl.conf
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
 
8. #刷新proc参数
sysctl -p

6、 客户机访问

7、断开主DR服务器的Keepalived测试

四、总结

集群满足的三个特点：负载均衡，健康检查，故障切换，

对于节点服务器：健康检查如果发现有故障的节点就会将其隔离或者提出集群。待其恢复后在重新加入集群当中。

负载均衡器：健康检查会定时检查主机的状态（包括主机和服务状态）如果主故障就会自动切换到备主机上，待主的恢复重新在让主承载业务请求。