LVS+Keepalived高可用集群

目录

Keepalived概述

keepalived 服务重要功能

管理 LVS 负载均衡软件

支持故障自动切换（Failover）

实现 LVS 集群中节点的健康检查（Health Checking）

实现 LVS 负载调度器、节点服务器的高可用性（HA）

keepalived 高可用故障切换转移原理

VRRP通信原理

Keepalived工具介绍

keepalived体系主要模块及作用

keepalived服务的工作原理

keepalived脑裂及解决办法

keepalived脑裂

脑裂的原因

解决对策

搭建LVS+Keepalived高可用集群

集群概述

一、配置主DR调度器

1.关闭防火墙和增强模式

2.安装服务

3.修改配置文件keeplived.conf

4.启动服务、查看虚拟网卡vip

5.调整proce响应参数，关闭Linux内核的重定向参数响应

6.配置负载分配策略，并启动服务

7.清空ipvsadm，并做策略

8.保存设置

二、配置备用DR调度器

1.关闭防火墙

2.安装服务

3.修改配置文件keeplived.conf

4.启动服务、查看虚拟网卡vip

5.调整proce响应参数，关闭Linux内核的重定向参数响应

6.刷新

7. 配置负载分配策略，并启动服务

8.清空ipvsadm，并做策略

9.保存设置

三、配置节点服务器web1

1.关闭防火墙

2.安装并开启httpd服务

3.配置站点文件

 4.配置虚拟vip

5.重启网络服务，开启虚拟网卡

6.设置路由

7.调整 proc 响应参数

四、配置节点服务器web2

1.关闭防火墙

2.安装并开启httpd服务

3.配置站点文件

4.配置虚拟vip

5.重启网络服务，开启虚拟网卡

6.设置路由

7.调整 proc 响应参数

8.刷新proc参数

五、测试

主调度器：

备用调度器：

主调度器：

备用调度器：

客户端：

---

Keepalived概述

Keepalived 是一个基于VRRP协议来实现的LVS服务高可用方案，可以解决静态路由出现的单点故障问题。

在一个LVS服务集群中通常有主服务器（MASTER）和备份服务器（BACKUP）两种角色的服务器，但是对外表现为一个虚拟IP，主服务器会发送VRRP通告信息给备份服务器，当备份服务器收不到VRRP消息的时候，即主服务器异常的时候，备份服务器就会接管虚拟IP，继续提供服务，从而保证了高可用性。
 

keepalived 服务重要功能

管理 LVS 负载均衡软件

早期的LVS软件，需要通过命令行或脚本实现管理，并且没有针对LVS节点的健康检查功能。为了解决LVS的这些使用不便问题，Keepalived诞生了，可以说，Keepalived软件起初是专为解决LVS的问题而诞生的。因此，Keepalived和LVS的感情很深，他们的关系如同夫妻一样，可以紧密地结合，愉快地工作。Keepalived可以通过读取自身的配置文件，实现通过更底层的接口直接管理LVS的配置以及控制服务的启动，停止功能，这使得LVS的应用更加简单方便了。

支持故障自动切换（Failover）

Keepalived可以实现任意两台主机之间，例如Master和Backup主机之间的故障转移和自动切换，这个主机可以是普通的不能停机的业务服务器，也可以是LVS负载均衡，Nginx反向代理这样的服务器。

Keepalived高可用功能实现的简单原理为，两台主机同时安装好Keepalived软件并启动服务，开始正常工作时，由角色为Master的主机获得所有资源并对用户提供服务，角色为Backup的主机作为Master主机的热备；当角色为Master的主机失效或出现故障时，角色为Backup的主机将自动接管Master主机的所有工作，包括接管VIP资源及相应资源服务；而当角色为Master的主机故障修复后，又会自动接管回它原来处理的工作，角色为Backup的主机则同时释放Master主机失效时它接管的工作，此时，两台主机将恢复到最初启动时各自的原始角色及工作状态。

Keepalived软件的官方站点是http://www.keepalived.org

实现 LVS 集群中节点的健康检查（Health Checking）

Keepalived可以通过在自身的Keepalived.conf文件里配置LVS的节点IP和相关参数实现对LVS的直接管理；除此之外，当LVS集群中的某一个甚至是几个节点服务器同时发生故障无法提供服务时，Keepalived服务会自动将失效的节点服务器从LVS的正常转发队列中清除出去，并将请求调度到别的正常节点服务器上，从而保证最终用户的访问不受影响；当故障的节点服务器被修复以后，Keepalived服务又会自动地把它们加入到正常转发队列中，对客户提供服务。

实现 LVS 负载调度器、节点服务器的高可用性（HA）

一般企业集群需要满足的三个特点：负载均衡、健康检查、故障切换，使用 LVS + Keepalived 完全可以满足需求。

keepalived 高可用故障切换转移原理

keepalived 高可用服务对集群之间的故障切换转移，是通过 VRRP（虚拟路由器冗余协议）来实现的。
在 keepalived 服务正常工作时，主（Master）节点会不断地向备（Backup）节点发送（多播的方式）心跳消息，用以告诉备节点自己还活看，当主节点发生故障时，就无法发送心跳消息，备节点也就因此无法继续检测到来自主节点的心跳了，于是调用自身的接管程序，接管主节点的 IP 资源及服务。而当主节点恢复时，备节点又会释放主节点故障时自身接管的 IP 资源及服务，恢复到原来的备用角色。

VRRP通信原理

VRRP也就是虚拟路由冗余协议，它的出现就是为了解决静态路由的单点故障。
VRRP是通过一种竞选协议机制来将路由任务交给某台VRRP路由器的。
VRRP用IP多播的方式（默认多播地址（224.0.0.18））实现高可用之间通信。
工作时主节点发包，备节点接包，当备节点接收不到主节点发的数据包的时候，就启动接管程序接管主节点的资源。备节点可以有多个，通过优先级竞选，但一般Keepalived系统运维工作中都是一对。
VRRP使用了加密协议加密数据，但Keepalived官方目前还是推荐用明文的方式配置认证类型和密码。
vrrp会把多台路由器组成一个虚拟路由组vrid，vrrp会生成一个虚拟路由（包含虚拟IP和虚拟MAC，局域网内用户不关心哪一个是主哪一个是备，它们只用虚拟路由器的虚拟IP作为它们的网关）实际上虚拟IP就是承载master路由器上，也就是说实际的数据是通过master转发的。

backup是通过优先级来决定哪个是master路由，优先级最大的那台就是master，backup只是用来监听master定时发来的vrrp报文，如果超时未收到master发来的vrrp报文backup就会抢占master，虚拟IP也会漂移到backup头上。

Keepalived工具介绍

（1）专为LVS和HA设计的一款健康检查工具

（2）支持故障自动切换(Failover)

（3）支持节点健康状态检查(Health Checking)

官方网站: http://www.keepalived.orgl

keepalived体系主要模块及作用

keepalived体系架构中主要有三个模块，分别是core、check、vrrp

core模块：为keepalived的核心，负责主程序的启动、维护及全局配置文件的加载和解析。

vrrp模块：是来实现vrrp协议的。

check模块：负责健康检查，常见的方式有端口检查及URL检查。

keepalived服务的工作原理

Keepalived高可用之间是通过VRRP进行通信的，VRRP是通过竞选机制来确定主备的，主的优先级高于备，因此，工作时主会优先获得所有的资源，备节点处于等待状态，当主挂了的时候，备节点就会接管主节点的资源，然后顶替主节点对外提供服务。

通过vrrp冗余协议——》备监听主——》主宕机——》心跳从备到主，接收主的资源向外提供服务——》vip从主飘移备

在Keepalived服务之间，只有作为主的服务器会一直发送VRRP广播包，告诉备它还活着，此时备不会抢占主，当主不可用时，即备监听不到主发送的广播包时，就会启动相关服务接管资源，保证业务的连续性。接管速度最快可以小于1秒。

keepalived脑裂及解决办法

keepalived脑裂

在高可用（HA）系统中，当联系2个节点的“心跳线”断开时，本来为一整体、动作协调的HA系统，就分裂成为2个独立的个体。由于相互失去了联系，都以为是对方出了故障。两个节点上的HA软件像“裂脑人”一样，争抢“共享资源”、争起“应用服务”，就会发生严重后果——或者共享资源被瓜分、2边“服务”都起不来了；或者2边“服务”都起来了，但同时读写“共享存储”，导致数据损坏（常见如数据库轮询着的联机日志出错）。

脑裂的原因

（1）高可用服务器对之间心跳线链路发生故障，导致无法正常通信。如心跳线坏了（包括断了，老化）。
（2）因网卡及相关驱动坏了，ip配置及冲突问题（网卡直连）。
（3）因心跳线间连接的设备故障（网卡及交换机）。
（4）因仲裁的机器出问题（采用仲裁的方案）。
（5）高可用服务器上开启了 iptables防火墙阻挡了心跳消息传输。
（6）Keepalived配置里同一 VRRP实例如果 virtual_router_id两端参数配置不一致也会导致裂脑问题发生。
（7）vrrp实例名字不一致、优先级一致。

解决对策

（1）添加冗余的心跳线，例如：双线条线（心跳线也HA），尽量减少“裂脑”发生几率

（2）启用磁盘锁。正在服务一方锁住共享磁盘，“裂脑”发生时，让对方完全“抢不走”共享磁盘资源。但使用锁磁盘也会有一个不小的问题，如果占用共享盘的一方不主动“解锁”，另一方就永远得不到共享磁盘。现实中假如服务节点突然死机或崩溃，就不可能执行解锁命令。后备节点也就接管不了共享资源和应用服务。于是有人在HA中设计了“智能”锁。即：正在服务的一方只在发现心跳线全部断开（察觉不到对端）时才启用磁盘锁。平时就不上锁了。

（3）设置仲裁机制。例如设置参考IP（如网关IP），当心跳线完全断开时，2个节点都各自ping一下参考IP，不通则表明断点就出在本端。不仅“心跳”、还兼对外“服务”的本端网络链路断了，即使启动（或继续）应用服务也没有用了，那就主动放弃竞争，让能够ping通参考IP的一端去起服务。更保险一些，ping不通参考IP的一方干脆就自我重启，以彻底释放有可能还占用着的那些共享资源。

（4）利用脚本检测、报警。

vim check_keepalived.sh
 
#!/bin/bash
$ip=192.168.63.20
while true
do
if [ `ip a show ens33 |grep $ip|wc -l` -ne 0 ]
then    echo "keepalived is error!"
else    echo "keepalived is OK !"
fi
done

搭建LVS+Keepalived高可用集群

集群概述

（1）keepalived 的设计目标是构建高可用的 LVS 负载均衡集群，可以调用 ipvsadm 工具来创建虚拟服务器、管理服务器池，而不仅仅用作双机热备。

（2）使用 keepalived 构建 LVS 集群更加简便易用，主要优势在于：对 LVS 负载调度器实现热备切换，提高可用性；对服务器池中的节点进行健康检查，自动移除失效节点，恢复后再重新加入。

（3）案列将以 DR 模式的 LVS 集群为基础，增加一台从负载调度器，使用 keepalived 实现主、从调度器的热备，搭建兼有负载均衡、高可用性两种能力的 LVS 集群架构。

（4）使用 keepalived 构建 LVS 集群时，也需要用到 ipvsadm 管理工具，但大部分工作会由 keepalived 自动完成，不需要手动执行 ipvsadm （除了查看和监控集群以外）。

主调度器	192.168.163.50
备调度器	192.168.163.100
web1服务器	192.168.163.150
web2服务器	192.168.163.105

一、配置主DR调度器

############################ 配置Keepalived master服务器 #################################
 
1. #关闭防火墙
systemctl stop firewalld.service
setenforce 0
 
2. #安装服务
yum -y install ipvsadm keepalived
 
3. #修改配置文件keeplived.conf
cd /etc/keepalived/
cp keepalived.conf keepalived.conf.bak
vim keepalived.conf
 
......
global_defs {						#定义全局参数
--10行--修改，邮件服务指向本地
	smtp_server 127.0.0.1
--12行--修改，指定服务器（路由器）的名称，主备服务器名称须不同，主为LVS_01，备为LVS_02
	router_id LVS_01
}
 
vrrp_instance VI_1 {				#定义VRRP热备实例参数
--20行--修改，指定热备状态，主为MASTER，备为BACKUP
    state MASTER
--21行--修改，指定承载vip地址的物理接口
    interface ens33
--22行--修改，指定虚拟路由器的ID号，每个热备组保持一致	
    virtual_router_id 10
--23行--修改，指定优先级，数值越大优先级越高，主为100，备为99
    priority 100
    advert_int 1					#通告间隔秒数(心跳频率)
    authentication {				#定义认证信息,每个热备组保持一致
		auth_type PASS				#认证类型
--27行--修改，指定验证密码，主备服务器保持一致
        auth_pass 123123
    }
    virtual_ipaddress {				#指定群集vip地址
        192.168.163.188
    }
}
--36行--修改，指定虚拟服务器地址(VIP)、端口，定义虚拟服务器和Web服务器池参数
virtual_server 192.168.163.188 80 {
    delay_loop 6					#健康检查的间隔时间(秒)
    lb_algo rr						#指定调度算法，轮询(rr)
--39行--修改，指定群集工作模式，直接路由(DR)
    lb_kind DR
    persistence_timeout 50			#连接保持时间(秒)
    protocol TCP					#应用服务采用的是 TCP协议
--43行--修改，指定第一个Web节点的地址、端口
    real_server 192.168.163.150 80 {
        weight 1					#节点的权重
--45行--删除，添加以下健康检查方式		
        TCP_CHECK {
			connect_port 80			#添加检查的目标端口
			connect_timeout 3		#添加连接超时(秒)
			nb_get_retry 3			#添加重试次数
			delay_before_retry 3	#添加重试间隔
		}
	}
 
	real_server 192.168.163.6 80 {		#添加第二个 Web节点的地址、端口
        weight 1
        TCP_CHECK {
			connect_port 80
			connect_timeout 3
			nb_get_retry 3
			delay_before_retry 3
		}
	}
}
##删除后面多余的配置##
 
4. #启动服务、查看虚拟网卡vip
systemctl start keepalived
ip addr show dev ens33	
 
5. #调整proce响应参数，关闭Linux内核的重定向参数响应
vim /etc/sysctl.conf
net.ipv4.ip_forward = 1
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
 
6. #刷新一下
sysctl -p
 
############################# 配置ipvsadm #################################
 
7. #配置负载分配策略，并启动服务
ipvsadm-save >/etc/sysconfig/ipvsadm
systemctl start ipvsadm.service
 
8. 
#清空ipvsadm，并做策略
ipvsadm -C
ipvsadm -A -t 192.168.59.188:80 -s rr
ipvsadm -a -t 192.168.163.188:80 -r 192.168.163.6:80 -g
ipvsadm -a -t 192.168.163.188:80 -r 192.168.163.150:80 -g
 
9. #保存设置
ipvsadm
ipvsadm -ln
ipvsadm-save >/etc/sysconfig/ipvsadm

1.关闭防火墙和增强模式

2.安装服务

3.修改配置文件keeplived.conf

 将下图中的192.168.163.6换成192.168.163.150

 28     }
 29     virtual_ipaddress { 
 30         192.168.163.188      #指定群集vip地址
 31     }
 32 }
 33 
 34 virtual_server 192.168.163.188 80 {        #定义虚拟服务器地址vip、端口
 35     delay_loop 6                           #定义虚拟服务器和web服务池参数
 36     lb_algo rr          #指定调度算法为轮询
 37     lb_kind DR          #指定群集工作模式为DR
 38     persistence_timeout 50       #连接保持时间
 39     protocol TCP          #应用服务采用的是TCP协议
 40 
 41     real_server 192.168.163.105 80 {        #指定第一个web节点地址、端口
 42         weight 1     #节点的权重
 43         TCP_CHECK {
 44         connect_port 80      #添加检查的目标端口
 45         connect_timeout 3    #添加链接超时
 46         nb_get_retry 3       #连接保持时间
 47         delay_before_retry 3     #添加重试问题
 48         }
 49     }
 50 }
 51     real_server 192.168.201.163.6 80 {       #指定第二个web节点地址、端口
 52         weight 1
 53         TCP_CHECK {
 54         connect_port 80
 55         connect_timeout 3
 56         nb_get_retry 3
 57         delay_before_retry 3
 58         }
 59     }
 60 }           #删除后面所有的配置

4.启动服务、查看虚拟网卡vip

5.调整proce响应参数，关闭Linux内核的重定向参数响应

刷新一下

6.配置负载分配策略，并启动服务

7.清空ipvsadm，并做策略

8.保存设置

二、配置备用DR调度器

############################ 配置Keepalived master服务器 #################################
 
1. #关闭防火墙
systemctl stop firewalld.service
setenforce 0
 
2. #安装服务
yum -y install ipvsadm keepalived
 
3. #修改配置文件keeplived.conf
cd /etc/keepalived/
cp keepalived.conf keepalived.conf.bak
vim keepalived.conf
 
......
global_defs {						#定义全局参数
--10行--修改，邮件服务指向本地
	smtp_server 127.0.0.1
--12行--修改，指定服务器（路由器）的名称，主备服务器名称须不同，主为LVS_01，备为LVS_02
	router_id LVS_01
}
 
vrrp_instance VI_1 {				#定义VRRP热备实例参数
--20行--修改，指定热备状态，主为MASTER，备为BACKUP
    state BACKUP
--21行--修改，指定承载vip地址的物理接口
    interface ens33
--22行--修改，指定虚拟路由器的ID号，每个热备组保持一致	
    virtual_router_id 10
--23行--修改，指定优先级，数值越大优先级越高，主为100，备为99
    priority 99
    advert_int 1					#通告间隔秒数(心跳频率)
    authentication {				#定义认证信息,每个热备组保持一致
		auth_type PASS				#认证类型
--27行--修改，指定验证密码，主备服务器保持一致
        auth_pass 123123
    }
    virtual_ipaddress {				#指定群集vip地址
        192.168.163.188
    }
}
--36行--修改，指定虚拟服务器地址(VIP)、端口，定义虚拟服务器和Web服务器池参数
virtual_server 192.168.163.188 80 {
    delay_loop 6					#健康检查的间隔时间(秒)
    lb_algo rr						#指定调度算法，轮询(rr)
--39行--修改，指定群集工作模式，直接路由(DR)
    lb_kind DR
    persistence_timeout 50			#连接保持时间(秒)
    protocol TCP					#应用服务采用的是 TCP协议
--43行--修改，指定第一个Web节点的地址、端口
    real_server 192.168.163.150 80 {
        weight 1					#节点的权重
--45行--删除，添加以下健康检查方式		
        TCP_CHECK {
			connect_port 80			#添加检查的目标端口
			connect_timeout 3		#添加连接超时(秒)
			nb_get_retry 3			#添加重试次数
			delay_before_retry 3	#添加重试间隔
		}
	}
 
	real_server 192.168.163.6 80 {		#添加第二个 Web节点的地址、端口
        weight 1
        TCP_CHECK {
			connect_port 80
			connect_timeout 3
			nb_get_retry 3
			delay_before_retry 3
		}
	}
}
##删除后面多余的配置##
 
4. #启动服务、查看虚拟网卡vip
systemctl start keepalived
ip addr show dev ens33	
 
5. #调整proce响应参数，关闭Linux内核的重定向参数响应
vim /etc/sysctl.conf
net.ipv4.ip_forward = 1
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
 
6. #刷新一下
sysctl -p
 
############################# 配置ipvsadm #################################
 
7. #配置负载分配策略，并启动服务
ipvsadm-save >/etc/sysconfig/ipvsadm
systemctl start ipvsadm.service
 
8. 
#清空ipvsadm，并做策略
ipvsadm -C
ipvsadm -A -t 192.168.59.188:80 -s rr
ipvsadm -a -t 192.168.163.188:80 -r 192.168.163.6:80 -g
ipvsadm -a -t 192.168.163.188:80 -r 192.168.163.150:80 -g
 
9. #保存设置
ipvsadm
ipvsadm -ln
ipvsadm-save >/etc/sysconfig/ipvsadm

1.关闭防火墙

2.安装服务

3.修改配置文件keeplived.conf

将下图中的192.168.163.6换成192.168.163.105

4.启动服务、查看虚拟网卡vip

5.调整proce响应参数，关闭Linux内核的重定向参数响应

6.刷新

7. 配置负载分配策略，并启动服务

8.清空ipvsadm，并做策略

9.保存设置

三、配置节点服务器web1

1. #关闭防火墙
systemctl stop firewalld
setenforce 0
 
2. #安装并开启httpd服务
yum -y install httpd
systemctl start httpd
 
3. #配置站点文件
vim /var/www/html/index.html
this is yxp web!
 
4. #配置虚拟vip
vim /etc/sysconfig/network-scripts/ifcfg-lo:0
DEVICE=lo:0
ONBOOT=yes
IPADDR=192.168.163.188
NETMASK=255.255.255.255
 
5. #重启网络服务，开启虚拟网卡
systemctl restart network
ifup lo:0
ifconfig lo:0
 
6. #设置路由
route add -host 192.168.59.188 dev lo:0
route -n
 
7. #调整 proc 响应参数
#添加系统只响应目的IP为本地IP的ARP请求
#系统不使用原地址来设置ARP请求的源地址，而是物理mac地址上的IP
vim /etc/sysctl.conf
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
 
8. #刷新proc参数
sysctl -p

1.关闭防火墙

2.安装并开启httpd服务

 

3.配置站点文件

 4.配置虚拟vip

5.重启网络服务，开启虚拟网卡

6.设置路由

7.调整 proc 响应参数

四、配置节点服务器web2

1. #关闭防火墙
systemctl stop firewalld
setenforce 0
 
2. #安装并开启httpd服务
yum -y install httpd
systemctl start httpd
 
3. #配置站点文件
vim /var/www/html/index.html
this is dhc web!
 
4. #配置虚拟vip
vim /etc/sysconfig/network-scripts/ifcfg-lo:0
DEVICE=lo:0
ONBOOT=yes
IPADDR=192.168.163.188
NETMASK=255.255.255.255
 
5. #重启网络服务，开启虚拟网卡
systemctl restart network
ifup lo:0
ifconfig lo:0
 
6. #设置路由
route add -host 192.168.163.188 dev lo:0
route -n
 
7. #调整 proc 响应参数
#添加系统只响应目的IP为本地IP的ARP请求
#系统不使用原地址来设置ARP请求的源地址，而是物理mac地址上的IP
vim /etc/sysctl.conf
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
 
8. #刷新proc参数
sysctl -p

1.关闭防火墙

2.安装并开启httpd服务

3.配置站点文件

4.配置虚拟vip

5.重启网络服务，开启虚拟网卡

6.设置路由

7.调整 proc 响应参数

8.刷新proc参数

五、测试

主调度器：

备用调度器：

主调度器：

备用调度器：

客户端：