高可用集群KEEPALIVED

1、keeplived和LVS关系

LVS 是 Linux Virtual Server 的缩写，也就是 Linux 虚拟服务器，在 linux2.4 内核以后，已经完全内置了 LVS 的各个功能模块。它是工作在四层的负载均衡，类似于 Haproxy, 主要用于实现对服务器集群的负载均衡。

他俩都需要虚拟IP，思考一下，这俩东西到底是啊啥关系？
根据上述描述，一开始keepalive是LVS用来探活上游应用使用。后来引入了VRRP 可以实现静态路由（LVS）的高可用。
由此我们可以得出如下结论：
LVS通过ipvsadm配置虚拟服务器，来实现反向代理和负载均衡功能。
Keepalived 用来帮LVS实现服务探活功能。同时实现LVS实例的冗余备份功能。
二者使用相同的虚拟IP，且keepalived已经内置了 ipvsadm 的管理功能可以根据keepalived 配置文件自动完成lvs配置。

所以Keepalived 一方面具有配置管理 LVS 的功能，同时还具有对 LVS 下面节点进行健康检查的功能，另一方面也可实现系统网络服务的高可用功能。

keeplived 实现高可用示意图

2、VRRP工作原理

在现实的网络环境中，主机之间的通信都是通过配置静态路由(默认网关)完成的，而主机之间的路由器一旦出现故障，通信就会失败，因此，在这种通信模式中，路由器就成为了一个单点故障，为了解决这个问题就引入了VRRP协议；

VRRP协议是一种主备模式的协议，通过VRRP可以在网络发生故障时透明的进行设备切换而不影响主机之间的数据通信，这其中涉及了两个概念：物理路由器和虚拟路由器

VRRP可以讲两台或多台物理路由器虚拟成一个虚拟路由器，这个虚拟路由器通过虚拟IP对外提供服务，而在虚拟路由器内部是多个物理路由器协同工作，同一时间只有一台物理路由器对外提供服务，这台物理路由器被称为主路由器(处于MASTER角色)

一般情况下MASTER由选举算法产生，他拥有对外服务的虚拟IP，通过各种网络功能。而其他无路路由器不用有虚拟IP，也不提供网络服务，仅仅接收MASTER的VRRP状态通告信息，这些路由器统称为备份路由器(处于BACKUP角色)。当主路由器失效时，处于BACKUP角色的备份路由器将重新进行选举，产生一个新的路由器进入MASTER角色继续提供对外服务，整个过程对用户来说是完全透明的。

每个虚拟路由器都有一个唯一的标识，称为VRID，一个VRID与一组IP地址构成了一个虚拟路由器。在VRRP协议中，所有的报文都是通过IP多播形式发送的，而在一个虚拟路由器中，只有MASTER角色的路由器会一直发送VRRP数据包，BACKUP角色的路由器只接收MASTER发送过来的报文信息，用来监控MASTER运行状态，因此不会发生BACKUP抢占的现象，除非他的优先级更高。而当MASTER不可用时，BACKUP也就无法收到MASTER发送过来的报文信息，于是就认为MASTER出现故障，接着多台BACKUP就会进行选举，优先级最高的BACKUP将会成为新的MASTER；

3、keepalived体系结构及工作原理

keepalived工作在TCP/IP参考模型的网络层、传输层和应用层，能实现对集群服务器运行状态的监控及故障隔离，其原理：在网络层，运行者4个重要的协议：IP协议，ICMP协议，ARP协议和RARP协议。keepalived在网络层采用的最常见的工作方式是通过ICMP协议向集群中的每个节点发送一个ICMP的数据包(类似于Ping)，如果某个节点没有返回响应的数据包，那么就认为此节点发生了故障，keepalived将报告此节点失效，并从集群中剔除；在传输层，提供了两个主要的协议：传输控制协议TCP和用户数据协议UDP。TCP可以提供可靠的数据传输服务，IP地址和端口，代表TCP的一个连接端。要获得TCP服务，需要在发送机的一个端口上和接收机的一个端口上建立连接。而keepalived在传输层就是利用TCP协议的端口连接和扫描技术来判断集群节点是否正常的；在应用层，可以运行FTP，SMTP，DNS等各种不同类型的高层协议，keeoalived的运行方式也更加全面化和复杂化，用户可以通过自定义keeoalived的工作方式。例如，用户可以通过编写程序来运行keepalived，而keepalived将根据用户的设定检测各种程序或服务是否允许正常，如果keepalived的检测结果与它的设定不一致时，keepalived将把对应的服务从服务器中移除；keepalived的体系结构
keepalived的体系结构整体上分为两层，即用户空间层和内核空间层

4、全局配置

! Configuration File for keepalived
global_defs {
notification_email {
594233887@qq.com #keepalived 发生故障切换时邮件发送的目标邮箱，可以按行区分写多个
timiniglee-zln@163.com
}
notification_email_from keepalived@KA1.timinglee.org #发邮件的地址
smtp_server 127.0.0.1 #邮件服务器地址
smtp_connect_timeout 30 #邮件服务器连接timeout
router_id KA1.timinglee.org #每个keepalived主机唯一标识
#建议使用当前主机名，但多节点重名不影响
vrrp_skip_check_adv_addr #对所有通告报文都检查，会比较消耗性能
#启用此配置后，如果收到的通告报文和上一个报文是同一 #个路由器，则跳过检查，默认值为全检查
vrrp_strict #严格遵循vrrp协议
#启用此项后以下状况将无法启动服务:
#1.无VIP地址
#2.配置了单播邻居
#3.在VRRP版本2中有IPv6地址
#建议不加此项配置
vrrp_garp_interval 0 #报文发送延迟，0表示不延迟
vrrp_gna_interval 0 #消息发送延迟
vrrp_mcast_group4 224.0.0.18 #指定组播IP地址范围：
}

配置虚拟路由器
vrrp_instance VI_1 {
state MASTER
interface eth0 #绑定为当前虚拟路由器使用的物理接口，如：eth0,可以和VIP不在一个网卡
virtual_router_id 51 #每个虚拟路由器惟一标识,范围：0-255，每个虚拟路由器此值必须唯一
#否则服务无法启动
#同属一个虚拟路由器的多个keepalived节点必须相同
#务必要确认在同一网络中此值必须唯一
priority 100 #当前物理节点在此虚拟路由器的优先级，范围：1-254
#值越大优先级越高,每个keepalived主机节点此值不同
advert_int 1 #vrrp通告的时间间隔，默认1s
authentication { #认证机制
auth_type AH|PASS #AH为IPSEC认证(不推荐),PASS为简单密码(建议使用)
uth_pass 1111 #预共享密钥，仅前8位有效
#同一个虚拟路由器的多个keepalived节点必须一样
}
virtual_ipaddress { #虚拟IP,生产环境可能指定上百个IP地址
<IPADDR>/<MASK> brd <IPADDR> dev <STRING> scope <SCOPE> label <LABEL>
172.25.254.100 #指定VIP，不指定网卡，默认为eth0,注意：不指定/prefix,默认32
172.25.254.101/24 dev eth1
172.25.254.102/24 dev eth2 label eth2:1
}
}

5、抢占模式和非抢占模式

（1）非抢占模式 nopreempt

默认为抢占模式 preempt ，即当高优先级的主机恢复在线后，会抢占低先级的主机的 master 角色，

这样会使 vip 在 KA 主机中来回漂移，造成网络抖动， 建议设置为非抢占模式 nopreempt ，即高优先级主机恢复后，并不会抢占低优先级主机的 master 角色 非抢占模块下, 如果原主机 down 机 , VIP 迁移至的新主机 , 后续也发生 down 时 , 仍会将 VIP 迁移回原主机

（2）抢占延迟模式 preempt_delay

抢占延迟模式，即优先级高的主机恢复后，不会立即抢回 VIP ，而是延迟一段时间（默认 300s ）再抢回 VIP

preempt_delay # # 指定抢占延迟时间为 #s ，默认延迟 300s

6、VIP单播配置

默认 keepalived 主机之间利用多播相互通告消息，会造成网络拥塞，可以替换成单播，减少网络流量

# 在所有节点 vrrp_instance 语句块中设置对方主机的 IP ，建议设置为专用于对应心跳线网络的地址，而非使用业务网络

unicast_src_ip <IPADDR> # 指定发送单播的源 IP

unicast_peer {

<IPADDR> # 指定接收单播的对方目标主机 IP

......

}

7、Keepalived 通知脚本配置

当 keepalived 的状态变化时，可以自动触发脚本的执行，比如：发邮件通知用户默认以用户keepalived_script 身份执行脚本 如果此用户不存在，以root 执行脚本可以用下面指令指定脚本执行用户的身份

global_defs {
......
script_user <USER>
......
}

当前节点成为主节点时触发的脚本
notify_master <STRING>|<QUOTED-STRING>
当前节点转为备节点时触发的脚本
notify_backup <STRING>|<QUOTED-STRING>
当前节点转为“失败”状态时触发的脚本
notify_fault <STRING>|<QUOTED-STRING>
通用格式的通知触发机制，一个脚本可完成以上三种状态的转换时的通知
notify <STRING>|<QUOTED-STRING>
当停止VRRP时触发的脚本
notify_stop <STRING>|<QUOTED-STRING>

脚本的调用方法
在 vrrp_instance VI_1 语句块的末尾加下面行
notify_master "/etc/keepalived/notify.sh master"
notify_backup "/etc/keepalived/notify.sh backup"
notify_fault "/etc/keepalived/notify.sh fault"

8、实验

A、keepalived虚拟路由管理

[root@ka1 ~]# yum install keepalived -y
[root@ka2 ~]# yum install keepalived -y

修改配置文件

[root@ka1 ~]# scp /etc/keepalived/keepalived.conf root@172.25.254.20:/etc/keepalived/keepalived.conf 

ka2中配置

KA1、KA2都要添加配置

[root@ka1 ~]# systemctl stop keepalived

KA1stop VIP过到KA2

B、开启通信功能及独立日志

[root@ka1 ~]# vim /etc/sysconfig/keepalived 

C、独立子配置文件

D、非抢占和延迟抢占

a、非抢占模式

KA1、KA2都要修改配置文件

KA1重启后KA1无VIP，KA2有VIP

[root@ka2 ~]# systemctl stop keepalived.service 

KA2停止后无VIP，重启后也无VIP，但是KA1有

b、延迟抢占

KA1、KA2均设置为5sKA1stop后VIP在KA2上，KA1开启服务5S后VIP返回KA1

E、组播变单播

KA1

KA2单播：有VIP到无VIP主机，KA1stopKA2有，KA1抢占以后KA2无

F、邮件通知

[root@ka2 ~]# yum install mailx -y
[root@ka1 ~]# yum install mailx -y

[root@ka1 ~]# vim /etc/mail.rc
[root@ka2 ~]# vim /etc/mail.rc

修改配置文件

[root@ka1 ~]# vim /etc/keepalived/mail.sh
[root@ka2 ~]# vim /etc/keepalived/mail.sh
[root@ka1 ~]# chmod +x /etc/keepalived/mail.sh
[root@ka2 ~]# chmod +x /etc/keepalived/mail.sh

KA1,KA2都配置重启keepalived服务就会收到邮件

G、keepalived双主模式

master/slave 的单主架构，同一时间只有一个 Keepalived 对外提供服务，此主机繁忙，而另一台主机却 很空闲，利用率低下，可以使用master/master 的双主架构，解决此问题。

master/master 的双主架构：

即将两个或以上 VIP 分别运行在不同的 keepalived 服务器，以实现服务器并行提供 web 访问的目的，提高 服务器资源利用率

KA1KA2

H、keepalived-ipvs设定

[root@realserver2 ~]# scp /etc/sysctl.d/arp.conf  root@172.25.254.110:/etc/sysctl.d/arp.conf

[root@ka1 ~]# yum install ipvsadm -y

KA1、KA2修改配置文件

[root@ka1 ~]# watch -n 1 ipvsadm -Ln

#KA2也有策略但是不生效，因为无VIP
#KA1停止keepalived服务，VIP转移到KA2上，但是客户不受影响
#KA1开启keepalived服务，VIP回到KA1上客户仍不受影响

I、keepalived-vrrp脚本控制vip

J、keepalived+haproxy的高可用集群

[root@ka1 ~]# yum install haproxy -y
[root@ka2~]# yum install haproxy -y

KA1KA2修改配置文件KA1KA2的haproxy配置文件都得修改