1、keeplived和LVS关系
LVS 是 Linux Virtual Server 的缩写,也就是 Linux 虚拟服务器,在 linux2.4 内核以后,已经完全内置了 LVS 的各个功能模块。它是工作在四层的负载均衡,类似于 Haproxy, 主要用于实现对服务器集群的负载均衡。
他俩都需要虚拟IP,思考一下,这俩东西到底是啊啥关系?
根据上述描述,一开始keepalive是LVS用来探活上游应用使用。后来引入了VRRP 可以实现静态路由(LVS)的高可用。
由此我们可以得出如下结论:
LVS通过ipvsadm配置虚拟服务器,来实现反向代理和负载均衡功能。
Keepalived 用来帮LVS实现服务探活功能。同时实现LVS实例的冗余备份功能。
二者使用相同的虚拟IP,且keepalived已经内置了 ipvsadm 的管理功能可以根据keepalived 配置文件自动完成lvs配置。
所以Keepalived 一方面具有配置管理 LVS 的功能,同时还具有对 LVS 下面节点进行健康检查的功能,另一方面也可实现系统网络服务的高可用功能。
keeplived 实现高可用示意图
2、VRRP工作原理
在现实的网络环境中,主机之间的通信都是通过配置静态路由(默认网关)完成的,而主机之间的路由器一旦出现故障,通信就会失败,因此,在这种通信模式中,路由器就成为了一个单点故障,为了解决这个问题就引入了VRRP协议;
VRRP协议是一种主备模式的协议,通过VRRP可以在网络发生故障时透明的进行设备切换而不影响主机之间的数据通信,这其中涉及了两个概念:物理路由器和虚拟路由器
VRRP可以讲两台或多台物理路由器虚拟成一个虚拟路由器,这个虚拟路由器通过虚拟IP对外提供服务,而在虚拟路由器内部是多个物理路由器协同工作,同一时间只有一台物理路由器对外提供服务,这台物理路由器被称为主路由器(处于MASTER角色)
一般情况下MASTER由选举算法产生,他拥有对外服务的虚拟IP,通过各种网络功能。而其他无路路由器不用有虚拟IP,也不提供网络服务,仅仅接收MASTER的VRRP状态通告信息,这些路由器统称为备份路由器(处于BACKUP角色)。当主路由器失效时,处于BACKUP角色的备份路由器将重新进行选举,产生一个新的路由器进入MASTER角色继续提供对外服务,整个过程对用户来说是完全透明的。
每个虚拟路由器都有一个唯一的标识,称为VRID,一个VRID与一组IP地址构成了一个虚拟路由器。在VRRP协议中,所有的报文都是通过IP多播形式发送的,而在一个虚拟路由器中,只有MASTER角色的路由器会一直发送VRRP数据包,BACKUP角色的路由器只接收MASTER发送过来的报文信息,用来监控MASTER运行状态,因此不会发生BACKUP抢占的现象,除非他的优先级更高。而当MASTER不可用时,BACKUP也就无法收到MASTER发送过来的报文信息,于是就认为MASTER出现故障,接着多台BACKUP就会进行选举,优先级最高的BACKUP将会成为新的MASTER;
3、keepalived体系结构及工作原理
keepalived工作在TCP/IP参考模型的网络层、传输层和应用层,能实现对集群服务器运行状态的监控及故障隔离,其原理:在网络层,运行者4个重要的协议:IP协议,ICMP协议,ARP协议和RARP协议。keepalived在网络层采用的最常见的工作方式是通过ICMP协议向集群中的每个节点发送一个ICMP的数据包(类似于Ping),如果某个节点没有返回响应的数据包,那么就认为此节点发生了故障,keepalived将报告此节点失效,并从集群中剔除;在传输层,提供了两个主要的协议:传输控制协议TCP和用户数据协议UDP。TCP可以提供可靠的数据传输服务,IP地址和端口,代表TCP的一个连接端。要获得TCP服务,需要在发送机的一个端口上和接收机的一个端口上建立连接。而keepalived在传输层就是利用TCP协议的端口连接和扫描技术来判断集群节点是否正常的;在应用层,可以运行FTP,SMTP,DNS等各种不同类型的高层协议,keeoalived的运行方式也更加全面化和复杂化,用户可以通过自定义keeoalived的工作方式。例如,用户可以通过编写程序来运行keepalived,而keepalived将根据用户的设定检测各种程序或服务是否允许正常,如果keepalived的检测结果与它的设定不一致时,keepalived将把对应的服务从服务器中移除;keepalived的体系结构
keepalived的体系结构整体上分为两层,即用户空间层和内核空间层
4、全局配置
! Configuration File for keepalived
global_defs {
notification_email {
594233887@qq.com #keepalived 发生故障切换时邮件发送的目标邮箱,可以按行区分写多个
timiniglee-zln@163.com
}
notification_email_from keepalived@KA1.timinglee.org #发邮件的地址
smtp_server 127.0.0.1 #邮件服务器地址
smtp_connect_timeout 30 #邮件服务器连接timeout
router_id KA1.timinglee.org #每个keepalived主机唯一标识
#建议使用当前主机名,但多节点重名不影响
vrrp_skip_check_adv_addr #对所有通告报文都检查,会比较消耗性能
#启用此配置后,如果收到的通告报文和上一个报文是同一 #个路由器,则跳过检查,默认值为全检查
vrrp_strict #严格遵循vrrp协议
#启用此项后以下状况将无法启动服务:
#1.无VIP地址
#2.配置了单播邻居
#3.在VRRP版本2中有IPv6地址
#建议不加此项配置
vrrp_garp_interval 0 #报文发送延迟,0表示不延迟
vrrp_gna_interval 0 #消息发送延迟
vrrp_mcast_group4 224.0.0.18 #指定组播IP地址范围:
}
配置虚拟路由器
vrrp_instance VI_1 {
state MASTER
interface eth0 #绑定为当前虚拟路由器使用的物理接口,如:eth0,可以和VIP不在一个网卡
virtual_router_id 51 #每个虚拟路由器惟一标识,范围:0-255,每个虚拟路由器此值必须唯一
#否则服务无法启动
#同属一个虚拟路由器的多个keepalived节点必须相同
#务必要确认在同一网络中此值必须唯一
priority 100 #当前物理节点在此虚拟路由器的优先级,范围:1-254
#值越大优先级越高,每个keepalived主机节点此值不同
advert_int 1 #vrrp通告的时间间隔,默认1s
authentication { #认证机制
auth_type AH|PASS #AH为IPSEC认证(不推荐),PASS为简单密码(建议使用)
uth_pass 1111 #预共享密钥,仅前8位有效
#同一个虚拟路由器的多个keepalived节点必须一样
}
virtual_ipaddress { #虚拟IP,生产环境可能指定上百个IP地址
<IPADDR>/<MASK> brd <IPADDR> dev <STRING> scope <SCOPE> label <LABEL>
172.25.254.100 #指定VIP,不指定网卡,默认为eth0,注意:不指定/prefix,默认32
172.25.254.101/24 dev eth1
172.25.254.102/24 dev eth2 label eth2:1
}
}
5、抢占模式和非抢占模式
(1)非抢占模式 nopreempt
(2)抢占延迟模式 preempt_delay
6、VIP单播配置
7、Keepalived 通知脚本配置
global_defs {
......
script_user <USER>
......
}
当前节点成为主节点时触发的脚本
notify_master <STRING>|<QUOTED-STRING>
当前节点转为备节点时触发的脚本
notify_backup <STRING>|<QUOTED-STRING>
当前节点转为“失败”状态时触发的脚本
notify_fault <STRING>|<QUOTED-STRING>
通用格式的通知触发机制,一个脚本可完成以上三种状态的转换时的通知
notify <STRING>|<QUOTED-STRING>
当停止VRRP时触发的脚本
notify_stop <STRING>|<QUOTED-STRING>
脚本的调用方法
在 vrrp_instance VI_1 语句块的末尾加下面行
notify_master "/etc/keepalived/notify.sh master"
notify_backup "/etc/keepalived/notify.sh backup"
notify_fault "/etc/keepalived/notify.sh fault"
8、实验
A、keepalived虚拟路由管理
[root@ka1 ~]# yum install keepalived -y
[root@ka2 ~]# yum install keepalived -y
修改配置文件
[root@ka1 ~]# scp /etc/keepalived/keepalived.conf root@172.25.254.20:/etc/keepalived/keepalived.conf
ka2中配置
KA1、KA2都要添加配置
[root@ka1 ~]# systemctl stop keepalived
KA1stop VIP过到KA2
B、开启通信功能及独立日志
[root@ka1 ~]# vim /etc/sysconfig/keepalived
C、独立子配置文件
D、非抢占和延迟抢占
a、非抢占模式
KA1、KA2都要修改配置文件
KA1重启后KA1无VIP,KA2有VIP
[root@ka2 ~]# systemctl stop keepalived.service
KA2停止后无VIP,重启后也无VIP,但是KA1有
b、延迟抢占
KA1、KA2均设置为5sKA1stop后VIP在KA2上,KA1开启服务5S后VIP返回KA1
E、组播变单播
KA1
KA2单播:有VIP到无VIP主机,KA1stopKA2有,KA1抢占以后KA2无
F、邮件通知
[root@ka2 ~]# yum install mailx -y
[root@ka1 ~]# yum install mailx -y
[root@ka1 ~]# vim /etc/mail.rc
[root@ka2 ~]# vim /etc/mail.rc
修改配置文件
[root@ka1 ~]# vim /etc/keepalived/mail.sh
[root@ka2 ~]# vim /etc/keepalived/mail.sh
[root@ka1 ~]# chmod +x /etc/keepalived/mail.sh
[root@ka2 ~]# chmod +x /etc/keepalived/mail.sh
KA1,KA2都配置重启keepalived服务就会收到邮件
G、keepalived双主模式
KA1KA2
H、keepalived-ipvs设定
[root@realserver2 ~]# scp /etc/sysctl.d/arp.conf root@172.25.254.110:/etc/sysctl.d/arp.conf
[root@ka1 ~]# yum install ipvsadm -y
KA1、KA2修改配置文件
[root@ka1 ~]# watch -n 1 ipvsadm -Ln
#KA2也有策略但是不生效,因为无VIP
#KA1停止keepalived服务,VIP转移到KA2上,但是客户不受影响
#KA1开启keepalived服务,VIP回到KA1上客户仍不受影响
I、keepalived-vrrp脚本控制vip![](https://i-blog.csdnimg.cn/direct/e356d5bd44ae4a358fbce4b387345011.png)
![](https://i-blog.csdnimg.cn/direct/611e93fe8b0244caa7ffdeff409a697b.png)
J、keepalived+haproxy的高可用集群
[root@ka1 ~]# yum install haproxy -y
[root@ka2~]# yum install haproxy -y
KA1KA2修改配置文件KA1KA2的haproxy配置文件都得修改