keepalived的简介
keepalived起初是为LVS设计的专门用来监控集群系统中各个服务节点的状态如果某个服务节点出现异常或者工作出现故障,keepalived将检测到,并将出现故障的服务节点从集群系统中剔除,而在故障节点恢复正常后,keepalived又可以自动将该服务节点重新加入集群中，这些工作全部自动完成。这部分功能类似于nginx 等反向代理的应用探活功能实现后端服务高可用。后来又加入VRRP的功能，VRRP(Virtual Router Redundancy Protocol)，虚拟路由协议出现的目的是为了解决静态路由出现的单点故障问题，通过VRRP可以实现网络不间断稳定运行，因此keepalived一方面具有服务器状态检测和故障隔离功能，另一方面也有HA cluster功能；这个功能实现各种中间件高可用。
VRRP工作原理
VRRP协议是一种主备模式的协议，通过VRRP可以在网络发生故障时透明的进行设备切换而不影响主机之间的数据通信，这其中涉及了两个概念：物理路由器和虚拟路由器
VRRP可以讲两台或多台物理路由器虚拟成一个虚拟路由器，这个虚拟路由器通过虚拟IP对外提供服务，而在虚拟路由器内部是多个物理路由器协同工作，同一时间只有一台物理路由器对外提供服务，这台物理路由器被称为主路由器(处于MASTER角色)
一般情况下MASTER由选举算法产生，他拥有对外服务的虚拟IP，通过各种网络功能。而其他无路路由器不用有虚拟IP，也不提供网络服务，仅仅接收MASTER的VRRP状态通告信息，这些路由器统称为备份路由器(处于BACKUP角色)。当主路由器失效时，处于BACKUP角色的备份路由器将重新进行选举，产生一个新的路由器进入MASTER角色继续提供对外服务，整个过程对用户来说是完全透明的。
每个虚拟路由器都有一个唯一的标识，称为VRID，一个VRID与一组IP地址构成了一个虚拟路由器。在VRRP协议中，所有的报文都是通过IP多播形式发送的，而在一个虚拟路由器中，只有MASTER角色的路由器会一直发送VRRP数据包，BACKUP角色的路由器只接收MASTER发送过来的报文信息，用来监控MASTER运行状态，因此不会发生BACKUP抢占的现象，除非他的优先级更高。而当MASTER不可用时，BACKUP也就无法收到MASTER发送过来的报文信息，于是就认为MASTER出现故障，接着多台BACKUP就会进行选举，优先级最高的BACKUP将会成为新的MASTER。
keepalived体系结构
用户空间核心组件：
vrrp stack：VIP消息通告
checkers：监测
real server system call：实现 vrrp 协议状态转换时调用脚本的功能
SMTP：邮件组件
IPVS wrapper：生成IPVS规则
Netlink Reflector：网络接口
WatchDog：监控进程
控制组件：提供keepalived.conf 的解析器，完成Keepalived配置
IO复用器：针对网络目的而优化的自己的线程抽象
内存管理组件：为某些通用的内存管理功能（例如分配，重新分配，发布等）提供访问权限
keepalived环境准备
| 主机名 | IP | 网络 |
| KEEPALIVER1 | 172.25.254.10 | ens33 |
| KEEPALIVER2 | 172.25.254.20 | ens33 |
| real_server1 | 172.25.254.110 | ens33 |
| real_server2 | 172.25.254.120 | ens33 |
keepalived全局配置
! Configuration File for keepalived
global_defs {
notification_email {
594233887@qq.com
#keepalived 发生故障切换时邮件发送的目标邮箱，可以按行区分写多个
timiniglee-zln@163.com
}
notification_email_from keepalived@KA1.timinglee.org # 发邮件的地址
smtp_server 127.0.0.1 # 邮件服务器地址
smtp_connect_timeout 30 # 邮件服务器连接 timeout
router_id KA1.timinglee.org #每个keepalived主机唯一标识
# 建议使用当前主机名，但多节点重名不影响
vrrp_skip_check_adv_addr # 对所有通告报文都检查，会比较消耗性能
#启用此配置后，如果收到的通告报文和上一个报文是同一 #个路由器，则跳过检查，默认
值为全检查
vrrp_strict # 严格遵循 vrrp 协议
# 启用此项后以下状况将无法启动服务 :
#1. 无 VIP 地址
#2. 配置了单播邻居
#3. 在 VRRP 版本 2 中有 IPv6 地址
# 建议不加此项配置
vrrp_garp_interval 0 # 报文发送延迟， 0 表示不延迟
vrrp_gna_interval 0 # 消息发送延迟
vrrp_mcast_group4 224.0.0.18 # 指定组播 IP 地址范围：
}
keepalived配置虚拟路由器
vrrp_instance VI_1 {
state MASTER
interface ens33 #绑定为当前虚拟路由器使用的物理接口，如：eth0,可以和VIP不在一个网卡
virtual_router_id 51 #每个虚拟路由器惟一标识,范围：0-255，每个虚拟路由器此值必须唯一
#否则服务无法启动
#同属一个虚拟路由器的多个keepalived节点必须相同
#务必要确认在同一网络中此值必须唯一
priority 100 #当前物理节点在此虚拟路由器的优先级，范围：1-254
#值越大优先级越高,每个keepalived主机节点此值不同
advert_int 1 #vrrp通告的时间间隔，默认1s
authentication { #认证机制
auth_type AH|PASS #AH为IPSEC认证(不推荐),PASS为简单密码(建议使用)
uth_pass 1111 #预共享密钥，仅前8位有效
#同一个虚拟路由器的多个keepalived节点必须一样
}
virtual_ipaddress { #虚拟IP,生产环境可能指定上百个IP地址
<IPADDR>/<MASK> brd <IPADDR> dev <STRING> scope <SCOPE> label <LABEL>
172.25.254.100 #指定VIP，不指定网卡，默认为ens33,注意：不指定/prefix,默认32
172.25.254.101/24 dev ens33
172.25.254.102/24 dev ens33 label eth2:1
}
}
keepalived脚本配置
通知脚本类型
当前节点成为主节点时触发的脚本
notify_master <STRING>|<QUOTED-STRING>
当前节点转为备节点时触发的脚本
notify_backup <STRING>|<QUOTED-STRING>
当前节点转为“失败”状态时触发的脚本
notify_fault <STRING>|<QUOTED-STRING>
通用格式的通知触发机制，一个脚本可完成以上三种状态的转换时的通知
notify <STRING>|<QUOTED-STRING>
当停止VRRP时触发的脚本
notify_stop <STRING>|<QUOTED-STRING>
应用层监测
应用层检测：HTTP_GET|SSL_GET
HTTP_GET|SSL_GET {
url {
path <URL_PATH> # 定义要监控的 URL
status_code <INT> # 判断上述检测机制为健康状态的响应码，一般为 200
}
connect_timeout <INTEGER> # 客户端请求的超时时长 , 相当于 haproxy 的 timeout server
nb_get_retry <INT> # 重试次数
delay_before_retry <INT> # 重试之前的延迟时长
connect_ip <IP ADDRESS> # 向当前 RS 哪个 IP 地址发起健康状态检测请求
connect_port <PORT> # 向当前 RS 的哪个 PORT 发起健康状态检测请求
bindto <IP ADDRESS> # 向当前 RS 发出健康状态检测请求时使用的源地址
bind_port <PORT> # 向当前 RS 发出健康状态检测请求时使用的源端口
}
TCP监测
传输层检测： TCP_CHECK
TCP_CHECK {
connect_ip <IP ADDRESS> # 向当前 RS 的哪个 IP 地址发起健康状态检测请求
connect_port <PORT> # 向当前 RS 的哪个 PORT 发起健康状态检测请求
bindto <IP ADDRESS> # 发出健康状态检测请求时使用的源地址
bind_port <PORT> # 发出健康状态检测请求时使用的源端口
connect_timeout <INTEGER> # 客户端请求的超时时长
# 等于 haproxy 的 timeout server
}
keepalived实验
在realserver中配置http服务
[root@realserver1~]# yum install httpd -y
[root@realserver1 ~]# echo 172.25.254.110 > /var/www/html/index.html
[root@realserver1 ~]# systemctl enable --now httpd
[root@realserver2 ~]# yum install httpd -y
[root@realserver2 ~]# echo 172.25.254.120 > /var/www/html/index.html
[root@realserver2 ~]# systemctl enable --now httpd
在两台keepalived主机中安装软件和全局配置
[root@ka1 ~]# yum install keepalived -y
# 全局配置
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
global_defs {
notification_email {
37978064@qq.com
}
notification_email_from keepalived@fb.org
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id keepalived.fb.org
vrrp_skip_check_adv_addr
#vrrp_strict
vrrp_garp_interval 0
vrrp_gna_interval 0
vrrp_mcast_guoup4 224.0.0.18vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 100
priority 100
#nopreempt
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress
172.25.254.100/24 dev eth0 label eth0:1
}
unicast_src_ip 172.25.254.10
unicast_peer {
172.25.254.20[root@ka1 ~]# systemctl restart keepalived
# ka2中配置
[root@ka1 ~]# yum install keepalived -y
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
global_defs {
notification_email {
kepalived@fb.org
}
notification_email_from keepalived@fb.org
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id keepalived.fb.org
vrrp_skip_check_adv_addr
#vrrp_strict
vrrp_garp_interval 0
vrrp_gna_interval 0
vrrp_mcast_group4 224.0.0.18
}
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 100
priority 100
#nopreempt
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress
172.25.254.100/24 dev eth0 label eth0:1
}
unicast_src_ip 172.25.254.20
unicast_peer {
172.25.254.10[root@ka2 ~]# systemctl restart keepalived.service
启用keepalived日志功能
[root@ka1 ~]# vim /etc/sysconfig/keepalived
KEEPALIVED_OPTIONS="-D -S 6"
[root@ka1 ~]#vim /etc/rsyslog.conf
local6.* /var/log/keepalived.log
[root@ka1 ~]#systemctl restart keepalived.service rsyslog.service
实现独立子配置文件
当生产环境复杂时， /etc/keepalived/keepalived.conf 文件中内容过多，不易管理，将不同集群的配置，比如：不同集群的VIP配置放在独立的子配置文件中利用include 指令可以实现包含 子配置文件
格式：include /path/file
示例：
[root@ka1 ~]# mkdir /etc/keepalived/conf.d
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
include /etc/keepalived/conf.d/*.conf #相关子配置文件
[root@ka1 ~]# vim /etc/keepalived/conf.d/172.25.254.100.conf
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 100
priority 100
#nopreempt
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress
172.25.254.100/24 dev eth0 label eth0:1
}[root@ka1 ~]# systemctl restart keepalived.service
非抢占模式 nopreempt
非抢占模式 nopreempt ，即高优先级主机恢复后，并不会抢占低优先级主机的master角色 非抢占模块下,如果原主机down机, VIP迁移至的新主机, 后续也发生down时,仍会将VIP迁移回原主机
特别注意：要关闭 VIP抢占，必须将各 keepalived 服务器state配置为BACKUP
示例：
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {
state BACKUP
interface eth0
virtual_router_id 100
priority 100 # 优先级
nopreempt # 非抢占模式
[root@ka1 ~]# systemctl restart keepalived.service[root@ka2 ~]# vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {
state BACKUP
interface eth0
virtual_router_id 100
priority 80 #优先级为80
nopreempt
[root@ka1 ~]# systemctl restart keepalived.service这样做可以保证我们用户在使用的时候不会感觉到服务器的变化，给用户更好的体验，建议使用非抢占模式
抢占延迟模式 preempt_delay
抢占延迟模式，即优先级高的主机恢复后，不会立即抢回VIP，而是延迟一段时间（默认300s）再抢回 VIP
preempt_delay #指定抢占延迟时间为 #s，默认延迟300s
示例：
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {
state BACKUP
interface eth0
virtual_router_id 100
priority 100
preempt_delay 5s[root@ka1 ~]# systemctl restart keepalived.service
[root@ka2 ~]# vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {
state BACKUP
interface eth0
virtual_router_id 100
priority 80
preempt_delay 5s
[root@ka1 ~]# systemctl restart keepalived.service
VIP单播配置
默认keepalived主机之间利用多播相互通告消息，会造成网络拥塞，可以替换成单播，减少网络流量
单播切记要注释掉vrrp_strict
示例：
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
unicast_src_ip 172.25.254.10
unicast_peer {
172.25.254.20
}
[root@ka1 ~]# systemctl restart keepalived.service测试：
[root@ka1 ~]# tcpdump -i eth0 -nn src host 172.25.254.10 and dst 172.25.254.20
listening on eth0, link-type EN10MB (Ethernet), capture size 262144 bytes
14:57:34.119048 IP 172.25.254.10 > 172.25.254.20: VRRPv2, Advertisement, vrid 100, prio 100, authtype simple, intvl 1s, length 20
14:57:35.120354 IP 172.25.254.10 > 172.25.254.20: VRRPv2, Advertisement, vrid 100, prio 100, authtype simple, intvl 1s, length 20
邮件通知
安装邮件发送工具
[root@ka1 ~]# yum install mailx -y
[root@ka2 ~]# yum install mailx -y
QQ邮箱认证
[root@ka1 ~]# vim /etc/mail.rc
[root@ka1 ~]# echo test message | mail -s test ***********@qq.com
实现 Keepalived 状态切换的通知脚本
[root@ka1 ~]# vim /etc/keepalived/mail.sh
[root@ka1 ~]# chmod +x /etc/keepalived/mail.sh
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
[root@ka1 ~]# systemctl restart keepalived
模拟故障
[root@ka1 ~]# killall keepalived
在邮箱就就可以查到邮件
实现单主的 LVS-DR 模式
[root@realserver1 ~]# ip a a 172.25.254.100/32 dev lo # 设置vip
[root@realserver1 ~]# vim /etc/sysctl.d/arp.conf
[root@realserver1 ~]# sysctl --system 刷新
两台realserver主机做同样操作
# 在ka1配置
[root@ka1 ~]# yum install ipvsadm -y
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
virtual_server 172.25.254.100 80 {
delay_loop 6
lb_algo wrr
lb_kind DR
protocol TCP
real_server 172.25.254.110 80 {weight 1
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 3
nb_get_retry 2
delay_before_retry 2
}
}
real_server 172.25.254.120 80 {
weight 1HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 3
nb_get_retry 2
delay_before_retry 2
}
}
}
[root@ka1 ~]# systemctl restart keepalived# ka2 操作与ka1基本类似，在此不演示
测试：
[C:\ ~]$ for i in {1..5}; do curl 172.25.254.100; done
172.25.254.110172.25.254.120
172.25.254.110
172.25.254.120
172.25.254.110
利用脚本实现主从角色切换
[root@ka1 ~]# vim /etc/keepalived/test.sh
#!/bin/bash [ ！ -f "/mnt/lee" ]
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
vrrp_script check_lee {
script "/mnt/check_lee.sh"
interval 1
weight -30
fall 2
rise 2
timeout 2 }
[root@ka1 ~]# systemctl restart keepalived
[root@ka1 ~]# systemctl stop keepalived
[root@ka1 ~]# sh /etc/keepalived/test.sh
测试：
ka1 keepalived服务停止，ka2 直接获取IP继续工作
keepalived实现HAProxy高可用
# 开启启用内核参数
[root@ka1 ~]# vim /etc/sysctl.conf
net.ipv4.ip_nonlocal_bind = 1
[root@ka1 ~]# sysctl -p
net.ipv4.ip_nonlocal_bind = 1
[root@ka2 ~]# vim /etc/sysctl.conf
[root@ka2 ~]# sysctl -p
net.ipv4.ip_nonlocal_bind = 1
# 下载并配置Haproxy
[root@ka1 ~]# yum install haproxy -y
[root@ka2 ~]# yum install haproxy -y
[root@ka1 ~]# vim /etc/haproxy/haproxy.cfg
[root@ka1 ~]# systemctl restart haproxy
[root@ka1 ~]# systemctl enable --now haproxy
# realserver配置
[root@realserver1 ~]# ip a d 172.25.254.100/32 dev lo
[root@realserver1 ~]# vim /etc/sysctl.d/arp.conf
realserver2 操作相同
在ka1中编写检测脚本
[root@rhel7-ka1 ~]# vim /etc/keepalived/scripts/haproxy.sh
#!/bin/bash
/usr/bin/killall -0 haproxy
[root@rhel7-ka1 ~]# chmod +X /etc/keepalived/scripts/haproxy.sh
在ka1中配置keepalived
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
[root@ka1 ~]# systemctl restart keepalived
测试：
[C:\ ~]$ for i in {1..10}; do curl 172.25.254.100; done
172.25.254.110172.25.254.120
172.25.254.110
172.25.254.120
172.25.254.110
172.25.254.120
172.25.254.110
172.25.254.120
172.25.254.110
172.25.254.120
相信大家学会keepalived的使用，这项技术肯定对我们有很大用处，希望对大家以后的工作有帮助，大家一起加油啊！！！！！！！
扫一扫
454
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
