目录
1.5 实现 master/master 的 Keepalived 双主架构
1.6.1.1 virtual server (虚拟服务器)的定义格式
环境继承我上一篇文章做完所有配置的环境(上一篇文章的链接:http://t.csdnimg.cn/sj07z)
1 抢占模式和非抢占模式
1.1 非抢占模式 nopreempt
默认为抢占模式 preempt ,即当高优先级的主机恢复在线后,会抢占低先级的主机的 master 角色, 这样会使vip 在 KA 主机中来回漂移,造成网络抖动,建议设置为非抢占模式nopreempt ,即高优先级主机恢复后,并不会抢占低优先级主机的 master 角色 ,非抢占模块下, 如果原主机 down 机 , VIP 迁移至的新主机 , 后续也发生 down 时 , 仍会将 VIP 迁移回原主机
注意:要关闭 VIP 抢占,必须将各 keepalived 服务器 state 配置为 BACKUP
ka1:
ka2:
修改完后重启一下服务:
systemctl restart keepalived.service
查看一下:
此时VIP在ka2上,我们停止服务再重启一下:
[root@ka2 ~]# systemctl stop keepalived.service
[root@ka2 ~]# systemctl restart keepalived.service
再次查看:
可以看出 ,在拥有VIP的服务器宕机后,VIP才会被其他服务器接管
1.2 抢占延迟模式 preempt_delay
抢占延迟模式,即优先级高的主机恢复后,不会立即抢回 VIP ,而是延迟一段时间(默认 300s )再抢回 VIP
preempt_delay # # 指定抢占延迟时间为 #s ,默认延迟 300s
注意:需要各 keepalived 服务器 state 为 BACKUP, 并且不要启用 vrrp_strict
ka1:
ka2:
修改完后重启一下服务:
systemctl restart keepalived.service
查看一下,此时VIP在ka1上
我们关闭ka1的服务
[root@ka1 ~]# systemctl stop keepalived.service
此时VIP在ka2上:
我们再次打开ka1的服务:
[root@ka1 ~]# systemctl restart keepalived.service
等五秒钟后查看,发现VIP回来了:
1.3 VIP单播配置
默认 keepalived 主机之间利用多播相互通告消息,会造成网络拥塞,可以替换成单播,减少网络流量
注意:启用 vrrp_strict 时,不能启用单播
ka1:
ka2:
别忘了两边重启服务
systemctl restart keepalived.service
测试:抓包查看单播效果
[root@ka1 ~]# tcpdump -i eth0 -nn src host 172.25.254.10 and dst 172.25.254.20
有vip的keepalived主机才看得到抓包效果 ,不然会如下图所示:
1.4 Keepalived 通知脚本配置
当 keepalived 的状态变化时,可以自动触发脚本的执行,比如:发邮件通知用户
默认以用户 keepalived_script 身份执行脚本
如果此用户不存在,以 root 执行脚本可以用下面指令指定脚本执行用户的身份
通知脚本类型
- 当前节点成为主节点时触发的脚本:notify_master <STRING>|<QUOTED-STRING>
- 当前节点转为备节点时触发的脚本:notify_backup <STRING>|<QUOTED-STRING>
- 当前节点转为“失败”状态时触发的脚本 :notify_fault <STRING>|<QUOTED-STRING>
- 通用格式的通知触发机制,一个脚本可完成以上三种状态的转换时的通知:notify <STRING>|<QUOTED-STRING>
- 当停止VRRP时触发的脚本 :notify_stop <STRING>|<QUOTED-STRING>
# ka1配置
# qq邮箱配置
[root@ka1 ~]# vim /etc/mail.rc
其他的不要动,在最后添加:
set from=1904650938@qq.com
set smtp=smtp.qq.com
set smtp-auth-user=1904650938@qq.com
set smtp-auth-password=hrlaubtyckxfcggh
set smtp-auth=login
set ssl-verify=ignore
# 写脚本
[root@ka1 ~]# vim /etc/keepalived/mail.sh
#!/bin/bash
mail_dest='1904650938@qq.com'
mail_send()
{
mail_subj="$HOSTNAME to be $1 vip 转移"
mail_mess="`date +%F\ %T`: vrrp 转移,$HOSTNAME 变为 $1"
echo "$mail_mess" | mail -s "$mail_subj" $mail_dest
}
case $1 in
master)
mail_send master
;;
backup)
mail_send backup
;;
fault)
mail_send fault
;;
*)
;;
esac
[root@ka1 ~]# chmod +x /etc/keepalived/mail.sh
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {
state BACKUP
interface eth0
virtual_router_id 100
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.100/24 dev eth0 label eth0:1
}
unicast_src_ip 172.25.254.10
unicast_peer {
172.25.254.20
}
notify_master "/etc/keepalived/mail.sh master"
notify_backup "/etc/keepalived/mail.sh backup"
notify_fault "/etc/keepalived/mail.sh fault"
}
[root@ka1 ~]# systemctl restart keepalived.service
# ka2做同样的操作
测试:两边重启服务
systemctl restart keepalived.service
1.5 实现 master/master 的 Keepalived 双主架构
master/slave 的单主架构,同一时间只有一个 Keepalived 对外提供服务,此主机繁忙,而另一台主机却很空闲,利用率低下,可以使用master/master 的双主架构,解决此问题。
master/master 的双主架构:
即将两个或以上 VIP 分别运行在不同的 keepalived 服务器,以实现服务器并行提供 web 访问的目的,提高服务器资源利用率
# ka1配置
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {
state MASKTER
interface eth0
virtual_router_id 100
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.100/24 dev eth0 label eth0:1
}
unicast_src_ip 172.25.254.10
unicast_peer {
172.25.254.20
}
}
vrrp_instance VI_2 {
state BACKUP
interface eth0
virtual_router_id 200
priority 80
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.200/24 dev eth0 label eth0:2
}
unicast_src_ip 172.25.254.10
unicast_peer {
172.25.254.20
}
}
# ka2配置
[root@ka2 ~]# vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {
state BACKUP
interface eth0
virtual_router_id 100
priority 80
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.100/24 dev eth0 label eth0:1
}
unicast_src_ip 172.25.254.20
unicast_peer {
172.25.254.10
}
}
vrrp_instance VI_2 {
state MASTER
interface eth0
virtual_router_id 200
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.200/24 dev eth0 label eth0:2
}
unicast_src_ip 172.25.254.20
unicast_peer {
172.25.254.10
}
}
查看VIP:
1.6 实现IPVS的高可用性
1.6.1 IPVS相关配置
1.6.1.1 virtual server (虚拟服务器)的定义格式
virtual_server IP port # 定义虚拟主机 IP 地址及其端口
virtual_server fwmark int #ipvs 的防火墙打标,实现基于防火墙的负载均衡集群
virtual_server group string # 使用虚拟服务器组
1.6.1.2 虚拟服务器配置
virtual_server IP port { #VIP和PORT
delay_loop <INT> #检查后端服务器的时间间隔
lb_algo rr|wrr|lc|wlc|lblc|sh|dh #定义调度方法
lb_kind NAT|DR|TUN #集群的类型,注意要大写
persistence_timeout <INT> #持久连接时长
protocol TCP|UDP|SCTP #指定服务协议, 一般为 TCP
sorry_server <IPADDR> <PORT> #所有 RS 故障时,备用服务器地址
real_server <IPADDR> <PORT> { #RS的 IP 和 PORT
weight <INT> #RS权重
notify_up <STRING>|<QUOTED-STRING> #RS 上线通知脚本
notify_down <STRING>|<QUOTED-STRING> #RS 下线通知脚本
HTTP_GET|SSL_GET|TCP_CHECK|SMTP_CHECK|MISC_CHECK { ... } # 定义当前主机健康状态检测方法
}
}
# 注意 : 括号必须分行写 , 两个括号写在同一行 , 如 : }} 会出错
1.6.1.3 应用层监测
应用层检测:HTTP_GET|SSL_GET
HTTP_GET|SSL_GET {
url {
path <URL_PATH> #定义要监控的URL
status_code <INT> #判断上述检测机制为健康状态的响应码,一般为 200
}
connect_timeout <INTEGER> # 客户端请求的超时时长 , 相当于 haproxy 的 timeout server
nb_get_retry <INT> #重试次数
delay_before_retry <INT> #重试之前的延迟时长
connect_ip <IP ADDRESS> #向当前 RS 哪个 IP 地址发起健康状态检测请求
connect_port <PORT> #向当前RS 的哪个 PORT 发起健康状态检测请求
bindto <IP ADDRESS> #向当前RS 发出健康状态检测请求时使用的源地址
bind_port <PORT> #向当前RS发出健康状态检测请求时使用的源端口
}
1.6.1.4 TCP监测
传输层检测:TCP_CHECK
TCP_CHECK {
connect_ip <IP ADDRESS> #向当前 RS 的哪个 IP 地址发起健康状态检测请求
connect_port <PORT> #向当前RS 的哪个 PORT 发起健康状态检测请求
bindto <IP ADDRESS> #发出健康状态检测请求时使用的源地址
bind_port <PORT> #发出健康状态检测请求时使用的源端口
connect_timeout <INTEGER> #客户端请求的超时时长
#等于haproxy的timeout server
}
1.6.2 案例
实现单主的 LVS-DR 模式
# 准备两台后端webserver主机
# webserver1
[root@webserver1 ~]# yum install httpd -y
[root@webserver1 ~]# echo 172.25.254.110 > /var/www/html/index.html
[root@webserver1 ~]# systemctl enable --now httpd
[root@webserver1 ~]# ip addr add 172.25.254.40/32 dev lo
[root@webserver1 ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@webserver1 ~]# echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
[root@webserver1 ~]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
[root@webserver1 ~]# echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
# webserver2
[root@webserver2 ~]# yum install httpd -y
[root@webserver2 ~]# echo 172.25.254.120 > /var/www/html/index.html
[root@webserver2 ~]# systemctl enable --now httpd
[root@webserver2 ~]# ip addr add 172.25.254.40/32 dev lo
[root@webserver2 ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@webserver2 ~]# echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
[root@webserver2 ~]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
[root@webserver2 ~]# echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
# client测试
[root@client ~]# curl 172.25.254.110
172.25.254.110
[root@client ~]# curl 172.25.254.120
172.25.254.120
keepalived配置
# ka1
[root@ka1 ~]# yum install ipvsadm -y
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
........
#include "/etc/keepalived/conf.d/*.conf"
virtual_server 172.25.254.40 80 {
delay_loop 6
lb_algo wrr
lb_kind DR
protocol TCP
real_server 172.25.254.110 80 {
weight 1
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 3
nb_get_retry 2
delay_before_retry 2
}
}
real_server 172.25.254.120 80 {
weight 1
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 3
nb_get_retry 2
delay_before_retry 2
}
}
}
[root@ka1 ~]# systemctl restart keepalived.service
# 查看lvs策略
[root@ka1 ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 172.25.254.40:80 wrr
-> 172.25.254.110:80 Route 1 0 0
-> 172.25.254.120:80 Route 1 0 0
TCP 10.10.10.2:1358 rr persistent 50
-> 192.168.200.2:1358 Masq 1 0 0
-> 192.168.200.3:1358 Masq 1 0 0
TCP 10.10.10.3:1358 rr persistent 50
-> 192.168.200.4:1358 Masq 1 0 0
-> 192.168.200.5:1358 Masq 1 0 0
# ka2
[root@ka2 ~]# yum install ipvsadm -y
[root@ka2 ~]# vim /etc/keepalived/keepalived.conf
# 与ka1大差不差
........
virtual_server 172.25.254.40 80 {
delay_loop 6
lb_algo wrr
lb_kind DR
protocol TCP
real_server 172.25.254.110 80 {
weight 1
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 3
nb_get_retry 2
delay_before_retry 2
}
}
real_server 172.25.254.120 80 {
weight 1
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 3
nb_get_retry 2
delay_before_retry 2
}
}
}
[root@ka2 ~]# systemctl restart keepalived.service
测试:
[root@client ~]# for i in {1..6};do curl 172.25.254.40;done
webserver2 - 172.25.254.120
webserver1 - 172.25.254.110
webserver2 - 172.25.254.120
webserver1 - 172.25.254.110
webserver2 - 172.25.254.120
webserver1 - 172.25.254.110
# 模拟第一台webserver1故障,自动切换至webserver2
[root@webserver1 ~]# systemctl stop httpd
[root@ka1 ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 172.25.254.40:80 wrr
-> 172.25.254.120:80 Route 1 0 3
TCP 10.10.10.2:1358 rr persistent 50
-> 192.168.200.200:1358 Masq 1 0 0
TCP 10.10.10.3:1358 rr persistent 50
[root@client ~]# for i in {1..6};do curl 172.25.254.100;done
webserver2 - 172.25.254.120
webserver2 - 172.25.254.120
webserver2 - 172.25.254.120
webserver2 - 172.25.254.120
webserver2 - 172.25.254.120
webserver2 - 172.25.254.120
# 模拟ka1故障,自动切换至ka2
[root@ka1 ~]# systemctl stop keepalived.service
[root@ka2 ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 172.25.254.40:80 wrr
-> 172.25.254.120:80 Route 1 0 0
TCP 10.10.10.2:1358 rr persistent 50
-> 192.168.200.200:1358 Masq 1 0 0
TCP 10.10.10.3:1358 rr persistent 50