一、高可用集群
1.1 集群的类型
LB：Load Balance 负载均衡
LVS/HAProxy/nginx（http/upstream, stream/upstream）
HA：High Availability 高可用集群 数据库、Redis
SPoF: Single Point of Failure，解决单点故障
HPC：High Performance Computing 高性能集群
1.2 实现高可用
提升系统高用性的解决方案：降低 MTTR- Mean Time To Repair( 平均故障时间 )
解决方案：建立冗余机制
active/passive 主/备
active/active 双主
active --> HEARTBEAT --> passive
active <--> HEARTBEAT <--> active
1.3 VRRP：Virtual Router Redundancy Protocol
虚拟路由冗余协议 , 解决静态网关单点风险
物理层:路由器、三层交换机
软件层:keepalived
1.3.1 VRRP相关术语
虚拟路由器：Virtual Router
虚拟路由器标识：VRID(0-255)，唯一标识虚拟路由器
VIP：Virtual IP
VMAC：Virutal MAC (00-00-5e-00-01-VRID)
物理路由器：
master：主设备
backup：备用设备
priority：优先级
1.3.2 VRRP 相关技术
通告：心跳，优先级等；周期性
工作方式：抢占式，非抢占式
安全认证：
无认证
简单字符认证：预共享密钥
MD5
工作模式：
主/备：单虚拟路由器
主/主：主/备（虚拟路由器1），备/主（虚拟路由器2）
二.Keepalived 部署
2.1 keepalived 简介
vrrp 协议的软件实现，原生设计目的为了高可用 ipvs服务
功能：
- 基于vrrp协议完成地址流动
- 为vip地址所在的节点生成ipvs规则(在配置文件中预先定义)
- 为ipvs集群的各RS做健康状态检测
- 基于脚本调用接口完成脚本中定义的功能，进而影响集群事务，以此支持nginx、haproxy等服务
2.2 Keepalived 架构
官方文档：
https://keepalived.org/doc/
http://keepalived.org/documentation.html
·用户空间核心组件：
vrrp stack：VIP消息通告 （心跳）
checkers：监测real server
system call：实现 vrrp 协议状态转换时调用脚本的功能
SMTP：邮件组件 （主机挂了之后除了迁移vip之外，还需要给管理员发送邮件）
IPVS wrapper：生成IPVS规则
Netlink Reflector：网络接口
WatchDog：监控进程
·控制组件：提供keepalived.conf 的解析器，完成Keepalived配置
·IO复用器：针对网络目的而优化的自己的线程抽象
·内存管理组件：为某些通用的内存管理功能（例如分配，重新分配，发布等）提供访问权限
其中控制组件，IO复用器，内存管理组件不需要控制（自动控制的）
2.3 Keepalived 环境准备
2.4 Keepalived 安装
[root@KA1 ~]# dnf install keepalived -y
[root@KA1 ~]# systemctl start keepalived
[root@KA1 ~]# ps axf | grep keepalived
2385 pts/0 S+ 0:00 \_ grep --color=auto keepalived
2326 ? Ss 0:00 /usr/sbin/keepalived -D
2327 ? S 0:00 \_ /usr/sbin/keepalived -D
配置文件：/etc/keepalived/keepalived.conf
配置文件组成
GLOBAL CONFIGURATION
Global definitions： 定义邮件配置，route_id，vrrp配置，多播地址等
VRRP CONFIGURATION
VRRP instance(s)： 定义每个vrrp虚拟路由器
LVS CONFIGURATION
Virtual server group(s)
Virtual server(s)： LVS集群的VS和RS
用户空间核心组件：
vrrp stack：VIP消息通告
checkers：监测real server
system call：实现 vrrp 协议状态转换时调用脚本的功能
SMTP：邮件组件
IPVS wrapper：生成IPVS规则
Netlink Reflector：网络接口
WatchDog：监控进程
控制组件：提供keepalived.conf 的解析器，完成Keepalived配置
IO复用器：针对网络目的而优化的自己的线程抽象
内存管理组件：为某些通用的内存管理功能（例如分配，重新分配，发布等）提供访问权限
三.keepalived实验
3.1 实现master/slave的 Keepalived 单主架构
3.1.1 配置MASTER
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
global_defs {
notification_email {
2961953033@qq.com
18883572121@163.com
}
notification_email_from keepalived@timingding.org
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id ka1.timingding.org
vrrp_skip_check_adv_addr
#vrrp_strict
vrrp_garp_interval 0
vrrp_gna_interval 0
#vrrp_mcast_group4 224.0.0.18
#vrrp_iptables
}
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 100
priority 100
advert_int 1
#preempt_delay 5s
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.100/24 dev eth0 label eth0:1
}
}
3.1.2 配置BACKUP
[root@ka2 ~]# vim /etc/keepalived/keepalived.conf
global_defs {
notification_email {
2961953033@qq.com
18883572121@163.com
}
notification_email_from keepalived@ka2.timingding.org
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id ka2.timingding.org
vrrp_skip_check_adv_addr
#vrrp_strict
vrrp_garp_interval 0
vrrp_gna_interval 0
vrrp_mcast_group 224.0.0.18
#vrrp_iptables
}
vrrp_instance VI_1 {
state BACKUP
interface eth0
virtual_router_id 100
priority 80
advert_int 1
#preempt_delay 5s
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.100/24 dev eth0 label eth0:1
}
}
3.1.3 抓包查看
tcpdump -i eth0 -nn host 224.0.0.18
3.2 抢占模式和非抢占模式
默认为抢占模式preempt，即当高优先级的主机恢复在线后，会抢占低先级的主机的 master 角色， 这样会使vip 在 KA 主机中来回漂移，造成网络抖动，
建议设置为非抢占模式 nopreempt ，即高优先级主机恢复后，并不会抢占低优先级主机的 master 角色
非抢占模块下,如果原主机 down 机 , VIP 迁移至的新主机 , 后续也发生 down 时 , 仍会将 VIP 迁移回原主机
master角色下线后，会转移到另一台主机后，master角色重新恢复之后，不会因为优先级抢占vip
3.2.1 非抢占模式
使用参数：nopreempt
ka1和ka2一样：
vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {
state BACKUP ---- 也得设置为BACKUP，两台都为备机
interface eth0
virtual_router_id 100
priority 100
advert_int 1
nopreempt ------- 加上这个参数
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.100/24 dev eth0 label eth0:1
}
}
3.2.2 抢占延迟模式
使用参数：preempt_delay
抢占延迟模式，即优先级高的主机恢复后，不会立即抢回VIP，而是延迟一段时间（默认300s）再抢回 VIP
ka1主机上：ka2也一样
vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {
state BACKUP
interface eth0
virtual_router_id 100
priority 100
advert_int 1
preempt_delay 5s ---- 抢占延时为5s，一般设定一分钟，五分钟，这里演示。
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.100/24 dev eth0 label eth0:1
}
3.3vip单播模式
ka1主机上：ka2也一样
vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {
state BACKUP
interface eth0
virtual_router_id 100
priority 80
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.100/24 dev eth0 label eth0:1
}
unicast_src_ip 172.25.254.10 ---- 指定谁到谁 ka2上相反
unicast_peer {
172.25.254.20
}
3.3.1 抓包命令查看
[root@ka1 ~]# tcpdump -i eth0 -nn src host 172.25.254.10 and dst 172.25.254.20
3.4 keepalived实现邮件通知
安装邮件发送工具：
dnf install mailx -y
QQ邮箱配置：
vim /etc/mail.rc
set from=2961953033@qq.com
set smtp=smtp.qq.com
set smtp-auth-user=2961953033@qq.com
set smtp-auth-password=gyzvbkvimprddecb ---- 去QQ邮箱上面登录弄授权码
set smtp-auth=login
set ssl-verify=ignore
测试发送邮件：
echo test message |mail -s test 2961953033@qq.com
写个脚本：
vim /etc/keepalived/mail.sh
#!/bin/bash
mail_dst="2961953033@qq.com"
send_message()
{
mail_sub="HOSTNAME to be $1 vip mopve"
mail_msg="`date +%F\ %T`: vrrp move $HOSTNAME chage $1"
echo $mail_msg | mail -s "$mail_sub" $mail_dst
}
case $1 in
master)
send_message master
;;
backup)
send_message backup
;;
fault)
send_message fault
;;
*)
;;
esac
chmod +x /etc/keepalived/mail.sh
在ka1和ka2虚拟路由上面添加节点：
vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {
state BACKUP
interface eth0
virtual_router_id 100
priority 80
advert_int 1
#preempt_delay 5s
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.100/24 dev eth0 label eth0:1
}
unicast_src_ip 172.25.254.20
unicast_peer {
172.25.254.10
}
notify_master "/etc/keepalived/notify.sh master" ----- 添加这三行
notify_backup "/etc/keepalived/notify.sh backup"
notify_fault "/etc/keepalived/notify.sh fault"
}
3.5 实现keepalived的双主架构 master/master
master/slave的单主架构，同一时间只有一个Keepalived 对外提供服务，此主机繁忙，而另一台主机却 很空闲，利用率低下，可以使用master/master 的双主架构，解决此问题。
master/master 的双主架构：
即将两个或以上VIP分别运行在不同的 keepalived 服务器，以实现服务器并行提供 web 访问的目的，提高 服务器资源利用率
ka1和ka2上都加上，都有一个主备
vim /etc/keepalived/keepalived.conf
vrrp_instance VI_2 {
state MASTWE
interface eth0
virtual_router_id 200
priority 80 ----- 优先级不能一样
advert_int 1
#preempt_delay 5s
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.200/24 dev eth0 label eth0:2
}
unicast_src_ip 172.25.254.10
unicast_peer {
172.25.254.20
}
}
3.6 实现IPVS的高可用性（DR模式）
3.6.1 应用层监测
应用层检测： HTTP_GET|SSL_GET
HTTP_GET|SSL_GET {
url {
path <URL_PATH> #-----------定义要监控的URL
status_code <INT> #---------判断上述检测机制为健康状态的响应码，一般为 200
}
connect_timeout <INTEGER> #---------客户端请求的超时时长, 相当于haproxy的timeout server
nb_get_retry <INT> #---------重试次数
delay_before_retry <INT> #---------重试之前的延迟时长
connect_ip <IP ADDRESS> #---------向当前RS哪个IP地址发起健康状态检测请求
connect_port <PORT> #--------向当前RS的哪个PORT发起健康状态检测请求
bindto <IP ADDRESS> #---------向当前RS发出健康状态检测请求时使用的源地址
bind_port <PORT> #----------向当前RS发出健康状态检测请求时使用的源端口
}
3.6.2 TCP监测
TCP_CHECK {
connect_ip <IP ADDRESS> #----------向当前RS的哪个IP地址发起健康状态检测请求
connect_port <PORT> #---------向当前RS的哪个PORT发起健康状态检测请求
bindto <IP ADDRESS> #--------发出健康状态检测请求时使用的源地址
bind_port <PORT> #---------发出健康状态检测请求时使用的源端口
connect_timeout <INTEGER> #------客户端请求的超时时长
#-------等于haproxy的timeout server
}
3.6.3 实现单主的 LVS-DR 模式
永久设定vip：
vim /etc/sysconfig/network-scripts/ifcfg-lo
加上：
IPADDR1=172.25.254.100
NETMASK1=255.255.255.255
NETWORK=127.0.0.0
这里我们给上临时的就行：
reslserver1和2上面给上vip（临时）
ip a a 172.25.254.100 dev lo
解决响应问题：
查看arp:
sysctl -a | grep arp
ka1上面
vim /etc/sysctl.d/arp.conf
net.ipv4.conf.all.arp_ignore=1
net.ipv4.conf.all.arp_announce=2
net.ipv4.conf.lo.arp_announce=2
net.ipv4.conf.lo.arp_ignore=1
用scp命令写到ka2上面：
scp /etc/sysctl.d/arp.conf root@172.25.254.110:/etc/sysctl.d/arp.conf
ka1和ka2上面安装ipvsadm 用来查看策略：
yum install ipvsadm -y
ka1和ka2一样：
vim /etc/keepalived/keepalived.conf
virtual_server 172.25.254.100 80 {
delay_loop 6
lb_algo wrr
lb_kind DR
#persistence_timeout 50
protocol TCP
real_server 172.25.254.110 80 {
weight 1
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 3
nb_get_retry 2
delay_before_retry 2
}
}
real_server 172.25.254.120 80 {
weight 1
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 3
nb_get_retry 2
delay_before_retry 2
}
}
}
ssytemctl restart keepalived.service
使用ipvsadm -Ln 查看策略是否写进去
3.7 vrrp Script 配置 脚本控制vip
3.7.1 利用脚本实现主从角色切换
示例：先用例子测试一下：
检测文件是否存在，存在为真(1)，ka1就降低优先级，vip飘到ka2上面，不存在为假(0)，vip就按兵不动
[root@ka1 ~]# vim /etc/keepalived/test.sh
#!/bin/bash
[ ! -f /mnt/ding ] ---- 取反
chmod +x /etc/keepalived/test.sh ---- 给上可执行权限
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
vrrp_script check_file {
script "/etc/keepalived/test.sh" ------shell命令或脚本的路径
interval 1 ------ 检测的间隔时间，默认为1s
weight -30 ------ 默认为零，这里测试设置-30，当运行脚本检测到之后，为非0，就会与VIP的优先级相加，优先 降低，实现VIP飘移，为0时就VIP就按兵不动。
fall 2 ------ 脚本连续几次都执行失败，则转换为失败，建议设置为2以上
rise 2 ------ 执行脚本连续几次都成功，把服务器标记为成功
timeout 2 ------ 设置的超时时间。
}
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 100
priority 100
advert_int 1
#preempt_delay 5s
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.100/24 dev eth0 label eth0:1
}
unicast_src_ip 172.25.254.10
unicast_peer {
172.25.254.20
}
track_script { ------ 调用这个script配置参数
check_file
}
}
[root@ka1 ~]# systemctl restart keepalived.service
sh /etc/keepalived/test.sh
echo $?
0
此时/mnt底下没有ding这个文件，运行脚本输出0，VIP就按兵不动
此时在/mnt底下创建ding这个文件，输出为非0，执行脚本，此时vip飘到ka2上面
touch /mnt/ding
sh /etc/keepalived/test.sh
echo $?1
ka1上面：
ka2上面：
删除这个文件之后，VIP就自动飘回来了
rm -rf /mnt/ding
systemctl restart keepalived.serviceifconfig
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
