1. keepalived简介
1.1 keepalived是什么?
Keepalived 软件起初是专为LVS负载均衡软件设计的,用来管理并监控LVS集群系统中各个服务节点的状态,后来又加入了可以实现高可用的VRRP功能。因此,Keepalived除了能够管理LVS软件外,还可以作为其他服务(例如:Nginx、Haproxy、MySQL等)的高可用解决方案软件。
Keepalived软件主要是通过VRRP协议实现高可用功能的。VRRP是Virtual Router RedundancyProtocol(虚拟路由器冗余协议)的缩写,VRRP出现的目的就是为了解决静态路由单点故障问题的,它能够保证当个别节点宕机时,整个网络可以不间断地运行。
所以,Keepalived 一方面具有配置管理LVS的功能,同时还具有对LVS下面节点进行健康检查的功能,另一方面也可实现系统网络服务的高可用功能。
keepalived官网
1.2 keepalived的重要功能
keepalived 有三个重要的功能,分别是:
- 管理LVS负载均衡软件
- 实现LVS集群节点的健康检查
- 作为系统网络服务的高可用性(failover)
1.3 keepalived高可用故障转移的原理
Keepalived 高可用服务之间的故障切换转移,是通过 VRRP (Virtual Router Redundancy Protocol ,虚拟路由器冗余协议)来实现的。
在 Keepalived 服务正常工作时,主 Master 节点会不断地向备节点发送(多播的方式)心跳消息,用以告诉备 Backup 节点自己还活看,当主 Master 节点发生故障时,就无法发送心跳消息,备节点也就因此无法继续检测到来自主 Master 节点的心跳了,于是调用自身的接管程序,接管主 Master 节点的 IP 资源及服务。而当主 Master 节点恢复时,备 Backup 节点又会释放主节点故障时自身接管的IP资源及服务,恢复到原来的备用角色。
那么,什么是VRRP呢?
VRRP ,全 称 Virtual Router Redundancy Protocol ,中文名为虚拟路由冗余协议 ,VRRP的出现就是为了解决静态踣甶的单点故障问题,VRRP是通过一种竞选机制来将路由的任务交给某台VRRP路由器的。
1.4 keepalived原理
1.4.1 keepalived高可用架构图
1.4.2 keepalived工作原理描述
Keepalived高可用对之间是通过VRRP通信的,因此,我们从 VRRP开始了解起:
- VRRP,全称 Virtual Router Redundancy Protocol,中文名为虚拟路由冗余协议,VRRP的出现是为了解决静态路由的单点故障。
- VRRP是通过一种竟选协议机制来将路由任务交给某台 VRRP路由器的。
- VRRP用 IP多播的方式(默认多播地址(224.0_0.18))实现高可用对之间通信。
- 工作时主节点发包,备节点接包,当备节点接收不到主节点发的数据包的时候,就启动接管程序接管主节点的开源。备节点可以有多个,通过优先级竞选,但一般 Keepalived系统运维工作中都是一对。
- VRRP使用了加密协议加密数据,但Keepalived官方目前还是推荐用明文的方式配置认证类型和密码。
介绍完 VRRP,接下来我再介绍一下 Keepalived服务的工作原理:
Keepalived高可用是通过 VRRP 进行通信的, VRRP是通过竞选机制来确定主备的,主的优先级高于备,因此,工作时主会优先获得所有的资源,备节点处于等待状态,当主挂了的时候,备节点就会接管主节点的资源,然后顶替主节点对外提供服务。
在 Keepalived 服务之间,只有作为主的服务器会一直发送 VRRP 广播包,告诉备它还活着,此时备不会枪占主,当主不可用时,即备监听不到主发送的广播包时,就会启动相关服务接管资源,保证业务的连续性.接管速度最快可以小于1秒。
Keepalived实现负载均衡服务器的高可用
环境说明
系统环境 | IP | 主机名称 | 需要下载包 |
---|---|---|---|
RedHat 8 DR主 | 192.168.152.132 | [root@132DR1 ~] | ipvsadm keepalived |
RedHat 8 DR备 | 192.168.152.133 | [root@132DR2 ~] | ipvsadm keepalived |
RedHat 8 RS1 | 192.168.152.134 | [root@134RS1 ~] | http |
RedHat 8 RS2 | 192.168.152.135 | [root@135RS2 ~] | http |
- RS1和RS2上配置http
//RS1上下载httpd,写个网站,设置开机自启
[root@134RS1 ~]# yum -y install wget httpd
[root@134RS1 ~]# cd /var/www/html/
[root@134RS1 html]# echo '134 RS1' > index.html
[root@134RS1 html]# systemctl enable --now httpd
Created symlink /etc/systemd/system/multi-user.target.wants/httpd.service → /usr/lib/systemd/system/httpd.service.
[root@134RS1 html]# ss -antl
State Recv-Q Send-Q Local Address:Port Peer Address:Port
LISTEN 0 128 0.0.0.0:22 0.0.0.0:*
LISTEN 0 128 *:80 *:*
LISTEN 0 128 [::]:22 [::]:*
//RS2上下载httpd,写个网站,设置开机自启
[root@135RS2 ~]# yum -y install wget httpd
[root@135RS2 ~]# cd /var/www/html/
[root@135RS2 html]# echo '135 RS2' > index.html
[root@135RS2 html]# systemctl enable --now httpd
Created symlink /etc/systemd/system/multi-user.target.wants/httpd.service → /usr/lib/systemd/system/httpd.service.
[root@135RS2 html]# ss -antl
State Recv-Q Send-Q Local Address:Port Peer Address:Port
LISTEN 0 128 0.0.0.0:22 0.0.0.0:*
LISTEN 0 128 *:80 *:*
LISTEN 0 128 [::]:22 [::]:*
-
web网页验证
-
LVS-DR模式配置负载均衡http
//DR1上配置DIP和VIP
[root@132DR1 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens160
TYPE=Ethernet
BOOTPROTO=static
NAME=ens160
DEVICE=ens160
ONBOOT=yes
IPADDR0=192.168.152.132 //DIP
PREFIX0=24
GATEWAY0=192.168.152.2
DNS1=114.114.114.114
//重启网卡
[root@132DR1 ~]# ifdown ens160;ifup ens160
//DR2上配置DIP和VIP
[root@133DR2 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
BOOTPROTO=static
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR0=192.168.152.133 //DIP
PREFIX0=24
GATEWAY0=192.168.152.2
DNS1=114.114.114.114
//重启网卡
[root@132DR1 ~]# ifdown ens33;ifup ens33
- RS1上操作
//修改内核参数,最后加上此两行
[root@134RS1 ~]# vim /etc/sysctl.conf
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
[root@134RS1 ~]# sysctl -p
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
//配置RS1上的RIP和VIP
[root@134RS1 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens160
TYPE=Ethernet
BOOTPROTO=static
NAME=ens160
DEVICE=ens160
ONBOOT=yes
IPADDR0=192.168.152.134 //RIP
PREFIX0=24
IPADDR1=192.168.152.111 //VIP
PREFIX1=24
GATEWAY0=192.168.152.2
DNS1=114.114.114.114
//重启网卡
[root@134RS1 ~]# ifdown ens160;ifup ens160
//配置路由信息
[root@134RS1 ~]# route add -host 192.168.152.111 dev lo
- RS2上操作
//修改内核参数,最后加上此两行
[root@135RS2 ~]# vim /etc/sysctl.conf
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
[root@135RS2 ~]# sysctl -p
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
配置RS2上的RIP和VIP
[root@135RS2 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens160
TYPE=Ethernet
BOOTPROTO=static
NAME=ens160
DEVICE=ens160
ONBOOT=yes
IPADDR0=192.168.152.135 //RIP
PREFIX0=24
IPADDR1=192.168.152.111 //VIP
PREFIX1=24
GATEWAY0=192.168.152.2
DNS1=114.114.114.114
//重启网卡
[root@135RS2 ~]# ifdown ens160;ifup ens160
//配置路由信息
[root@135RS2 ~]# route add -host 192.168.152.111 dev lo
- DR1上添加并保存规则
//在DR上添加并保存规则
[root@132DR1 ~]# ipvsadm -A -t 192.168.152.111:80 -s rr
[root@132DR1 ~]# ipvsadm -a -t 192.168.152.111:80 -r 192.168.152.134:80
[root@132DR1 ~]# ipvsadm -a -t 192.168.152.111:80 -r 192.168.152.135:80
[root@132DR1 ~]# ipvsadm -Sn > /etc/sysconfig/ipvsadm
[root@132DR1 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.152.111:80 rr
-> 192.168.152.134:80 Route 1 0 0
-> 192.168.152.135:80 Route 1 0 0
//访问验证
[root@132DR1 ~]# curl http://192.168.152.134
134 RS1
[root@132DR1 ~]# curl http://192.168.152.135
135 RS2
- DR2上添加并保存规则
//在DR上添加并保存规则
[root@133DR2 ~]# ipvsadm -A -t 192.168.152.111:80 -s rr
[root@133DR2 ~]# ipvsadm -a -t 192.168.152.111:80 -r 192.168.152.134:80
[root@133DR2 ~]# ipvsadm -a -t 192.168.152.111:80 -r 192.168.152.135:80
[root@133DR2 ~]# ipvsadm -Sn > /etc/sysconfig/ipvsadm
[root@133DR2 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.152.111:80 rr
-> 192.168.152.134:80 Route 1 0 0
-> 192.168.152.135:80 Route 1 0 0
//访问验证
[root@133DR2 ~]# curl http://192.168.152.134
134 RS1
[root@133DR2 ~]# curl http://192.168.152.135
135 RS2
keepalived安装
- 下载keepalived
//关闭防火墙与selinux 过程略...
//配置网络源 过程略...
//安装keepalived
//DR上下载keepalived
[root@132DR1 ~]# yum -y install keepalived
[root@133DR2 ~]# yum -y install keepalived
//查看安装生成的文件
[root@132DR1 ~]# rpm -ql keepalived
/etc/keepalived //配置目录
/etc/keepalived/keepalived.conf //此为主配置文件
/etc/sysconfig/keepalived
/usr/bin/genhash
/usr/lib/.build-id
/usr/lib/.build-id/3f
/usr/lib/.build-id/fe
/usr/lib/systemd/system/keepalived.service //此为服务控制文件
/usr/libexec/keepalived
/usr/sbin/keepalived
略...
- 配置主keepalived
[root@132DR1 ~]# cd /etc/keepalived/
[root@132DR1 keepalived]# ls
keepalived.conf
[root@132DR1 keepalived]# cp keepalived.conf{,-bak} //备份
[root@132DR1 keepalived]# ls
keepalived.conf keepalived.conf-bak
//修改配置文件
[root@132DR1 keepalived]# vim keepalived.conf
! Configuratio