Keepalived 概述
在这个高度信息化的 IT 时代,企业的生产系统、业务运营、销售和支持,以及日常管理等环节越来越依赖于计算机信息和服务,对高可用(HA)技术的应用需求不断提高,以便提供持续的、不间断的计算机系统或网络服务。
本章将学习如何使用 Keepalived 实现双机热备,包括针对 IP 地址的故障切换,以及在LVS 高可用群集中的热备应用。
Keepalived 双机热备基础知识
Keepalived 起初是专门针对 LVS 设计的一款强大的辅助工具,主要用来提供故障切换(Failover)和健康检查(Health Checking)功能——判断 LVS 负载调度器、节点服务器的可用性,当 master 主机出现故障及时切换到 backup 节点保证业务正常,当 master 故障主机恢复后将其重新加入群集并且业务重新切换回 master 节点。
实验环境
主机 | 操作系统 | 主机名/IP 地址 |
---|---|---|
主 调度 服务器 | CentOS7.3(64 位) | 192.168.10.101 |
nginx服务器 | CentOS7.3(64 位) | 192.168.10.102 |
nginx服务器 | CentOS7.3(64 位) | 192.168.10.103 |
从 调度 服务器 | CentOS7.3(64 位) | 192.168.10.104 |
Keepalived 概述及安装
Keepalived 的官方网站位于 http://www.keepalived.org/,本章将以 YUM 方式讲解Keepalived 的安装、配置和使用过程。在非 LVS 群集环境中使用时,Keepalived 也可以作为热备软件使用。
1.Keepalived 的热备方式
Keepalived 采用 VRRP(Virtual Router Redundancy Protocol,虚拟路由冗余协议)热备份协议,以软件的方式实现 Linux 服务器的多机热备功能。VRRP 是针对路由器的一种备份解决方案——由多台路由器组成一个热备组,通过共用的虚拟 IP 地址对外提供服务;每个热备组内同一时刻只有一台主路由器提供服务,其他路由器处于冗余状态。若当前在线的路由器失效,则其他路由器会自动接替(优先级决定接替顺序)虚拟 IP 地址,以继续提供服务,如图 3.1 所示。
热备组内的每台路由器都可能成为主路由器,虚拟路由器的 IP 地址(VIP)可以在热备组内的路由器之间进行转移,所以也称为漂移 IP 地址。使用 Keepalived 时,漂移地址的实现不需要手动建立虚接口配置文件(如 ens33∶0),而是由 Keepalived 根据配置文件自动管理。
2.Keepalived 的安装与服务控制 主 从
(1)安装 Keepalived
在 CentOS 7 系统中,使用 YUM 方式安装 keepalived.x86_64 0:1.2.13-8.el7,会自动安装 Keepalived 所需的软件包。除此之外,在 LVS 群集环境中应用时,也需要用到 ipvsadm管理工具。
[root@localhost ~]# yum install -y keepalived ipvsadm
---------------------------------------------------------------------------------------------------------------------------------------------------------
(2)控制 Keepalived 服务
YUM 安装 keepalived 后,执行以下命令将 keepalived 服务设置为开机启动。
[root@localhost ~]# systemctl enable keepalived
Created symlink from /etc/systemd/system/multi-user.target.wants/keepalived.service
to /usr/lib/systemd/system/keepalived.service
---------------------------------------------------------------------------------------------------------------------------------------------------------
(3)加载ipvsadm 与 安装 ipvsadm
[root@localhost ~]# modprobe ip_vs //加载 ip_vs 模块
[root@localhost ~]# cat /proc/net/ip_vs //查看 ip_vs 版本信息
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
[root@localhost ~]# yum -y install ipvsadm
[root@localhost ~]# ipvsadm -v
ipvsadm v1.27 2008/5/15 (compiled with popt and IPVS v1.2.1)
3.使用 Keepalived 实现双机热备
基于 VRRP 的热备方式,Keepalived 可以用作服务器的故障切换,每个热备组可以有多台服务器——当然,最常用的就是双机热备了。在这种双机热备方案中,故障切换主要针对虚拟 IP 地址的漂移来实现,因此能够适用于各种应用服务器(不管是 Web、FTP、Mail,还是 SSH、DNS……)。
本小节将通过一个简单的案例来说明 Keepalived 双机热备的配置方法。其中,主、备服务器的 IP 地址分别为 192.168.10.101 和 192.168.10.104,基于漂移地址 192.168.10.200提供 Web 服务,如图 3.2 所示。
主、备服务器中都需要安装 Keepalived,使用 YUM 方式安装 httpd 提供 Web 服务。下面仅讲解与 Keepalived 相关的配置及测试过程。
(1).主服务器的配置
Keepalived 服务的配置目录位于/etc/keepalived/。其中,keepalived.conf 是主配置文件。另外包括一个子目录 samples/,提供了许多配置样例作为参考。
在 Keepalived 的配置文件中,使用“global_defs {…}”区段指定全局参数,使用“vrrp_instance 实例名称 {…}”区段指定 VRRP 热备参数,注释文字以“!”符号开头。
[root@localhost ~]# systemctl stop firewalld //关闭防火墙
[root@localhost ~]# cd /etc/keepalived/
[root@localhost keepalived]# cp keepalived.conf keepalived.conf.bak
---------------------------------------------------------------------------------------------------------------------------------------------------------
[root@localhost keepalived]# vim keepalived.conf
global_defs {
router_id R1 //本路由器(服务器)的名称
}
vrrp_instance VI_1 { //定义 VRRP 热备实例
state MASTER //热备状态,MASTER 表示主服务器
interface ens33 //承载 VIP 地址的物理接口
virtual_router_id 1 //虚拟路由器的 ID 号,每个热备组保持一致
priority 100 //优先级,数值越大优先级越高
advert_int 1 //通告间隔秒数(心跳频率)
authentication { //认证信息,每个热备组保持一致
auth_type PASS //认证类型
auth_pass 123456 //密码字串
}
virtual_ipaddress { //指定漂移地址(VIP),可以有多个
192.168.10.200
}
确认上述配置无误,然后启动 Keepalived 服务。实际状态为 MASTER 的主服务器将为ens33 接口自动添加 VIP 地址,通过 ip 命令可以查看。注意:ifconfig 命令看不到
[root@localhost keepalived]# ip addr show dev ens33 或 ip a
link/ether 00:0c:29:93:80:fb brd ff:ff:ff:ff:ff:ff
inet 192.168.10.101/24 brd 192.168.10.255 scope global ens33
inet 192.168.10.200/32 scope global ens33 //自动设置的 VIP 地址
valid_lft forever preferred_lft forever
(2).备用服务器的配置
在同一个 Keepalived 热备组内,所有服务器的 Keepalived 配置文件基本相同,包括虚拟路由器的 ID 号、认证信息、漂移地址、心跳频率等。不同之处主要在于路由器名称、热备状态、优先级。
- 路由器名称(router_id):建议为每个参与热备的服务器指定不同的名称。
- 热备状态(state):至少应有一台主服务器,将状态设为 MASTER;可以有多台备用的服务器,将状态设为 BACKUP。
- 优先级(priority):数值越大则取得 VIP 控制权的优先级越高,因此主服务器的优先级应设为最高;其他备用服务器的优先级可依次递减,但不要相同,以免在争夺 VIP 控制权时发生冲突。
[root@localhost ~]# cd /etc/keepalived/
[root@localhost keepalived]# cp keepalived.conf keepalived.conf.bak
[root@localhost keepalived]# vi keepalived.conf
global_defs {
router_id R2 //本路由器(服务器)的名称
}
vrrp_instance VI_1 { //定义 VRRP 热备实例
state MASTER //热备状态,MASTER 表示主服务器
interface ens33 //承载 VIP 地址的物理接口
virtual_router_id 1 //虚拟路由器的 ID 号,每个热备组保持一致
priority 99 //优先级,数值越大优先级越高
advert_int 1 //通告间隔秒数(心跳频率)
authentication { //认证信息,每个热备组保持一致
auth_type PASS //认证类型
auth_pass 123456 //密码字串
}
virtual_ipaddress { //指定漂移地址(VIP),可以有多个
192.168.10.200
}
确认配置无误,一样需要启动 Keepalived 服务。此时主服务器仍然在线,VIP 地址实际上仍然由主服务器控制,其他服务器处于备用状态。因此,在备用服务器中将不会为 ens33接口添加 VIP 地址。
[root@localhost keepalived]# systemctl start keepalived
[root@localhost keepalived]# ip addr show dev ens33 或 ip a
(3).测试双机热备功能
Keepalived 的日志消息保存在/var/log/messages 文件中,在测试主、备故障自动切换功能时,可以跟踪此日志文件来观察热备状态的变化。以针对连通性和 Web 服务的测试为例,
主要操作如下:
(1)连通性测试
在客户机中执行“ping -t 192.168.10.101”命令,能够正常、持续 ping 通,根据以下操作继续观察测试结果。
① 停止启用主服务器的 Keepalived 服务,发现 ping 测试只中断了 1 或 2 个包即恢复正常,说明已有其他服务器接替 VIP 地址,并及时响应客户机请求。
② 重新启用主服务器的 Keepalived 服务,发现 ping 测试再次中断 1 或 2 个包即恢复正常,说明主服务器已恢复正常,并夺回 VIP 地址的控制权。
(2)查看vip是否漂移
关闭主服务器上的Keepalived
systenctl stop Keepalived
ip a ##发现vip不见了
在备用服务器上查看地址是否漂移过来
ip a ##漂移过来就成功了
通过上述测试过程,可以发现双机热备已经正常。客户机只要通过 VIP 地址就可以访问服务器所提供的 Web 等应用。其中,任何一台服务器失效,另一台服务器将会立即接替服务,从而实现高可用性。实际应用时,注意主、备服务器所提供的 Web 服务内容要保持一致。
LVS+Keepalived 高可用群集
- Keepalived 的设计目标是构建高可用的 LVS 负载均衡群集,可以调用 ipvsadm 工具来创建虚拟服务器、管理服务器池,而不仅仅用作双机热备。使用 Keepalived 构建 LVS 群集更加简便易用,主要优势体现在:对 LVS 负载调度器实现热备切换,提高可用性;对服务器池中的节点进行健康检查,自动移除失效节点,恢复后再重新加入。
- 在基于 LVS+Keepalived 实现的 LVS 群集结构中,至少包括两台热备的负载调度器,三台以上的节点服务器。本节将以 DR 模式的 LVS 群集为基础,增加一台从负载调度器,使用Keepalived 来实现主、从调度器的热备,从而构建兼有负载均衡、高可用两种能力的 LVS网站群集平台,如图 3.3 所示。
使用 Keepalived 构建 LVS 群集时,也需要用到 ipvsadm 管理工具。但大部分工作会由Keepalived 自动完成,不需要手动执行 ipvsadm(除了查看和监控群集以外)。下面主要讲解 Keepalived 的服务器池设置,关于 NFS 共享服务的配置、Keepalived 的热备配置等在此不再详细阐述。
1.配置主调度器
配置主调度器步骤如下:
(1)全局配置、热备配置
首先为主、从调度器实现热备功能,漂移地址使用 LVS 群集的 VIP 地址(在上面实验的基础上)
[root@localhost ~]# cd /etc/keepalived/
[root@localhost keepalived]# vi keepalived.conf
virtual_server 192.168.10.200 80 { ##虚拟服务器,其IP地址为192.168.10.200,监听端口为80
delay_loop 6 ##负载均衡器在处理完一个请求后,等待6秒再处理下一个请求
lb_algo rr ##这指定了负载均衡算法为“round-robin”(轮询)
lb_kind DR ##这指定了负载均衡的类型为“DR”(直接路由)
! persistence_timeout 50
protocol TCP ##这指定了负载均衡器使用的协议为TCP
real_server 192.168.10.102 80 { ##指定真实服务器的IP地址为192.168.10.102,监听端口为80
weight 1 ##这指定了该服务器的权重为1
TCP_CHECK {
connect_port 80 ##这指定了检查服务器时连接的端口,这里是80端口
connect_timeout 3 ##这指定了连接超时时间限制为3秒
nb_get_retry 3 ##这指定了如果连接失败,负载均衡器会尝试重新连接3次
delay_before_retry 4 } ##两次重连尝试之间的延迟时间,这里是4秒
}
real_server 192.168.10.103 80 { ##指定真实服务器的IP地址为192.168.10.103,监听端口为80
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 4
}
}
}
---------------------------------------------------------------------------------------------------------------------------------------------------------
重启keepalived
systemctl restart keepalived
2.配置从调度器
[root@localhost ~]# cd /etc/keepalived/
[root@localhost keepalived]# vi keepalived.conf
virtual_server 192.168.10.200 80 { ##虚拟服务器,其IP地址为192.168.10.200,监听端口为80
delay_loop 6 ##负载均衡器在处理完一个请求后,等待6秒再处理下一个请求
lb_algo rr ##这指定了负载均衡算法为“round-robin”(轮询)
lb_kind DR ##这指定了负载均衡的类型为“DR”(直接路由)
! persistence_timeout 50 ##设置会话持久性超时时间为50秒 不过不需要所以注释
protocol TCP ##这指定了负载均衡器使用的协议为TCP
real_server 192.168.10.102 80 { ##指定真实服务器的IP地址为192.168.10.102,监听端口为80
weight 1 ##这指定了该服务器的权重为1
TCP_CHECK {
connect_port 80 ##这指定了检查服务器时连接的端口,这里是80端口
connect_timeout 3 ##这指定了连接超时时间限制为3秒
nb_get_retry 3 ##这指定了如果连接失败,负载均衡器会尝试重新连接3次
delay_before_retry 4 ##两次重连尝试之间的延迟时间,这里是4秒
}
}
real_server 192.168.10.103 80 { ##指定真实服务器的IP地址为192.168.10.103,监听端口为80
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 4
}
}
}
---------------------------------------------------------------------------------------------------------------------------------------------------------
重启keepalived
systemctl restart keepalived
3.调整 主 从 调度器的 proc 响应参数
[root@localhost ~]# vi /etc/sysctl.conf
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
[root@localhost ~]# sysctl -p
4.设置web1 与 web2 (VIP proc响应参数 路由)
在每个节点服务器,同样需要具有 VIP 地址 192.168.10.200,但此地址仅用作发送 Web响应数据包的源地址,并不需要监听客户机的访问请求(改由调度器监听并分发)。因此使用虚接口 lo∶0 来承载 VIP 地址,并为本机添加一条路由记录,
将访问 VIP 的数据限制在本地,以避免通信紊乱。
(1)设置VIP
[root@localhost ~]# cd /etc/sysconfig/network-scripts/
[root@localhost network-scripts]# cp ifcfg-ens33 ifcfg-lo:0
[root@localhost network-scripts]# vim ifcfg-lo:0
NAME= ifcfg-lo:0
DEVICE= ifcfg-lo:0
ONBOOT=yes
IPADDR=192.168.10.200
NETMASK=255.255.255.255 //注意:子网掩码必须全为 1
systemctl restart network
[root@localhost network-scripts]# ifconfig lo:0
---------------------------------------------------------------------------------------------------------------------------------------------------------
(2)调整web1 与 web2 服务器 proc 响应参数
调整 proc 响应参数的命令如下
[root@localhost ~]# vi /etc/sysctl.conf
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
[root@localhost ~]# sysctl -p
---------------------------------------------------------------------------------------------------------------------------------------------------------
(3)添加web1 与 web2 VIP 本地访问路由
[root@localhost ~]# route add -host 192.168.10.200 dev lo:0
5.测试 LVS+Keepalived 高可用群集
1.故障切换
把keepalived 主 停掉,查看是否能正常轮询请求到web1和web2
2.恢复节点检查
把web1的服务停掉,查看是否只能访问到web2,然后把web1的服务启动,查看是否恢复,正常轮询请求到web1和web2