目录
引言
Keepalived 起初是针对 LVS 设计的一款强大的辅助工具，主要用来提供故障切换（Failover）和健康检查（Health Checking）功能——判断 LVS 负载调度器、节点服务器的可用性，及时隔离并替换为新的服务器，当故障主机恢复后将其重新加入群集
一、LVS-DR 模式详解
1. DR 模式特点
-
Director Server 和 Real Server 必须在同一-个物理网络中。
-
Real Server 可以使用私有地址，也可以使用公网地址。如果使用公网地址，可以通过互联网对RIP进行直接访问。
-
Director Server 作为群集的访问入口，但不作为网关使用。
-
所有的请求报文经由 Director Server， 但回复响应报文不能经过 Director Server。
-
Real Server 的网关不允许指向 Director Server IP，即 Real Server 发送的数据包不允许经过 Director Server。
-
Real Server 上的 lo 接口配置 VIP 的 IP 地址。
2. 数据包流向分析
在同一局域网中：
- 客户端向目标 VIP 发送请求，负载均衡器接收
- 负载均衡器根据负载均衡算法选择后端真实服务器，不修改也不封装IP报文，而是将数据帧的 MAC 地址改为后端真实服务器的MAC地址，然后在局域网上发送
- 后端真实服务器收到这个帧，解封装后发现目标 IP 与本机匹配（事先绑定了VIP），于是处理这个报文。
- 随后重新封装报文，将响应报文通过 lo 接口传送给物理网卡然后向外发出客户端将收到回复报文；客户端认为得到正常的服务，而不会知道是哪一台服务器处理的如果跨网段，则报文通过路由器经由 Internet 返回给用户
3. DR 模式中的 ARP 问题
-
① 在LVS-DR 负载均衡集群中，负载均衡与节点服务器都要配置相同的VIP地址。
-
② 在局域网中具有相同的IP地址，势必会造成各服务器ARP通信的紊乱。
当 ARP 广播发送到 LVS-DR 集群时，因为负载均衡器和节点服务器都是连接到相同网络上，它们都会接收到ARP广播。
只有前端的负载均衡器进行响应，其他节点服务器不应该响应ARP广播。 -
③ 对节点服务器进行处理，使其不响应针对VIP的ARP请求。
使用虚接口 lo:0 承载 VIP 地址
设置内核参数 arp_ignore=1: 系统只响应目的 IP 为本地 IP 的 ARP 请求 -
④ RealServer 返回报文（源IP是VIP）经路由器转发，重新封装报文时，需要先获取路由器的MAC地址。
-
⑤ 发送 ARP 请求时，Linux 默认使用 IP 包的源 IP 地址（即VIP）作为 ARP 请求包中的源 IP 地址，而不使用发送接口的IP地址，如：ens33。
-
⑥ 路由器收到 ARP 请求后，将更新 ARP 表项
-
⑦ 原有的 VIP 对应 Director 的 MAC 地址会被更新为 VIP 对应 RealServer 的 MAC 地址
-
⑧ 路由器根据 ARP 表项，会将新来的请求报文转发给 RealServer，导致 Director 的 VIP 失效；
解决方法：对节点服务器进行处理，设置内核参数 arp_announce=2：系统不使用 IP 包的源地址来设置 ARP 请求的源地址，而选择发送接口的IP地址。 -
解决ARP的两个问题的设置方法
#修改 /etc/sysctl.conf 文件
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
二、Keepalived
1. 概述
Keepalived 的设计目标是构建高可用的 LVS 负载均衡群集，可以调用 ipvsadm 工具来创建虚拟服务器，管理服务器池，而不仅仅是用作双机热备。
2. 优点
使用 Keepalived 构建 LVS 群集更加简便易用，主要优势在于
- 对 LVS 负载调度器实现热备切换，提高可用性；
- 支持故障自动切换；
- 支持节点健康状态检查；
- 判断LVS负载调度器、节点服务器的可用性，当master主机出现故障及时切换到backup节点保证业务正常，当 master 故障主机恢复后将其重新加入群集并且业务重新切换回 master 节点（优先级）。
3. Keepalived实现原理
- keepalived 采用 VRRP 热备份协议实现 Linux 服务器的多机热备功能
- VRRP（虚拟路由冗余协议）是针对路由器的一种备份解决方案。
- 由多台路由器组成一个热备份组，通过共用的虚拟IP地址对外提供服务
- 每个热备组内同时只有一台主路由器提供服务，其他路由器处于冗余状态，若当前在线的路由器失效，则其他路由器会根据设置的优先级自动接替虚拟IP地址，继续提供服务
snmp 通过网络管理服务器、交换机、路由器等设备的一种协议
在keepalived SNMP管理的是健康检查(状态)
在监控中也会通过snmp 监控、获取被监控服务器的数据
三、LVS-DR+Keepalived部署
1. 案例环境
| 服务器 | IP地址 | 工具 |
|---|---|---|
| 主负载调度器（Director1） | ens33：192.168.8.11 | ipvsadm、keepalived（热备） |
| 备负载调度器（Director2） | ens33：192.168.8.12 | ipvsadm、keepalived |
| web服务器1 | ens33：192.168.8.13 | / |
| lo:0 (VIP) | 192.168.3.100 | httpd |
| web服务器2 | ens33：192.168.3.14 | / |
| lo:0 (VIP) | 192.168.3.100 | httpd |
| centos客户端 | 192.168.8.10 | web浏览器 |
| centos客户端 | 192.168.8.17 | web浏览器 |
- 拓扑图
2. LVS 主、备服务器配置
systemctl stop firewalld.service
setenforce 0
yum -y install ipvsadm
modprobe ip_vs #加载ip_vs模块
cat /proc/net/ip_vs #查看ip_vs版本信息
----------------------------------------------------------------------------------------------
#LVS1配置：
cd /etc/sysconfig/network-scripts/
cp -p ifcfg-ens33 ifcfg-ens33:0
[root@diretor1 /etc/sysconfig/network-scripts]#vim ifcfg-ens33:0
DEVICE=ens33:0
ONBOOT=yes
IPADDR=192.168.3.100
NETMASK=255.255.255.255
ifup ens33:0
ifconfig ens33:0
systemctl restart network
vim /etc/sysctl.conf
net.ipv4.ip_forward = 0 #关闭路由转发
net.ipv4.conf.all.send_redirects = 0 #关闭所有重定向
net.ipv4.conf.default.send_redirects = 0 #关闭默认重定向
net.ipv4.conf.ens33.send_redirects = 0
sysctl -p
-------------------------------------------------------------------------------------------------
#LVS2配置：
cd /etc/sysconfig/network-scripts/
cp -p ifcfg-ens33 ifcfg-ens33:0
[root@diretor1 /etc/sysconfig/network-scripts]#vim ifcfg-ens33:0
DEVICE=ens33:0
ONBOOT=yes
IPADDR=192.168.3.100
NETMASK=255.255.255.255
ifup ens33:0 #这里使用ifup时会报错，因为地址冲突了，所以直接重启网卡就可以了
ifconfig ens33:0
systemctl restart network
vim /etc/sysctl.conf
net.ipv4.ip_forward = 0 #关闭路由转发
net.ipv4.conf.all.send_redirects = 0 #关闭所有重定向
net.ipv4.conf.default.send_redirects = 0 #关闭默认重定向
net.ipv4.conf.ens33.send_redirects = 0
sysctl -p
-----------------------------------------------------------------------------------------------
#两台lvs同配置
modprobe ip_vs #开启ipvsadm
cat /proc/net/ip_vs
ipvsadm-save > /etc/sysconfig/ipvsadm
systemctl start ipvsadm
systemctl status ipvsadm
vim /opt/dd.sh
#!/opt/dd.sh
ipvsadm -C ##清除表中所有记录
ipvsadm -A -t 192.168.3.100:80 -s rr
ipvsadm -a -t 192.168.3.100:80 -r 192.168.3.13:80 -g
ipvsadm -a -t 192.168.3.100:80 -r 192.168.3.14:80 -g
ipvsadm
ipvsadm -Lnc
3. Web服务器配置
#Web1和Web2同配置：
cd /etc/sysconfig/network-scripts/
vim ifcfg-lo:0
DEVICE=lo:0
IPADDR=192.168.3.100
NETMASK=255.255.255.255
# If you're having problems with gated making 127.0.0.0/8 a martian,
# you can change this to something else (255.255.255.255, for example)
#BROADCAST=127.255.255.255
ONBOOT=yes
#NAME=loopback
ifcfg lo:0
route add -host 192.168.3.100 dev lo:0 #禁锢路由
route -n
vim /etc/rc.local #配置启动管理执行路由禁锢
/sbin/route add -host 192.168.3.100 dev lo:0
yum -y install httpd
systemctl start httpd
---------------------------------------------------------------------------------------------
#调整内核的ARP响应参数，以阻止更新VIP的MAC地址，避免冲突
vim /etc/sysctl.conf
net.ipv4.conf.lo.arp_ignore = 1 #环形接口的策略
net.ipv4.conf.lo.arp_announce = 2 #环形接口的响应策略
net.ipv4.conf.all.arp_ignore = 1 #所有接口的策略
net.ipv4.conf.all.arp_announce = 2 #所有接口的响应策略
#web1:
vim /var/www/html/index.html
<html>
<body>
<meta http-equiv="Content-Type" content="text/html;charset=utf-8">
<h1>this is web1</h1>
</body>
</html>
web2:
vim /var/www/html/index.html
<html>
<body>
<meta http-equiv="Content-Type" content="text/html;charset=utf-8">
<h1>this is web2</h1>
</body>
</html>
4. 访问客户端
[root@diretor1 /etc/sysconfig/network-scripts]#sh -x /opt/dd.sh
+ ipvsadm -C
+ ipvsadm -A -t 192.168.3.100:80 -s rr
+ ipvsadm -a -t 192.168.3.100:80 -r 192.168.3.13:80 -g
+ ipvsadm -a -t 192.168.3.100:80 -r 192.168.3.14:80 -g
+ ipvsadm
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP diretor1:http rr
-> 192.168.8.13:http Route 1 0 0
-> 192.168.8.14:http Route 1 0 0
- 访问 192.168.3.100，刷新查看效果
5. 配置 keepalived
- 两台 LVS 服务器安装
yum -y install keepalived
cd /etc/keepalived/
cp keepalived.conf keepalived.conf.bak
vim keepalived.conf
global_defs { #定义全局参数
router_id lvs_01 #热备组内的设备名称不能一致
}
vrrp_instance vi_1 { #定义VRRP热备实例参数
state MASTER #指定热备状态，主为master，备为backup
interface ens33 #指定承载vip地址的物理接口
virtual_router_id 51 #指定虚拟路由器的ID号，每个热备组保持一致
priority 110 #指定优先级，数值越大越优先
advert_int 1
authentication { #加密
auth_type PASS
auth_pass 6666
}
virtual_ipaddress { #指定集群VIP地址
192.168.3.100
}
}
#指定虚拟服务器地址vip，端口，定义虚拟服务器和web服务器池参数
virtual_server 192.168.3.100 80 {
lb_algo rr #指定调度算法，轮询（rr）
lb_kind DR #指定集群工作模式，直接路由DR
persistence_timeout 6 #健康检查的间隔时间
protocol TCP #应用服务采用的是TCP协议
}
#指定第一个web节点的地址，端口
real_server 192.168.3.13 80 {
weight 1 #节点权重
TCP_CHECK {
connect_port 80 #添加检查的目标端口
connect_timeout 3 #添加连接超时
nb_get_retry 3 #添加重试次数
delay_before_retry 3 #添加重试间隔
}
}
#指定第二个web节点的地址，端口
real_server 192.168.3.14 80 {
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
#两台LVS服务器均开启keepalived
systemctl start keepalived
systemctl status keepalived
ip a #查看虚拟网卡信息
若查看不到，就在两台lvs服务器刷一遍脚本
sh -x /opt/dd.sh
ipvsadm -Ln
- 浏览器访问
5. 模拟msater故障
systemctl stop keepalived #模拟主挂掉
ip a #lvs1没有VIP
-
VIP漂移至LVS2上面
-
浏览器访问依然可以看到页面
总结
- Keepalived 主要针对 LVS 群集应用而设计，提供故障切换和健康检查功能。在非 LVS群集环境中,也可用来实现多机热备功能。
- Keepalived 的配置文件为 keepalived.conf，主、备服务器的配置区别主要在于路由器名称、热备状态、优先级。
- 漂移地址（VIP) 由 Keepalived 根据热备状态自动指定，不需要手动设置。LVS群集的服务器池 keepalived.conf文件中预先配置，不需要手动执行ipvsadm工具。
- 通过 LVS+Keepalived 的结合使用，可以实现服务器的高可用负载均衡群集。
1496
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
