LVS和Keepalived高可用集群

EsDeath_99

于 2024-07-16 16:17:20 发布

阅读量853

点赞数 26

文章标签： lvs 服务器网络

本文链接：https://blog.csdn.net/EsDeath_99/article/details/140445825

版权

一、Keepalived

1.Keepalived基础

广义上高可用，狭义上是讲主机的冗余和管理，keepalived起初是为LVS设计的，专门用来监控集群系统中各个服务节点的状态，他根据TCP/IP参考模型的第三、四、五层交换机制检测每个服务节点的状态，如果某个服务器节点出现异常或者工作出现故障，Keepalived将检测到并将出现的故障的服务器节点从集群系统中剔除，这些工作全部是自动完成不需要人工干涉，需要人工完成的只是修复出现故障的服务节点，后来Keepalived又加入了VRRP功能

VRRP虚拟路由冗余协议：目的解决静态路由出现的单点故障问题，通过vrrp可以实现网络不间断稳定运行，因此keepalived一方面具有服务器状态检测和故障隔离功能，另外一方面也有HAcluster功能

2.keepalived工作原理

keepalived采用模块化设计，不同模块实现不同功能

keepalived主要有三个模块：core、check、vrrp

core:keepalived的核心模块，负责主进程的启动和维护，全局配置文件的加载解析等

check:负责healthchecker(健康检查)，包括了各种健康检查方式以及对应的配置的解析包括LVS的配置解析，可基于脚本检查对IPVS后端服务器健康状况进行检查

vrrp:VRRPD子进程，VRRPD子进程就是来实现VRRP协议的

keepalived高可用之间是通过vrrp进行通信的，VRRP通过竞选机制来确定主备，主的优先级高于备，因此工作时master会优先获得所有的资源，slave节点处于等待状态，当master宕机时，slave节点就会接管master节点的资源，然后顶替master节点对外提供服务，在keepalived服务之间，只有作为master服务器会一直发送VRRP广播包，告诉slave他还活着，此时slave不会抢占master，当master不可用时，即slave监听不到master发送的广播包时，就会启动相关服务接管资源，保证业务的连续性，接管速度最快

3.如何解决keepalived脑裂问题（预防）

1.同时使用串行电缆和以太网电缆连接，同时使用两条心跳线路，这样一条线路断了，另外一条还是好的，依然能传送心跳消息

2.当检查脑裂时强行关闭一个心跳节点（这个功能需要特殊设备支持，如stonith、fence）相当于slave节点接收不到心跳消息，通过单独的线路发生关机命令关闭master节点的电源

3.做好对脑裂的监控报警

4.如果开启防火墙，一定要让心跳消息通过，一般通过允许IP段的形式解决

5.可以拉一条以太网网线或者串口线作为master被节点心跳线路的冗余

6.开发检测程序通过监控软件检测脑裂

二、VRRP协议（虚拟路由冗余协议）

Keepalived采用VRRP热备份协议实现Linux服务器的多机热备功能

1.VRRP基础

1.针对路由器的一种备份解决方案

2.由多台路由器组成一个热备组，通过共用的虚拟IP地址对外提供服务

3.每个热备组内同时只有一台主路由器提供服务，其他路由器处于冗余状态

4.若当前在线的路由器失效，则其他路由器会根据设置的优先级自动接替虚拟IP地址，继续提供服务

2.VRRP工作过程

1.选举Master，比较优先级，高的为master，若优先级相同无master时，比较接口IP地址，大的为Master，Master设备发送ARP报文，承担报文转发工作

2.状态维持，Master设备周期发生通告报文，公布配置信息和工作状态

3.Backup设备根据收到的通告判断Master设备是否工作正常，如果Master设备主动放弃Master地位时，会发送优先级为0的通告报文，Backup设备收到后会快速切换成Master设备或定时器，超时后Backup设备认为Master设备无法正常工作，会切换状态为Master

3.Keepalived、VRRP及其工作原理

1.Keepalived是一个基于VRRP协议来实现的LVS服务高可用方案，可以解决静态路由出现的单点故障问题

2.在一个LVS服务集群中通常有主服务master和备服务器backup两种角色的服务器，但是对外表现为一个虚拟IP，主服务器会发送VRRP通告信息给备份服务器，当备份服务器收不到VRRP消息的时候，即主服务器异常的时候，备份服务器就会接管虚拟IP，继续提供服务，从而保证了高可用性

三、搭建LVS+Keepalived高可用集群

配置环境：

master keepalived服务器：192.168.7.30

slave keepalived服务器:192.168.7.40

Web服务器1：192.168.7.10

Web服务器2：192.168.7.20

vip：192.168.7.50

客户机：192.168.7.60

1.配置负载调度器（master keepalived服务器：192.168.7.30）

1. #关闭防火墙
systemctl stop firewalld
setenforce 0

2. #安装服务
yum install ipvsadm keepalived -y

3.#加载ip_vs配置

modprobe ip_vs

cat /proc/net/ip_vs

4.#预防yum安装ipvsadm，启动报错，手动生成该文件

ipvsadm-save > /etc/sysconfig/ipvsadm

5.#开启ipvsadm服务

systemctl start ipvsadm.service

6.#清空ipvsadm并做策略，并保存设置

ipvsadm -C
ipvsadm -A -t 192.168.7.50:80 -s rr
ipvsadm -a -t 192.168.7.50:80 -r 192.168.7.10:80 -g
ipvsadm -a -t 192.168.7.50:80 -r 192.168.7.20:80 -g
ipvsadm
ipvsadm -ln
ipvsadm-save >/etc/sysconfig/ipvsadm

7.#备份配置文件.bak并修改主配置文件

cd /etc/keepalived

cp keepalived.conf keepalived.conf.bak

vim keepalived.conf

smtp_server 127.0.0.1 #10行，指定服务指向本地

router_id LVS_01 #12行，指定服务器（路由器）的名称，主备服务器名称须不同，主为LVS_01，备为LVS_02

state MASTER #20行，指定热备状态，主为MASTER，备为BACKUP

interface ens33 #21行，指定承载vip地址的物理接口

virtual_router_id 10 #22行，指定虚拟路由器的ID号，每个热备组保持一致

priority 100 #23行，指定优先级，数值越大优先级越高，主为100，备为99

auth_pass 123 #27行，指定验证密码，主备服务器保持一致

virtual_ipaddress {

192.168.7.50 #30行，指定群集vip地址

virtual_server 192.168.7.50 80 { #34行，指定虚拟服务器地址(VIP)、端口，定义虚拟服务器和Web服务器池参数

lb_kind DR #37行，指定群集工作模式，直接路由DR

persistence_timeout 0 #38行，连接保持时间改为0 否则无法体现效果

protocol TCP #39行，采用TCP协议

删除34行后的内容，配置如下：

virtual_server 192.168.7.50 80 {
delay_loop 6
lb_algo rr
lb_kind DR
persistence_timeout 0
protocol TCP

real_server 192.168.7.10 80 {
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 192.168.7.20 80 {
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}

8.#重启keepalived服务

systemctl restart keepalived.service

9.#查看虚拟网卡vip

ip addr show dev ens33

10.#调整proc响应参数，关闭Linux内核的重定向参数响应
vim /etc/sysctl.conf
net.ipv4.ip_forward = 1
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0

11.#刷新

sysctl -p

2.配置负载调度器（slave keepalived服务器：192.168.7.40）

1. #关闭防火墙
systemctl stop firewalld
setenforce 0

2. #安装服务
yum install ipvsadm keepalived -y

3.#加载ip_vs配置

modprobe ip_vs

cat /proc/net/ip_vs

4.#预防yum安装ipvsadm，启动报错，手动生成该文件

ipvsadm-save > /etc/sysconfig/ipvsadm

5.#开启ipvsadm服务

systemctl start ipvsadm.service

6.#清空ipvsadm并做策略，并保存设置

ipvsadm -C
ipvsadm -A -t 192.168.7.50:80 -s rr
ipvsadm -a -t 192.168.7.50:80 -r 192.168.7.10:80 -g
ipvsadm -a -t 192.168.7.50:80 -r 192.168.7.20:80 -g
ipvsadm
ipvsadm -ln
ipvsadm-save >/etc/sysconfig/ipvsadm

7.#备份配置文件.bak并修改主配置文件

cd /etc/keepalived

cp keepalived.conf keepalived.conf.bak

vim keepalived.conf

global_defs {                       #定义全局参数
--10行--修改，邮件服务指向本地
   smtp_server 127.0.0.1
--12行--修改，指定服务器（路由器）的名称，主备服务器名称须不同，主为LVS_01，备为LVS_02
   router_id LVS_01
}

vrrp_instance VI_1 {               #定义VRRP热备实例参数
--20行--修改，指定热备状态，主为MASTER，备为BACKUP
state BACKUP
--21行--修改，指定承载vip地址的物理接口
interface ens33
--22行--修改，指定虚拟路由器的ID号，每个热备组保持一致
virtual_router_id 10
--23行--修改，指定优先级，数值越大优先级越高，主为100，备为99
priority 99
advert_int 1                   #通告间隔秒数(心跳频率)
authentication {               #定义认证信息,每个热备组保持一致
       auth_type PASS               #认证类型
--27行--修改，指定验证密码，主备服务器保持一致
auth_pass 123
}
virtual_ipaddress {               #指定群集vip地址
192.168.7.50
}
}
--36行--修改，指定虚拟服务器地址(VIP)、端口，定义虚拟服务器和Web服务器池参数
virtual_server 192.168.7.50 80 {
delay_loop 6                   #健康检查的间隔时间(秒)
lb_algo rr                       #指定调度算法，轮询(rr)
--39行--修改，指定群集工作模式，直接路由(DR)
lb_kind DR
persistence_timeout 0 #连接保持时间(秒)
protocol TCP                   #应用服务采用的是 TCP协议
--43行--修改，指定第一个Web节点的地址、端口
real_server 192.168.7.10 80 {
weight 1                   #节点的权重
--45行--删除，添加以下健康检查方式
TCP_CHECK {
           connect_port 80           #添加检查的目标端口
           connect_timeout 3       #添加连接超时(秒)
           nb_get_retry 3           #添加重试次数
           delay_before_retry 3   #添加重试间隔
       }
   }

   real_server 192.168.7.20 80 {       #添加第二个 Web节点的地址、端口
weight 1
TCP_CHECK {
           connect_port 80
           connect_timeout 3
           nb_get_retry 3
           delay_before_retry 3
       }
   }
}
##删除后面多余的配置##

8.#重启keepalived服务

systemctl restart keepalived.service

9.#查看虚拟网卡vip

ip addr show dev ens33

10.#调整proce响应参数，关闭Linux内核的重定向参数响应
vim /etc/sysctl.conf
net.ipv4.ip_forward = 1
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0

11.#刷新

sysctl -p

3.配置节点服务器（Web服务器1：192.168.7.10）

1. #关闭防火墙
systemctl stop firewalld
setenforce 0

2. #安装并开启httpd服务
yum -y install httpd
systemctl start httpd

3. #配置站点文件
vim /var/www/html/index.html
this is web1

4. #配置虚拟vip
vim /etc/sysconfig/network-scripts/ifcfg-lo:0
DEVICE=lo:0
ONBOOT=yes
IPADDR=192.168.79.25
NETMASK=255.255.255.255

5. #重启网络服务，开启虚拟网卡
systemctl restart network
ifup lo:0
ifconfig lo:0

6. #设置路由
route add -host 192.168.79.25 dev lo:0
route -n

7. #调整 proc 响应参数
#添加系统只响应目的IP为本地IP的ARP请求
#系统不使用原地址来设置ARP请求的源地址，而是物理mac地址上的IP
vim /etc/sysctl.conf
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2

8. #刷新proc参数
sysctl -p

4.配置节点服务器（Web服务器2：192.168.7.20）

1. #关闭防火墙
systemctl stop firewalld
setenforce 0

2. #安装并开启httpd服务
yum -y install httpd
systemctl start httpd

3. #配置站点文件
vim /var/www/html/index.html
this is Web2

4. #配置虚拟vip
vim /etc/sysconfig/network-scripts/ifcfg-lo:0
DEVICE=lo:0
ONBOOT=yes
IPADDR=192.168.7.50
NETMASK=255.255.255.255

5. #重启网络服务，开启虚拟网卡
systemctl restart network
ifup lo:0
ifconfig lo:0

6. #设置路由
route add -host 192.168.7.50 dev lo:0
route -n

7. #调整 proc 响应参数
#添加系统只响应目的IP为本地IP的ARP请求
#系统不使用原地址来设置ARP请求的源地址，而是物理mac地址上的IP
vim /etc/sysctl.conf
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2

8. #刷新proc参数
sysctl -p