keepalived高可用

最新推荐文章于 2022-10-27 21:50:41 发布

栀婉

最新推荐文章于 2022-10-27 21:50:41 发布

阅读量329

点赞数

分类专栏：高可用负载均衡服务文章标签： linux

本文链接：https://blog.csdn.net/weixin_46727129/article/details/120884464

版权

服务同时被 3 个专栏收录

7 篇文章 0 订阅

订阅专栏

负载均衡

2 篇文章 0 订阅

订阅专栏

高可用

1 篇文章 0 订阅

订阅专栏

1 高可用基本概述

Keepalived的作用是检测服务器的状态，如果有一台web服务器宕机，或工作出现故障，Keepalived将检测到，并将有故障的服务器从系统中剔除，同时使用其他服务器代替该服务器的工作，当服务器工作正常后Keepalived自动将服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的服务器
Keepalived是基于vrrp协议的一款高可用软件。Keepailived有一台主服务器和多台备份服务器，在主服务器和备份服务器上面部署相同的服务配置，使用一个虚拟IP地址对外提供服务，当主服务器出现故障时，虚拟IP地址会自动转移到备份服务器
Keepalived 一方面具有配置管理LVS的功能，同时还具有对LVS下面节点进行健康检查的功能，另一方面也可实现系统网络服务的高可用功能

2 VRRP诞生背景及原理

keepalived 软件是基于 VRRP 协议实现的。VRRP （(Virtual Router Redundancy Protocol）虚拟路由冗余协议，主要用于解决单点故障问题

比如公司的网络是通过网关转换进行上网的，那如果该路由器故障了，网关无法转发报文了，此时所有人都将无法上网，这么时候怎么办呢
在这里插入图片描述
通常做法是增加一个 Backup 路由，然后修改用户PC电脑网关指向为Backup，但这里有几个问题
1.如果用户过多修改起来会非常的麻烦；
2.如果用户将指向都修改为Backup，那Master如果恢复了该怎么办？

那我们直接将 Backup 网关 IP 配置为 Master 网关 IP不就可以了吗?其实也不行
因为PC在第一次通信时，是通过ARP广播获取到Master网关的Mac地址、IP地址，同时PC还会将Master网关对应IP与MAC地址存储至ARP缓存表中；

所以当PC与网关进行通信时，会直接读取ARP缓存表中的MAC地址与IP地址，进行数据包转发，也就意味着当Master节点故障，将Backup节点IP修改为Master的IP，最终PC的数据包还是会转发给Master，不会转发给 Backup节点。（除非PC的ARP缓存表过期，在次发起ARP广播的时候才能正确获取Bakcup的Mac地址与对应的IP地址。）

在这里插入图片描述
那如何才能做到出现故障自动转移，此时VRRP就应运而生；
VRRP其实是通过软件或硬件的形式在Master和Backup外层增加一个虚拟MAC地址（简称VMAC）、以及虚拟IP地址（简称VIP）；那么在这种情况下，当PC请求VIP的时候，无论是Master处理还是Backup处理，PC仅会在ARP缓存表中记录VMAC与VIP的对应关系

在这里插入图片描述

2.1 VRRP简介

VRRP（Virtual Router Redundancy Protocol，虚拟路由器冗余协议），VRRP是为了解决静态路由的高可用。VRRP的基本架构，VRRP的出现是为了解决静态路由的单点故障。
VRRP是通过一种竟选协议机制来将路由任务交给某台 VRRP路由器的。
VRRP用 IP多播的方式（默认多播地址（224.0_0.18))实现高可用对之间通信。
VRRP使用了加密协议加密数据，但Keepalived官方目前还是推荐用明文的方式配置认证类型和密码。
虚拟路由器由多个路由器组成，每个路由器都有各自的IP和共同的VRID(0-255)，其中一个VRRP路由器通过竞选成为MASTER，占有VIP，对外提供路由服务，其他成为BACKUP，MASTER以IP组播（组播地址：224.0.0.18）形式发送VRRP协议包，与BACKUP保持心跳连接，若MASTER不可用（或BACKUP接收不到VRRP协议包），则BACKUP通过竞选产生新的MASTER并继续对外提供路由服务，从而实现高可用

3 Keeplaived基本介绍

Keepalived 基于 vrrp 实现，原生设计是为了高可用lvs服务；
通过 vrrp 协议，可以完成地址漂移技术;
为VIP 地址所在的节点生成 VIPS 规则（需要在配置文件中预先定义）；
为VIPS 集群的 RS 节点做健康状态检测；

3.1 Keeplaived核心组件

vrrp stack：用来实现 vrrp 协议重要组件之一；
Netlink接口：设置和删除网络接口上的虚拟IP地址；
ipvs wrapper：使用getsock和setsock来建立IPVS规则；
checkers：监测RS节点的方式，支持tcp、http、ssl等；
system call：支持启动额外系统脚本的功能；
SMTP：为当发生角色状态转换时，发送事件通知邮件；WatchDog：监控进程
控制组件：配置文件分析器
内存管理组件

3.2 Keepalived核心概念

在这里插入图片描述

虚拟路由器：由一个Master路由器和多个Backup路由器组成；
Master路由器：虚拟路由器中承担报文转发任务的路由器；
Backup路由器：Master路由器出现故障时，能够代替Master路由器工作的路由器；
VRID：虚拟路由器的标识，由相同 VRID 的一组路由器构成一个虚拟路由器；
组播：组播是有特定的成员，是一种可控的广播，组播成员需要加入“组播组”才能收到该组播的信息。
虚拟IP地址：虚拟路由器的IP地址，一个虚拟路由器可以拥有一个或多个IP地址；
虚拟MAC地址：一个虚拟路由器拥有一个虚拟MAC地址；
优先级：VRRP根据优先级来确定虚拟路由器中每台路由器的地位；
抢占式：如果Master故障，Backup自动接管，当Master恢复了会将VIP地址抢回来；
非抢占式：如果Master故障，Backup自动接管，当Master恢复则自动转为Backup，不会抢占VIP；

3.3 Keepalived原理

在这里插入图片描述

Keekpalived通过vrrp协议实现，vrrp是通过竞选机制来确定主备的，主的优先级高于备，因此，工作时主会优先获得所有的资源，备节点处于等待状态，当主挂了的时候，备节点就会接管主节点的资源，然后顶替主节点对外提供服务。
在 Keepalived 服务之间，只有作为主的服务器会一直发送 vrrp广播包,告诉备它还活着，此时备不会枪占主，当主不可用时，即备监听不到主发送的广播包时，就会启动相关服务接管资源，保证业务的连续性.接管速度最快可以小于1秒。

3.4 Keepalived的重要功能

管理LVS负载均衡软件
实现LVS集群节点的健康检查
作为系统网络服务的高可用性（failover）

3.5 Keepalived高可用故障转移的原理

Keepalived 高可用服务之间的故障切换转移，是通过 VRRP (Virtual Router Redundancy Protocol ,虚拟路由器冗余协议）来实现的。
在 Keepalived 服务正常工作时，主 Master 节点会不断地向备节点发送（多播的方式）心跳消息，用以告诉备 Backup 节点自己还活看，当主 Master 节点发生故障时，就无法发送心跳消息，备节点也就因此无法继续检测到来自主 Master 节点的心跳了，于是调用自身的接管程序，接管主 Master 节点的 IP 资源及服务。而当主 Master 节点恢复时，备 Backup 节点又会释放主节点故障时自身接管的IP资源及服务，恢复到原来的备用角色

3.6 Keeplaived应用场景

当需要使用 Keepalived 时，通常是因为我们的业务系统需要保证 7x24 小时不DOWN机

比如公司内部 OA 系统，每天公司人员都需要使用，则不允许Down机；
比如公司对外发布的业务系统（例如共享单车），每天有大量的用户使用，是不可以出现故障的等

4 keepalived配置文件讲解

4.1 keepalived默认配置文件

keepalived 的主配置文件是 /etc/keepalived/keepalived.conf

[root@master ~]# cat /etc/keepalived/keepalived.conf
! Configuration File for keepalived

global_defs {       //全局配置
   notification_email {     //定义报警收件人邮件地址
     acassen@firewall.loc
     failover@firewall.loc
     sysadmin@firewall.loc
   }
   notification_email_from Alexandre.Cassen@firewall.loc    //定义报警发件人邮箱
   smtp_server 192.168.200.1    //邮箱服务器地址
   smtp_connect_timeout 30      //定义邮箱超时时间
   router_id LVS_DEVEL          //定义路由标识信息，同局域网内唯一
   vrrp_skip_check_adv_addr
   vrrp_strict
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}

vrrp_instance VI_1 {        //定义实例
    state MASTER            //指定keepalived节点的初始状态，可选值为MASTER|BACKUP
    interface eth0          //VRRP实例绑定的网卡接口，用户发送VRRP包
    virtual_router_id 51    //虚拟路由的ID，同一集群要一致
    priority 100            //定义优先级，按优先级来决定主备角色，优先级越大越优先
    nopreempt               //设置不抢占
    advert_int 1            //主备通讯时间间隔
    authentication {        //配置认证
        auth_type PASS      //认证方式，此处为密码
        auth_pass 1111      //同一集群中的keepalived配置里的此处必须一致，推荐使用8位随机数
    }
    virtual_ipaddress {     //配置要使用的VIP地址
        192.168.200.16
    }
}

virtual_server 192.168.200.16 1358 {    //配置虚拟服务器
    delay_loop 6        //健康检查的时间间隔
    lb_algo rr          //lvs调度算法
    lb_kind NAT         //lvs模式
    persistence_timeout 50      //持久化超时时间，单位是秒
    protocol TCP        //4层协议

    sorry_server 192.168.200.200 1358   //定义备用服务器，当所有RS都故障时用sorry_server来响应客户端

    real_server 192.168.200.2 1358 {    //定义真实处理请求的服务器
        weight 1    //给服务器指定权重，默认为1
        HTTP_GET {
            url {
              path /testurl/test.jsp    //指定要检查的URL路径
              digest 640205b7b0fc66c1ea91c463fac6334d   //摘要信息
            }
            url {
              path /testurl2/test.jsp
              digest 640205b7b0fc66c1ea91c463fac6334d
            }
            url {
              path /testurl3/test.jsp
              digest 640205b7b0fc66c1ea91c463fac6334d
            }
            connect_timeout 3       //连接超时时间
            nb_get_retry 3          //get尝试次数
            delay_before_retry 3    //在尝试之前延迟多长时间
        }
    }

    real_server 192.168.200.3 1358 {
        weight 1
        HTTP_GET {
            url {
              path /testurl/test.jsp
              digest 640205b7b0fc66c1ea91c463fac6334c
            }
            url {
              path /testurl2/test.jsp
              digest 640205b7b0fc66c1ea91c463fac6334c
            }
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
}

4.2 定制主配置文件

vrrp_instance段配置

nopreempt   //设置为不抢占。默认是抢占的，当高优先级的机器恢复后，会抢占低优先 \
级的机器成为MASTER，而不抢占，则允许低优先级的机器继续成为MASTER，即使高优先级 \
的机器已经上线。如果要使用这个功能，则初始化状态必须为BACKUP。

preempt_delay   //设置抢占延迟。单位是秒，范围是0---1000，默认是0.发现低优先 \
级的MASTER后多少秒开始抢占

vrrp_script段配置

//作用：添加一个周期性执行的脚本。脚本的退出状态码会被调用它的所有的VRRP Instance记录。
//注意：至少有一个VRRP实例调用它并且优先级不能为0.优先级范围是1-254.
vrrp_script <SCRIPT_NAME> {
          ...
    }

//选项说明：
script "/path/to/somewhere"      //指定要执行的脚本的路径。
interval <INTEGER>              //指定脚本执行的间隔。单位是秒。默认为1s。
timeout <INTEGER>               //指定在多少秒后，脚本被认为执行失败。
weight <-254 --- 254>           //调整优先级。默认为2.
rise <INTEGER>                  //执行成功多少次才认为是成功。
fall <INTEGER>                  //执行失败多少次才认为失败。
user <USERNAME> [GROUPNAME]     //运行脚本的用户和组。
init_fail                       //假设脚本初始状态是失败状态。

//weight说明： 
1. 如果脚本执行成功(退出状态码为0)，weight大于0，则priority增加。
2. 如果脚本执行失败(退出状态码为非0)，weight小于0，则priority减少。
3. 其他情况下，priority不变。

real_server段配置

weight <INT>            //给服务器指定权重。默认是1
inhibit_on_failure      //当服务器健康检查失败时，将其weight设置为0， \
                        //而不是从Virtual Server中移除
notify_up <STRING>      //当服务器健康检查成功时，执行的脚本
notify_down <STRING>    //当服务器健康检查失败时，执行的脚本
uthreshold <INT>        //到这台服务器的最大连接数
lthreshold <INT>        //到这台服务器的最小连接数

tcp_check段配置

connect_ip <IP ADDRESS>     //连接的IP地址。默认是real server的ip地址
connect_port <PORT>         //连接的端口。默认是real server的端口
bindto <IP ADDRESS>         //发起连接的接口的地址。
bind_port <PORT>            //发起连接的源端口。
connect_timeout <INT>       //连接超时时间。默认是5s。
fwmark <INTEGER>            //使用fwmark对所有出去的检查数据包进行标记。
warmup <INT>    //指定一个随机延迟，最大为N秒。可防止网络阻塞。如果为0，则关闭该功能。
retry <INIT>                //重试次数。默认是1次。
delay_before_retry <INT>    //默认是1秒。在重试之前延迟多少秒。

4.3 实例

global_defs {
    router_id LVS_Server
}
vrrp_instance VI_1 {
    state BACKUP
    interface ens33
    virtual_router_id 51
    priority 150
    nopreempt
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass wangqing
    }
    virtual_ipaddress {  
        192.168.25.250 dev ens33
    }
}
virtual_server 192.168.25.250 80 {
    delay_loop 3
    lvs_sched rr
    lvs_method DR
    protocol TCP
    real_server 192.168.25.147 80 {
        weight 1
        TCP_CHECK {
            connect_port 80
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
    real_server 192.168.25.148 8080 {
        weight 1
        TCP_CHECK {
            connect_port 8080
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
}

5 脑裂

在HA集群系统中，假设有同一个整体、动作协调的节点A 和节点B，节点A和B之间通过heartBeat来检查对方的存活状态,负责协调保证整个集群服务的可用性。正常情况下，如果节点A通过心跳检测不到B的存在的时候，就会接管B的资源，同理节点B检查不到B的存活状态的时候也会接管A的资源。如果出现网络故障，就会导致A和B同时检查不到对方的存活状态认为对方出现异常，这个时候就会导致A接管B的资源，B也会接管A的资源。原来被一个节点访问的资源就会出现被多个节点同时访问的情况，这种情况就是脑裂现象。

5.1 脑裂导致的问题

导致所有服务无法启动
服务都可以启动，但同时读写共享存储，导致数据损坏（常见如数据库轮询着的联机日志出错）

5.2 对付HA系统脑裂的对策

添加冗余的心跳线，例如：双线条线（心跳线也HA），尽量减少脑裂发生几率
启用磁盘锁。正在服务一方锁住共享磁盘，脑裂发生时，让对方完全“抢不走”共享磁盘资源。但使用锁磁盘也会有一个不小的问题，如果占用共享盘的一方不主动解锁，另一方就永远得不到共享磁盘。现实中假如服务节点突然死机或崩溃，就不可能执行解锁命令。后备节点也就接管不了共享资源和应用服务。于是出现了智能锁。即：正在服务的一方只在发现心跳线全部断开（察觉不到对端）时才启用磁盘锁。平时就不上锁了
设置仲裁机制。例如设置参考IP（如网关IP），当心跳线完全断开时，2个节点都各自ping一下参考IP，不通则表明断点就出在本端。不仅心跳、还兼对外服务的本端网络链路断了，即使启动（或继续）应用服务也没有用了，那就主动放弃竞争，让能够ping通参考IP的一端去起服务。更保险一些，ping不通参考IP的一方直接就自我重启，以彻底释放有可能还占用着的那些共享资源

5.3 脑裂产生的原因

高可用服务器对之间心跳线链路发生故障，导致无法正常通信
- 因心跳线坏了（包括断了，老化）
- 因网卡及相关驱动坏了，ip配置及冲突问题（网卡直连）因心跳线间连接的设备故障（网卡及交换机）
- 因仲裁的机器出问题（采用仲裁的方案）
高可用服务器上开启了防火墙阻挡了心跳消息传输
高可用服务器上心跳网卡地址等信息配置不正确，导致发送心跳失败
其他服务配置不当等原因，如心跳方式不同，心跳广插冲突、软件Bug等

注： Keepalived配置里同一 VRRP实例如果 virtual_router_id两端参数配置不一致也会导致裂脑问题发生

5.4 脑裂的常见解决方案

同时使用串行电缆和以太网电缆连接，同时用两条心跳线路，这样一条线路坏了，另一个还是好的，依然能传送心跳消息
当检测到脑裂时强行关闭一个心跳节点（这个功能需特殊设备支持，如Stonith、feyce）。相当于备节点接收不到心跳消患，通过单独的线路发送关机命令关闭主节点的电源
做好对脑裂的监控报警（如邮件及手机短信等或值班）在问题发生时人为第一时间介入仲裁，降低损失

当然，在实施高可用方案时，要根据业务实际需求确定是否能容忍这样的损失。对于一般的网站常规业务，这个损失是可容忍的

5.5 对脑裂进行监控

= 对脑裂的监控应在备用服务器上进行，通过添加zabbix自定义监控进行。监控备用服务器上是否存在VIP。

备机上出现VIP有两种情况：
- 发生了脑裂
- 正常的主备切换

实验环境

主机	IP	角色
zabbix	192.168.25.146	lamp zabbix-server zabbix-agentd
master	192.168.25.147	keepalived主
slave	192.168.25.148	keepalived备

监控只是监控发生脑裂的可能性，不能保证一定是发生了脑裂，因为正常的主备切换VIP也是会到备上的

Zabbix的安装与配置请参考：监控服务zabbix部署

//编写脑裂监控脚本
[root@slave scripts]# cat check_keepalived.sh 
#! /bin/bash

if [ `ip a show ens33 |grep 192.168.25.250|wc -l` -ne 0 ];then
    echo 1
else
    echo 0
fi

添加监控项
在这里插入图片描述
最新监控数据

添加动作
在这里插入图片描述

模拟发生脑裂
在这里插入图片描述
解决脑裂问题

6 keepalived实现apache负载均衡机高可用

环境说明

系统	主机名	IP	VIP
centos8	master	192.168.25.147	192.168.25.250
centos8	slave	192.168.25.148	192.168.25.250

6.1 keepalived安装

配置主keepalived

//关闭防火墙与SELINUX
[root@master ~]# systemctl disable --now firewalld
Removed /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
[root@master ~]# sed -ri 's/^(SELINUX=).*/\1disabled/g' /etc/selinux/config
[root@master ~]# setenforce 0
[root@master ~]# reboot
[root@master ~]# getenforce 
Disabled

// 安装epel-release源
[root@master ~]# yum -y install epel-release vim wget

//安装keepalived
[root@master ~]# yum -y install keepalived

//查看安装生成的文件
[root@master ~]# rpm -ql keepalived
/etc/keepalived     //配置目录
/etc/keepalived/keepalived.conf     //此为主配置文件
/etc/sysconfig/keepalived
/usr/bin/genhash
/usr/lib/systemd/system/keepalived.service      //此为服务控制文件
/usr/libexec/keepalived
/usr/sbin/keepalived
......

备服务器上安装keepalived

//关闭防火墙与SELINUX
[root@slave ~]# systemctl disable --now firewalld
Removed /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
[root@slave ~]# sed -ri 's/^(SELINUX=).*/\1disabled/g' /etc/selinux/config
[root@slave ~]# setenforce 0
[root@slave ~]# reboot
[root@slave ~]# getenforce 
Disabled

// 安装epel-release源
[root@slave ~]# yum -y install epel-release vim wget

//安装keepalived
[root@slave ~]# yum -y install keepalived

//查看安装生成的文件
[root@slave ~]# rpm -ql keepalived
/etc/keepalived     //配置目录
/etc/keepalived/keepalived.conf     //此为主配置文件
/etc/sysconfig/keepalived
/usr/bin/genhash
/usr/lib/systemd/system/keepalived.service      //此为服务控制文件
/usr/libexec/keepalived
/usr/sbin/keepalived
......

6.2 在主备机上分别安装apache

在master上安装apache

[root@master ~]# yum -y install httpd
[root@master ~]# systemctl enable --now httpd
Created symlink /etc/systemd/system/multi-user.target.wants/httpd.service → /usr/lib/systemd/system/httpd.service.
[root@master ~]# ss -antl
State    Recv-Q   Send-Q     Local Address:Port     Peer Address:Port  Process   
LISTEN   0        128              0.0.0.0:22            0.0.0.0:*               
LISTEN   0        128                 [::]:22               [::]:*               
LISTEN   0        128                    *:80                  *:*       
[root@master ~]# echo web01 > /var/www/html/index.html    // 网页测试文件

在slave上安装nginx

[root@slave ~]# yum -y install httpd
[root@slave ~]# systemctl enable --now httpd
Created symlink /etc/systemd/system/multi-user.target.wants/httpd.service → /usr/lib/systemd/system/httpd.service.
[root@slave ~]# ss -antl
State    Recv-Q   Send-Q     Local Address:Port     Peer Address:Port  Process   
LISTEN   0        128              0.0.0.0:22            0.0.0.0:*               
LISTEN   0        128                    *:80                  *:*               
LISTEN   0        128                 [::]:22               [::]:*

在浏览器上访问测试能否访问到web01

6.3 keepalived配置

配置主keepalived

// 将主配置文件复制保存
[root@master ~]# cd /etc/keepalived/
[root@master keepalived]# ls
keepalived.conf
[root@master keepalived]# cp keepalived.conf{,-bak}
[root@master keepalived]# ls
keepalived.conf  keepalived.conf-bak

[root@master keepalived]# cat keepalived.conf
! Configuration File for keepalived

global_defs {
   router_id lb01
}

vrrp_instance VI_1 {
    state MASTER
    interface ens33
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass wangqing
    }
    virtual_ipaddress {
        192.168.25.250
    }
}

virtual_server 192.168.25.250 80 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    persistence_timeout 50
    protocol TCP

    real_server 192.168.25.147 80 {
        weight 1
        TCP_CHECK {
            connect_port 80
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }

    real_server 192.168.25.148 80 {
        weight 1
        TCP_CHECK {
            connect_port 80
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
}

// 启动服务
[root@master keepalived]# systemctl enable --now keepalived
Created symlink /etc/systemd/system/multi-user.target.wants/keepalived.service → /usr/lib/systemd/system/keepalived.service.

查看VIP在哪里

[root@master ~]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
    link/ether 00:0c:29:a8:82:48 brd ff:ff:ff:ff:ff:ff
    inet 192.168.25.147/24 brd 192.168.25.255 scope global dynamic noprefixroute ens33
       valid_lft 1033sec preferred_lft 1033sec
    inet 192.168.25.250/32 scope global ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::5ce7:c114:d39e:59b8/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever

配置备keepalived

// 将主配置文件复制保存
[root@slave ~]# cd /etc/keepalived/
[root@slave keepalived]# ls
keepalived.conf
[root@slave keepalived]# mv keepalived.conf{,-bak}
[root@slave keepalived]# ls
keepalived.conf-bak

[root@slave keepalived]# cat keepalived.conf
! Configuration File for keepalived

global_defs {
   router_id lb02
}

vrrp_instance VI_1 {
    state BACKUP
    interface ens33
    virtual_router_id 51
    priority 90
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass wangqing
    }
    virtual_ipaddress {
        192.168.25.250
    }
}

virtual_server 192.168.25.250 80 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    persistence_timeout 50
    protocol TCP

    real_server 192.168.25.147 80 {
        weight 1
        TCP_CHECK {
            connect_port 80
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }

    real_server 192.168.25.148 80 {
        weight 1
        TCP_CHECK {
            connect_port 80
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
}

// 启动服务
[root@slave keepalived]# systemctl enable --now keepalived
Created symlink /etc/systemd/system/multi-user.target.wants/keepalived.service → /usr/lib/systemd/system/keepalived.service.

查看VIP在哪里

[root@slave keepalived]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
    link/ether 00:0c:29:1b:44:be brd ff:ff:ff:ff:ff:ff
    inet 192.168.25.148/24 brd 192.168.25.255 scope global dynamic noprefixroute ens33
       valid_lft 1704sec preferred_lft 1704sec
    inet6 fe80::2e0f:34ad:7328:bbf9/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever

##只有当主服务器的keepalived服务停止时备份服务器才会启用192.168.25.150VIP

[root@slave keepalived]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
    link/ether 00:0c:29:1b:44:be brd ff:ff:ff:ff:ff:ff
    inet 192.168.25.148/24 brd 192.168.25.255 scope global dynamic noprefixroute ens33
       valid_lft 1073sec preferred_lft 1073sec
    inet 192.168.25.250/32 scope global ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::2e0f:34ad:7328:bbf9/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever

6.4 修改内核参数，开启监听VIP功能

此步可做可不做，该功能可用于仅监听VIP的时候

在master上修改内核参数

[root@master ~]# echo 'net.ipv4.ip_nonlocal_bind = 1' >>/etc/sysctl.conf
[root@master ~]# sysctl -p
net.ipv4.ip_nonlocal_bind = 1
[root@master ~]# cat /proc/sys/net/ipv4/ip_nonlocal_bind
1

在slave上修改内核参数

[root@slave ~]# echo 'net.ipv4.ip_nonlocal_bind = 1' >>/etc/sysctl.conf
[root@slave ~]# sysctl -p
net.ipv4.ip_nonlocal_bind = 1
[root@slave ~]# cat /proc/sys/net/ipv4/ip_nonlocal_bind
1

6.5 让keepalived监控apache负载均衡机

keepalived通过脚本来监控apache负载均衡机的状态

在master上编写脚本

[root@smaster ~]# mkdir /scripts
[root@master ~]# cd /scripts/
[root@master scripts]# cat check_apache.sh 
#!/bin/bash
httpd_status=$(ps -ef|grep -Ev "grep|$0"|grep '\bhttpd\b'|wc -l)
if [ $httpd_status -lt 1 ];then
    systemctl stop keepalived
fi
[root@slave scripts]# chmod +x check_apache.sh 
[root@slave scripts]# ll
总用量 4
-rwxr-xr-x 1 root root 142 10月 21 03:33 check_apache.sh

[root@master scripts]# cat notify.sh 
#! /bin/bash
VIP=$2
sendmail (){
        subject="${VIP}'s server keepalived state is translate"
        content="`date +'%F %T'`: `hostname`'s state change to master"
        echo $content | mail -s "$subject" 1720615473@qq.com
}
case "$1" in
  master)
        httpd_status=$(ps -ef|grep -Ev "grep|$0"|grep '\bhttpd\b'|wc -l)
        if [ $httpd_status -lt 1 ];then
            systemctl start httpd
        fi
        sendmail
  ;;
  backup)
        httpd_status=$(ps -ef|grep -Ev "grep|$0"|grep '\bhttpd\b'|wc -l)
        if [ $httpd_status -gt 0 ];then
            systemctl stop httpd
        fi
  ;;
  *)
        echo "Usage:$0 master|backup VIP"
  ;;
esac
[root@master scripts]# chmod +x notify.sh 
[root@master scripts]# ll notify.sh 
-rwxr-xr-x 1 root root 663 10月 21 03:36 notify.sh

在slave上编写脚本

[root@slave ~]# mkdir /scripts
[root@slave ~]# cd /scripts/
[root@slave scripts]# cat notify.sh 
#! /bin/bash
VIP=$2
sendmail (){
        subject="${VIP}'s server keepalived state is translate"
        content="`date +'%F %T'`: `hostname`'s state change to master"
        echo $content | mail -s "$subject" 1720615473@qq.com
}
case "$1" in
  master)
        httpd_status=$(ps -ef|grep -Ev "grep|$0"|grep '\bhttpd\b'|wc -l)
        if [ $httpd_status -lt 1 ];then
            systemctl start httpd
        fi
        sendmail
  ;;
  backup)
        httpd_status=$(ps -ef|grep -Ev "grep|$0"|grep '\bhttpd\b'|wc -l)
        if [ $httpd_status -gt 0 ];then
            systemctl stop httpd
        fi
  ;;
  *)
        echo "Usage:$0 master|backup VIP"
  ;;
esac

此处的脚本名称应避免与服务名相同，推荐用服务名的首字母代替，如check_n，不要给脚本起名check_nginx

6.6 配置keepalived加入监控脚本的配置

配置主keepalived

[root@master ~]# cat /etc/keepalived/keepalived.conf
! Configuration File for keepalived

global_defs {
   router_id lb01
}

vrrp_script apache_check {
    script "/scripts/check_apache.sh"
    interval 1
    weight -20
}

vrrp_instance VI_1 {
    state MASTER
    interface ens33
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass wangqing
    }
    virtual_ipaddress {
        192.168.25.250
    }
    track_script {
        httpd_check
    }
    notify_master "/scripts/notify.sh master 192.168.25.250"
    notify_backup "/scripts/notify.sh backup 192.168.25.250"
}

virtual_server 192.168.25.250 80 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    persistence_timeout 50
    protocol TCP

    real_server 192.168.25.147 80 {
        weight 1
        TCP_CHECK {
            connect_port 80
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }

    real_server 192.168.25.148 80 {
        weight 1
        TCP_CHECK {
            connect_port 80
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
}
[root@master ~]# systemctl restart keepalived

配置备keepalived
backup无需检测nginx是否正常，当升级为MASTER时启动nginx，当降级为BACKUP时关闭

[root@slave ~]# cat /etc/keepalived/keepalived.conf
! Configuration File for keepalived

global_defs {
   router_id lb02
}

vrrp_instance VI_1 {
    state BACKUP
    interface ens33
    virtual_router_id 51
    priority 90
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass wangqing
    }
    virtual_ipaddress {
        192.168.25.250
    }
    notify_master "/scripts/notify.sh master 192.168.25.250"
    notify_backup "/scripts/notify.sh backup 192.168.25.250"
}

virtual_server 192.168.25.250 80 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    persistence_timeout 50
    protocol TCP

    real_server 192.168.25.147 80 {
        weight 1
        TCP_CHECK {
            connect_port 80
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }

    real_server 192.168.25.148 80 {
        weight 1
        TCP_CHECK {
            connect_port 80
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
}
[root@slave ~]# systemctl restart keepalived

6.7 测试

在这里插入图片描述

栀婉

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
keepalived高可用

文章目录1 高可用基本概述2 VRRP诞生背景及原理2.1 VRRP简介3 Keeplaived基本介绍3.1 Keeplaived核心组件3.2 Keepalived核心概念3.3 Keepalived原理3.4 Keepalived的重要功能3.5 Keepalived高可用故障转移的原理3.6 Keeplaived应用场景4 keepalived配置文件讲解4.1 keepalived默认配置文件4.2 定制主配置文件4.3 实例5 keepalived实现apache负载均衡机高可用5.1 keep
复制链接

扫一扫