Keepalived

已于 2024-08-19 00:39:22 修改
阅读量993 收藏 17
点赞数 11
文章标签： 服务器 linux 运维
于 2024-08-18 09:15:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zcjh_/article/details/141190344
版权

一.高可用集群

1.1 集群类型

LB：Load Balance 负载均衡

LVS/HAProxy/nginx（http/upstream, stream/upstream）

HA：High Availability 高可用集群

数据库、Redis

SPoF: Single Point of Failure，解决单点故障

HPC：High Performance Computing 高性能集群

1.2 系统可用性

SLA：Service-Level Agreement 服务等级协议（提供服务的企业与客户之间就服务的品质、水准、性能 等方面所达成的双方共同认可的协议或契约）

A = MTBF / (MTBF+MTTR）（正常运行时间/正常+故障）

1.3 系统故障

硬件故障：设计缺陷、wear out（损耗）、非人为不可抗拒因素

软件故障：设计缺陷 bug

1.4 实现高可用

提升系统高用性的解决方案：降低MTTR- Mean Time To Repair(平均故障时间)

解决方案：建立冗余机制

active/passive 主/备
active/active 双主
active ——> HEARTBEAT ——> passive 
active <——> HEARTBEAT <——> active

1.5.VRRP

Virtual Router Redundancy Protocol

  • 物理层:路由器、三层交换机

  • 软件层:keepalived

1.5.1 VRRP 相关术语

虚拟路由器：Virtual Router

虚拟路由器标识：VRID(0-255)唯一标识虚拟路由器

VIP：Virtual IP

VMAC：Virutal MAC (00-00-5e-00-01-VRID)

物理路由器：

        master：主设备

        backup：备用设备

        priority：优先级

1.5.2 VRRP 相关技术

通告：心跳，优先级等；周期性

工作方式：抢占式，非抢占式

安全认证：

        无认证

        简单字符认证：预共享密钥

        MD5

工作模式：

        主/备：单虚拟路由器

        主/主：主/备（虚拟路由器1），备/主（虚拟路由器2）互为主备

二.Keepalived 部署

2.1 keepalived 简介

vrrp 协议的软件实现，原生设计目的为了高可用 ipvs服务

官网：Keepalived for Linux

功能：

  • 基于vrrp协议完成地址流动

  • 为vip地址所在的节点生成ipvs规则(在配置文件中预先定义)

  • 为ipvs集群的各RS做健康状态检测

  • 基于脚本调用接口完成脚本中定义的功能，进而影响集群事务，以此支持nginx、haproxy等服务

2.2keepalived架构

用户空间核心组件：
        vrrp stack：VIP消息通告
        checkers：监测real server
        system call：实现 vrrp 协议状态转换时调用脚本的功能
        SMTP：邮件组件
        IPVS wrapper：生成IPVS规则
        Netlink Reflector：网络接口
        WatchDog：监控进程
控制组件：

        提供keepalived.conf 的解析器，完成Keepalived配置
IO复用器：

        针对网络目的而优化的自己的线程抽象
内存管理组件：

        为某些通用的内存管理功能（例如分配，重新分配，发布等）提供访问权限

2.3 Keepalived 环境准备

2.4 Keepalived 相关文件

软件包名：keepalived

主程序文件：/usr/sbin/keepalived

主配置文件：/etc/keepalived/keepalived.conf

配置文件示例：/usr/share/doc/keepalived/

Unit File：/lib/systemd/system/keepalived.service

Unit File的环境配置文件：/etc/sysconfig/keepalived

2.5 Keepalived 安装

安装 keepalived

dnf install keepalived -y
systemctl start keepalived
systemctl status keepalived

2.6 KeepAlived 配置说明

配置文件组成部分

配置文件：/etc/keepalived/keepalived.conf
配置文件组成
        GLOBAL CONFIGURATION
        Global definitions： 定义邮件配置，route_id，vrrp配置，多播地址等
        VRRP CONFIGURATION
        VRRP instance(s)： 定义每个vrrp虚拟路由器
        LVS CONFIGURATION
        Virtual server group(s)
        Virtual server(s)： LVS集群的VS和RS

配置语法说明

! Configuration File for keepalived
global_defs {
   notification_email {
       aaaaaaa@qq.com                                                 #keepalived 发生故障切换时邮件发送的目标邮箱，可以按行区分写多个
       aaaaaaaa@163.com
   }
   notification_email_from bbbbbb@163.com              #发邮件的地址
   smtp_server 127.0.0.1                                              #邮件服务器地址
   smtp_connect_timeout 30                                         #邮件服务器连接timeout
   router_id keep1                                                         #每个keepalived主机唯一标识
                                                                                     #建议使用当前主机名，但多节点
                                                                                      重名不影响
  
 vrrp_skip_check_adv_addr                                         #对所有通告报文都检查，会比较消耗                                                                                      性能
                                                                                     #启用此配置后，如果收到的通告报文

                                                                                     和上一个报文是同一 #个路由器，则跳

                                                                                     过检查，默认值为全检查
  
  
   vrrp_strict                                                                  #严格遵循vrrp协议
                                                                                     #启用此项后以下状况将无法启动服务:
                                                                                     #1.无VIP地址 
                                                                                     #2.配置了单播邻居 
                                                                                     #3.在VRRP版本2中有IPv6地址
                                                                                     #建议不加此项配置
  
 vrrp_garp_interval 0                                                     #报文发送延迟，0表示不延迟
 vrrp_gna_interval 0                                                      #消息发送延迟
 vrrp_mcast_group4 224.0.0.18                                    #指定组播IP地址范围： 
}

配置虚拟路由器

vrrp_instance VI_1 {
   state MASTER
   interface eth0                                                     #绑定为当前虚拟路由器使用的物理接口，

                                                                              如：eth0,可以和VIP不在一个网卡
    
   virtual_router_id 51                                            #每个虚拟路由器惟一标识,范围：0-255，

                                                                              每个虚拟路由器此值必须唯一
                                                                              #否则服务无法启动
                                                                              #同属一个虚拟路由器的多个keepalived节

                                                                              点必须相同
                                                                              #务必要确认在同一网络中此值必须唯一
    
   priority 100                                                         #当前物理节点在此虚拟路由器的优先级，

                                                                              范围：1-254
                                                                              #值越大优先级越高,每个keepalived主机节

                                                                              点此值不同
   
   advert_int 1                                                        #vrrp通告的时间间隔，默认1s
   authentication {                                                  #认证机制
       auth_type AH|PASS                                       #AH为IPSEC认证(不推荐),PASS为简单密

                                                                              码(建议使用)
          uth_pass 1111                                             #预共享密钥，仅前8位有效
                                                                              #同一个虚拟路由器的多个keepalived节点

                                                                              必须一样
   }
   virtual_ipaddress {                                              #虚拟IP,生产环境可能指定上百个IP地址
        
       <IPADDR>/<MASK> brd <IPADDR> dev <STRING> scope <SCOPE> label <LABEL>
       172.25.254.100                                              #指定VIP，不指定网卡，默认为eth0,注

                                                                              意：不指定/prefix,默认32
       172.25.254.101/24 dev eth1
       172.25.254.102/24 dev eth2 label eth2:1
   }
}

2.7启用keepalived日志功能

启用keepalived日志功能

vim /etc/sysconfig/keepalived

vim /etc/rsyslog.conf

重启服务

systemctl restart keepalived rsyslog

2.8实现独立子配置文件

当生产环境复杂时， /etc/keepalived/keepalived.conf 文件中内容过多，不易管理

将不同集群的配置，比如：不同集群的VIP配置放在独立的子配置文件中利用include 指令可以实现包含子配置文件

格式：

include /path/file

示例： 

 vim /etc/keepalived/keepalived.conf

即可在/etc/keepalived/conf.d/下编写子配置文件

三、Keepalived实际使用

3.1Keepalived单主模式

keep1

global_defs {
   notification_email {
     acassen@firewall.loc
     failover@firewall.loc
     sysadmin@firewall.loc
   }
   notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server 192.168.200.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
   vrrp_skip_check_adv_addr
   vrrp_garp_interval 0
   vrrp_gna_interval 0
   vrrp_mcst_group4 224.0.0.18
}

vrrp_instance VI_1 {
    state MASTER
    interface eth0
    virtual_router_id 100
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        172.25.254.100/24 dev eth0 label eth0:1
    }
}

keep2

global_defs {
   notification_email {
     acassen@firewall.loc
     failover@firewall.loc
     sysadmin@firewall.loc
   }
   notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server 192.168.200.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
   vrrp_skip_check_adv_addr
   vrrp_garp_interval 0
   vrrp_gna_interval 0
   vrrp_mcast_group4 224.0.0.18
}

vrrp_instance VI_1 {
    state BACKUP
    interface eth0
    virtual_router_id 100
    priority 80
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        172.25.254.100/24 dev eth0 label eth0:1
    }
}

验证

关闭keep1服务

当关闭keep1服务时，ip变为172.25.254.20

3.2Keepalived双主模式

        master/slave的单主架构，同一时间只有一个Keepalived对外提供服务，此主机繁忙，而另一台主机却很空闲，利用率低下，可以使用master/master的双主架构，解决此问题。

        master/master 的双主架构： 即将两个或以上VIP分别运行在不同的keepalived服务器，以实现服务器并行提供web访问的目的，提高服务器资源利用率。

keep1

 vim /etc/keepalived/keepalived.conf

 配置文件

keep2

 vim /etc/keepalived/keepalived.conf

 

验证

初始状态

keep1

keep2

 

 关闭keep1的keepalived服务

keep1

 keep2

3.3抢占模式和非抢占模式

3.3.1 非抢占模式 nopreempt

默认为抢占模式preempt，即当高优先级的主机恢复在线后，会抢占低先级的主机的master角色，
这样会使vip在KA主机中来回漂移，造成网络抖动。
建议设置为非抢占模式 nopreempt ，即高优先级主机恢复后，并不会抢占低优先级主机的master角色，非抢占模块下,如果原主机宕机, VIP迁移至的新主机, 后续也发生宕机时,仍会将VIP迁移回原主机

注意：

要关闭 VIP抢占，必须将各 keepalived 服务器state配置为BACKUP

 keep1

keep2

验证

初始状态

keep1

keep2 

 重启keep1

 

如果keep2一直正常工作，vip将一直在keep2上

3.3.2抢占延迟模式 preempt_delay

抢占延迟模式，即优先级高的主机恢复后，不会立即抢回VIP，而是延迟一段时间（默认300s）再抢回 VIP

注意：

需要各keepalived服务器state为BACKUP,并且不要启用 vrrp_strict

keep1

keep2

keep1当在10s后再去抢占keep2的VIP

3.4VIP单播配置

默认keepalived主机之间利用多播相互通告消息，会造成网络拥塞，可以替换成单播，减少网络流量

注意：启用global_defs的vrrp_strict 时，不能启用单播

 前提：

语法 

unicast_src_ip   <IPADDR>                   #指定发送单播的源IP

unicast_peer {      

        <IPADD>                                        #指定接收单播的对方目标主机IP

}

示例：

keep1

keep2

效果：

keep1

keep2 

停止keep1后

 3.6实现IPVS的高可用性

 3.6.1 IPVS相关配置

虚拟服务器配置结构

virtual_server IP port {

           ...

        real_server {

         ...

        }

        real_server {

        ...

        }

        …

}

virtual server （虚拟服务器）的定义格式

virtual_server IP port                          #定义虚拟主机IP地址及其端口

virtual_server fwmark int                    #ipvs的防火墙打标，实现基于防火墙的负载均衡集群

virtual_server group string                  #使用虚拟服务器组

虚拟服务器配置

virtual_server IP port {              #VIP和PORT
 delay_loop <INT>                     #检查后端服务器的时间间隔
 lb_algo rr|wrr|lc|wlc|lblc|sh|dh     #定义调度方法
 lb_kind NAT|DR|TUN                   #集群的类型,注意要大写
 persistence_timeout <INT>            #持久连接时长
 protocol TCP|UDP|SCTP                #指定服务协议,一般为TCP
 sorry_server <IPADDR> <PORT>         #所有RS故障时，备用服务器地址
 real_server <IPADDR> <PORT> {        #RS的IP和PORT
 weight <INT>                         #RS权重
 notify_up <STRING>|<QUOTED-STRING>   #RS上线通知脚本
 notify_down <STRING>|<QUOTED-STRING> #RS下线通知脚本
 HTTP_GET|SSL_GET|TCP_CHECK|SMTP_CHECK|MISC_CHECK { ... }     #定义当前主机健康状态检测方法
 }
}

#注意:括号必须分行写,两个括号写在同一行,如: }} 会出错

应用层监测

HTTP_GET|SSL_GET {
 url {
      path <URL_PATH>                 #定义要监控的URL
      status_code <INT>               #判断上述检测机制为健康状态的响应码，一般为 200
    }
    connect_timeout <INTEGER>         #客户端请求的超时时长, 相当于haproxy的timeout server
    nb_get_retry <INT>                #重试次数
    delay_before_retry <INT>          #重试之前的延迟时长
    connect_ip <IP ADDRESS>           #向当前RS哪个IP地址发起健康状态检测请求
    connect_port <PORT>               #向当前RS的哪个PORT发起健康状态检测请求
    bindto <IP ADDRESS>               #向当前RS发出健康状态检测请求时使用的源地址
    bind_port <PORT>                  #向当前RS发出健康状态检测请求时使用的源端口
}

TCP监测

TCP_CHECK {
    connect_ip <IP ADDRESS>          #向当前RS的哪个IP地址发起健康状态检测请求
    connect_port <PORT>              #向当前RS的哪个PORT发起健康状态检测请求
    bindto <IP ADDRESS>              #发出健康状态检测请求时使用的源地址
    bind_port <PORT>                 #发出健康状态检测请求时使用的源端口
    connect_timeout <INTEGER>        #客户端请求的超时时长
                                     #等于haproxy的timeout server   
}
 实现单主的 LVS-DR 模式

Server1与Server2

配置vip，以及arp

arp永久配置方法
vim /etc/sysctl.d/arp.conf

net.ipv4.conf.all.arp_ignore=1
net.ipv4.conf.all.arp_announce=2
net.ipv4.conf.lo.arp_ignore=1
net.ipv4.conf.lo.arp_announce=2

sysctl --system         #重新加载

 keep1

systemctl restart keepalived.service

keep2

systemctl restart keepalived.service

效果

初始状态

效果1：关闭Server1，httpd服务后

自动改变

效果2：关闭keep1，keepalived服务后

vip来到keep2

雪I霁
关注
keepalived
嗯哼的博客
09-09 1202
keepalived官网:http://www.keepalived.org Keepalived安装 方法一：yum方式 1、yum安装 安装依赖包 [root@localhost ~]# yum install -y curl gcc openssl-devel libnl3-devel net-snmp-devel [root@localhost ~]# yum install -y keepalived 2、初始化及启动 [root@localhost ~]# s...
Keepalived入门
青晨的歌
11-19 2437
Keepalived入门1 安装和基本操作1.1 准备1.2 安装1.3 配置1.4 启动停止2 常用配置2.1 非抢占模式2.2 密码验证2.3 监控脚本2.4 网卡监控2.5 通知脚本  　Keepalived通过VRRP协议（Virtual Router Redundancy Protocol，虚拟路由器冗余协议）实现高可用功能，解决静态路由单点故障问题，保证个别节点宕机时，整个网络能不间断...
Keepalived详解
m0_74053853的博客
08-13 1681
负载均衡是一种在真实集群之间分配 IP 流量的方法 服务器，提供一个或多个高可用性虚拟服务。在设计负载均衡拓扑时，必须考虑负载均衡器本身以及后面的真实服务器的可用性。Keepalived 为负载均衡和高可用性提供了框架。负载均衡框架依赖于众所周知且广泛使用的 Linux 虚拟服务器 （IPVS） 内核模块，提供第 4 层负载均衡。Keepalived 实现了一组健康检查器，以动态和自适应的方式 根据服务器池的运行状况维护和管理负载均衡的服务器池。高可用性是通过虚拟冗余路由协议实现的 （VRRP）。
Keepalived 配置详解
热门推荐
挣扎技术
03-21 1万+
一、Keepalived概述 keepalived是一个类似于layer3,4,5交换机制的软件，也就是我们平时说的第3层、第4层和第5层交换。Keepalived的作用是检测web服务器的状态，如果有一台web服务器死机，或工作出现故障，Keepalived将检测到，并将有故障的web服务器从系统中剔除，当web服务器工作正常后Keepalived自动将web服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的web服务器。 Layer3,4&5工作在IP/TC
KEEPALIVED
qq_26697595的博客
08-18 904
Keepalived是一个用于提高 Linux 系统高可用性的软件，主要用于实现服务器集群中的故障转移和负载均衡。它最初是为了 LVS (Linux Virtual Server) 集群而开发的，但现在也被广泛应用于其他场景。
keepalived安装
tracy9171的博客
04-18 1333
keepalived安装
Keepalived 简介
weixin_43740223的博客
11-03 549
Keepalived 简介 官网： https://www.keepalived.org/index.html 什么是Keepalived Keepalived是一个用c语言编写的路由软件，这个项目的主要目标是为Linux系统和基于Linux的基础设施提供简单而健壮的负载平衡和高可用性的设施。loadbalance框架依赖于著名且广泛使用的Linux Virtual Server (IPVS)内核模块提供的第4层loadbalance。Keepalived实现了一组检查器，根据负载平衡服务器池的运行状况动态
Keepalived简介以及常见用途
小橙子的笔记屋
08-16 725
keepalived简介以及用途
keepalived 介绍
qq_60271706的博客
08-03 761
VRRP（Virtual Router Redundancy Protocol，虚拟路由器冗余协议）是由IETF提出的解决局域网中配置静态网关出现单点失效现象的路由协议。当两台高可用服务器在指定的时间内，无法互相检测到对方而各自启动故障转移功能，取得了资源以及服务的所有权，而此时的两台高可用服务器对都还活着并作正常运行，这样就会导致同一个服务在两端同时启动而发生冲突的严重问题，最严重的就是两台主机同时占用一个VIP的地址。
keepalived离线安装包
08-21
《keepalived离线安装包详解》 在IT领域，特别是在服务器高可用性与负载均衡的解决方案中，Keepalived是一款至关重要的工具。本篇将详细介绍Keepalived 2.0.19版本的离线安装包，以及如何在没有网络连接的环境下...
基于ubuntu自动化安装Keepalived以实现高可用
04-27
此外，这个脚本假设你正在安装Keepalived作为MASTER节点；如果你正在安装BACKUP节点，你需要更改state MASTER为state BACKUP，并相应地调整priority值。 此外，对于生产环境，你可能还需要考虑其他因素，如防火墙...
keepalived安装包
05-26
keepalived安装包内容： keepalived-2.2.7.tar.gz keepalived-1.4.5.tar.gz keepalived-2.0.20.tar.gz keepalived-2.1.5.tar.gz
keepalived安装部署
09-30
**Keepalived安装部署详解** Keepalived是一款开源的网络和服务监控软件，它主要用于实现Linux服务器间的负载均衡和高可用性。在系统集群中，Keepalived与Nginx、HAProxy等配合使用，可以确保当主服务器出现故障时...
awk 切割字符串 shell linux
abc
09-24 412
shell linux awk 切割字符串。
Linux-L14-Linux中把用户加入到管理者root中
禅：戒定慧
09-25 552
将普通用户添加到root组
Linux 文件目录结构（详细）
2301_80035882的博客
09-26 455
Linux的文件系统是采用级层式的树状目录结构，在此结构中的最上层是根目录“/”，然后在此目录下再创建其他的目录。Linux世界中，一切皆文件！
服务器数据恢复—存储映射到服务器上的卷无法挂载的数据恢复案例
最新发布
beiya123的博客
09-27 625
一台存储上有一组由16块FC硬盘组建了一组raid。存储前面板上的对应10号和13号硬盘的故障灯亮起，存储映射到redhat linux操作系统服务器上的卷挂载不上，业务中断。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值