Keepalived基本原理与配置参数介绍

最新推荐文章于 2024-08-17 17:24:53 发布

huangyaa729

最新推荐文章于 2024-08-17 17:24:53 发布

阅读量3.3k

点赞数 2

分类专栏： keepAilved 文章标签： keepAilved

keepAilved 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

最近在整理负载均衡的工具时，了解了下Keepalived这一解决单点故障的工具，为了方便以后的学习及使用，做了下诉的介绍：

Keepalived简介
Keepalived是Linux下一个轻量级别的高可用解决方案。高可用：广义来讲，是指整个系统的高可用行；狭义的来讲就是主机的冗余和接管。

它与HeartBeat实现类似的功能，都可以实现服务或者网络的高可用，但是又有差别，HeartBeat是一个专业的、功能完善的高可用软件，它提供HA软件所需的基本功能，比如：心跳检测、资源接管，检测集群中的服务，在集群节点转移共享IP地址的所有者等等。HeartBeat功能强大，但是部署和使用相对比较麻烦，与HeartBeat相比，Keepalived主要是通过虚拟路由冗余来实现高可用功能，虽然它没有HeartBeat功能强大，但是Keepalived部署和使用非常的简单，所有配置只需要一个配置文件即可以完成。

Keepalived是什么？
Keepalived起初是为LVS设计的，专门用来监控集群系统中各个服务节点的状态，它根据TCP/IP参考模型的第三、第四层、第五层交换机制检测每个服务节点的状态，如果某个服务器节点出现异常，或者工作出现故障，Keepalived将检测到，并将出现的故障的服务器节点从集群系统中剔除，这些工作全部是自动完成的，不需要人工干涉，需要人工完成的只是修复出现故障的服务节点。

后来Keepalived又加入了VRRP的功能，VRRP（VritrualRouterRedundancyProtocol,虚拟路由冗余协议)出现的目的是解决静态路由出现的单点故障问题，通过VRRP可以实现网络不间断稳定运行，因此Keepalvied一方面具有服务器状态检测和故障隔离功能，另外一方面也有HAcluster功能。

所以目前健康检查和失败切换是keepalived的两大核心功能。所谓的健康检查，就是采用tcp三次握手，icmp请求，http请求，udp echo请求等方式对负载均衡器后面的实际的服务器(通常是承载真实业务的服务器)进行保活；而失败切换主要是应用于配置了主备模式的负载均衡器，利用VRRP维持主备负载均衡器的心跳，当主负载均衡器出现问题时，由备负载均衡器承载对应的业务，从而在最大限度上减少流量损失，并提供服务的稳定性。

VRRP协议与工作原理
在现实的网络环境中。主机之间的通信都是通过配置静态路由或者(默认网关)来完成的，而主机之间的路由器一旦发生故障，通信就会失效，因此这种通信模式当中，路由器就成了一个单点瓶颈，为了解决这个问题，就引入了VRRP协议。

VRRP协议是一种容错的主备模式的协议，保证当主机的下一跳路由出现故障时，由另一台路由器来代替出现故障的路由器进行工作，通过VRRP可以在网络发生故障时透明的进行设备切换而不影响主机之间的数据通信。

虚拟路由器：虚拟路由器是VRRP备份组中所有路由器的集合，它是一个逻辑概念，并不是正真存在的。从备份组外面看备份组中的路由器，感觉组中的所有路由器就像一个一样，可以理解为在一个组中：主路由器+所有备份路由器=虚拟路由器。虚拟路由器有一个虚拟的IP地址和MAC地址。主机将虚拟路由器当作默认网关。虚拟MAC地址的格式为00-00-5E-00-01-{VRID}。通常情况下，虚拟路由器回应ARP请求使用的是虚拟MAC地址，只有虚拟路由器做特殊配置的时候，才回应接口的真实MAC地址。

主路由器（MASTER）：虚拟路由器通过虚拟IP对外提供服务，而在虚拟路由器内部同一时间只有一台物理路由器对外提供服务，这台提供服务的物理路由器被称为主路由器。一般情况下Master是由选举算法产生，它拥有对外服务的虚拟IP，提供各种网络功能，如：ARP请求，ICMP数据转发等。

备份路由器（BACKUP）：虚拟路由器中的其他物理路由器不拥有对外的虚拟IP，也不对外提供网络功能，仅接受MASTER的VRRP状态通告信息，这些路由器被称为备份路由器。当主路由器失败时，处于BACKUP角色的备份路由器将重新进行选举，产生一个新的主路由器进入MASTER角色，继续提供对外服务，整个切换对用户来说是完全透明的。

VRRP选举机制
VRRP路由器在运行过程中有三种状态：

Initialize状态：系统启动后就进入Initialize，此状态下路由器不对VRRP报文做任何处理；
Master状态；
Backup状态；

一般主路由器处于Master状态，备份路由器处于Backup状态。

VRRP使用选举机制来确定路由器的状态，优先级选举：
1.VRRP组中IP拥有者。如果虚拟IP地址与VRRP组中的某台VRRP路由器IP地址相同，则此路由器为IP地址拥有者，这台路由器将被定位主路由器。
2.比较优先级。如果没有IP地址拥有者，则比较路由器的优先级，优先级的范围是0~255，优先级大的作为主路由器
3.比较IP地址。在没有Ip地址拥有者和优先级相同的情况下，IP地址大的作为主路由器。

如下图所示，虚拟IP为10.1.1.254，在VRRP组中没有IP地址拥有者，则比较优先级，很明显RB和RA的优先级要大于RC，则比较RA和RB的IP地址，RB的IP地址大。所以RB为组中的主路由器。
在这里插入图片描述

工作过程
路由器使用VRRP 功能后，会根据优先级确定自己在备份组中的角色。优先级高的路由器成为Master 路由器，优先级低的成为Backup 路由器。Master 拥有对外服务的虚拟IP，提供各种网络功能，并定期发送VRRP 报文，通知备份组内的其他设备自己工作正常；Backup 路由器只接收Master 发来的报文信息，用来监控Master 的运行状态。当Master 失效时，Backup 路由器进行选举，优先级高的Backup 将成为新的Master 。

在抢占方式下，当Backup 路由器收到VRRP 报文后，会将自己的优先级与报文中的优先级进行比较。如果大于通告报文中的优先级，则成为Master 路由器；否则将保持Backup状态；

在非抢占方式下，只要Master 路由器没有出现故障，备份组中的路由器始终保持Master 或Backup 状态，Backup 路由器即使随后被配置了更高的优先级也不会成为Master 路由器；

如果Backup 路由器的定时器超时后仍未收到Master 路由器发送来的VRRP报文，则认为Master 路由器已经无法正常工作，此时Backup 路由器会认为自己是Master 路由器，并对外发送VRRP报文。备份组内的路由器根据优先级选举出Master 路由器，承担报文的转发功能。

Keepalvied的工作原理
Keepalived对服务器运行状态和故障隔离的工作原理：
Keepalived工作在TCP/IP参考模型的三层、四层、五层（物理层，链路层）：
网络层（3）：Keepalived通过ICMP协议向服务器集群中的每一个节点发送一个ICMP数据包(有点类似与Ping的功能)，如果某个节点没有返回响应数据包，那么认为该节点发生了故障，Keepalived将报告这个节点失效，并从服务器集群中剔除故障节点。

传输层（4）：Keepalived在传输层里利用了TCP协议的端口连接和扫描技术来判断集群节点的端口是否正常，比如对于常见的WEB服务器80端口。或者SSH服务22端口，Keepalived一旦在传输层探测到这些端口号没有数据响应和数据返回，就认为这些端口发生异常，然后强制将这些端口所对应的节点从服务器集群中剔除掉。

应用层（5）：，Keepalived的运行方式也更加全面化和复杂化，用户可以通过自定义Keepalived工作方式，例如：可以通过编写程序或者脚本来运行Keepalived，而Keepalived将根据用户的设定参数检测各种程序或者服务是否允许正常，如果Keepalived的检测结果和用户设定的不一致时，Keepalived将把对应的服务器从服务器集群中剔除。

Keepalived体系结构

Keepalived起初是为LVS设计的，由于Keeplalived可以实现对集群节点的状态检测，而IPVS可以实现负载均衡功能，因此,Keepalived借助于第三方模块IPVS就可以很方便地搭建一套负载均衡系统。在Keepalived当中IPVS模块是可配置的，如果需要负载均衡功能，可以在编译Keepalived时开打负载均衡功能，也可以通过编译参数关闭。
在这里插入图片描述
SchedulerI/OMultiplexer是一个I/O复用分发调度器，它负载安排Keepalived所有内部的任务请求；

Memory Mngt是一个内存管理机制，这个框架提供了访问内存的一些通用方法；

Control Plane 是keepalived的控制版面，可以实现对配置文件编译和解析；

Core componets 这部分主要包含了5个部分；

Watchdog：是计算机可靠领域中极为简单又非常有效的检测工具，Keepalived正是通过它监控Checkers和VRRP进程的。
Checkers:这是Keepalived最基础的功能，也是最主要的功能，可以实现对服务器运行状态检测和故障隔离。
VRRP
Stack:这是keepalived后来引用VRRP功能，可以实现HA集群中失败切换功能。负责负载均衡器之间的失败切换FailOver；
IPVS wrapper:这个是IPVS功能的一个实现，IPVSwarrper模块将可以设置好的IPVS规则发送的内核空间并且提供给IPVS模块，最终实现IPVS模块的负载功能。
Netlink Reflector：用来实现高可用集群Failover时虚拟IP(VIP)的设置和切换，

keepalived运行时，会启动3个进程，分别为：core(核心进程)，check和vrrp

core：负责主进程的启动，维护和全局配置文件的加载；
check：负责健康检查
vrrp：用来实现vrrp协议

与heartbeat/corosync等比较

Heartbeat、Corosync、Keepalived这三个集群组件我们到底选哪个好，Heartbeat、Corosync是属于同一类型，Keepalived与Heartbeat、Corosync，根本不是同一类型的。Keepalived使用的vrrp虚拟路由冗余协议方式；Heartbeat或Corosync是基于主机或网络服务的高可用方式；简单的说就是，Keepalived的目的是模拟路由器的高可用，Heartbeat或Corosync的目的是实现Service的高可用。
　　
　　所以一般Keepalived是实现前端高可用，常用的前端高可用的组合有，就是我们常见的LVS+Keepalived、Nginx+Keepalived、HAproxy+Keepalived。而Heartbeat或Corosync是实现服务的高可用，常见的组合有Heartbeat v3(Corosync)+Pacemaker+NFS+Httpd 实现Web服务器的高可用、Heartbeat v3(Corosync)+Pacemaker+NFS+MySQL 实现MySQL服务器的高可用。总结一下，Keepalived中实现轻量级的高可用，一般用于前端高可用，且不需要共享存储，一般常用于两个节点的高可用。而Heartbeat(或Corosync)一般用于服务的高可用，且需要共享存储，一般用于多节点的高可用。

配置参数介绍

Keepalived的全局配置

在上节安装Keepalived的过程中，指定了Keepalived配置文件的路径为/etc/Keepalived/Keepalived.conf，Keepalived的所有配置均在这个配置文件中完成。由于Keepalived.conf文件中可配置的选项比较多，这里根据配置文件所实现的功能，将Keepalived配置分为三类，分别是：全局配置(Global Configuration)、VRRPD配置和LVS配置。下面将主要介绍下Keepalived配置文件中一些常用配置选项的含义和用法。

Keepalived的配置文件都是以块（block）的形式组织的，每个块的内容都包含在{}中，以“#”和“!”开头的行都是注释。全局配置就是对整个Keepalived都生效的配置，基本内容如下：

! Configuration File for keepalived
global_defs {
   notification_email {
     dba.gao@gmail.com
     ixdba@163.com
   }
   notification_email_from Keepalived@localhost
   smtp_server 192.168.200.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL 
}

全局配置以“global_defs”作为标识，在“global_defs”区域内的都是全局配置选项，其中：

notification_email用于设置报警邮件地址，可以设置多个，每行一个。注意，如果要开启邮件报警，需要开启本机的Sendmail服务。

notification_email_from用于设置邮件的发送地址。

smtp_server用于设置邮件的smtp server地址。

smtp_connect_timeout用于设置连接smtp server的超时时间。

router_id表示运行Keepalived服务器的一个标识，是发邮件时显示在邮件主题中的信息。

Keepalived的VRRPD配置

VRRPD配置是Keepalived所有配置的核心，主要用来实现Keepalived的高可用功能。从结构上来看，VRRPD配置又可分为VRRP同步组配置和VRRP实例配置。

这里首先介绍同步组实现的主要功能。同步组是相对于多个VRRP实例而言的，在多个VRRP实例的环境中，每个VRRP实例所对应的网络环境会有所不同，假设一个实例处于网段A，另一个实例处于网段B，而如果VRRPD只配置了A网段的检测，那么当B网段主机出现故障时，VRRPD会认为自身仍处于正常状态，进而不会进行主备节点的切换，这样问题就出现了。同步组就是用来解决这个问题的，将所有VRRP实例都加入到同步组中，这样任何一个实例出现问题，都会导致Keepalived进行主备切换。

下面是两个同步组的配置样例：

vrrp_sync_group G1 {
  group {
    VI_1
    VI_2
    VI_5
  }
}
vrrp_sync_group G2 {
  group {
    VI_3
    VI_4
  }
}

其中，G1同步组包含VI_1、VI_2、VI_5三个VRRP实例，G2同步组包含VI_3、VI_4两个VRRP实例。这五个实例将在vrrp_instance段进行定义。另外，在vrrp_sync_group段中还出现了notify_master、notify_backup、notify_fault和notify_stop四个选项，这是Keepalived配置中的一个通知机制，也是Keepalived包含的四种状态。下面介绍每个选项的含义。

下面正式进入VRRP实例的配置，也就是配置Keepalived的高可用功能。VRRP实例段主要用来配置节点角色（主或从）、实例绑定的网络接口、节点间验证机制、集群服务IP等。下面是实例VI_1的一个配置样例。

    vrrp_instance VI {         #定义一个虚拟路由
    state MASTER|BACKUP     #当前节点在此虚拟路由器上的初始状态；只能有一个是MASTER，余下的都应该为BACKUP，启动后根据priority竞选；
    interface eth0          #绑定为当前虚拟路由器使用的物理接口；
    virtual_router_id 51    #当前虚拟路由器的惟一标识，范围是0-255；
    priority 100            #当前主机在此虚拟路由器中的优先级；范围1-254；MASTER 至少高于BACKUP50
    advert_int 1            #通告发送间隔，包含主机优先级、心跳等,默认为1。
    authentication {        #认证配置   
        auth_type PASS      #认证类型，PASS表示简单字符串认证
        auth_pass 1111      #密码,PASS密码最长为8位

   virtual_ipaddress {            #指定漂移地址，切换到MASTERS时该IP会被添加，切换到BACKUP,ip被删除并传给BACKUP(使用ip addr绑定)
    192.168.200.16                          #虚拟路由IP地址，以辅助地址方式设置
    192.168.200.18/24 dev eth2 label eth2:1 #以别名的方式设置
    }

track_interface {            #配置额外的监控，里面任意一个网卡出现问题，都会进入FAULT（故障）状态
        eth0
        eth1

}                           
nopreempt                   #定义工作模式为非抢占模式；
preempt_delay 300           #抢占式模式下，节点上线后触发新选举操作的延迟时长,默认5分钟；
   virtual_routes {         #配置路由信息，可选项，与virtual_ipaddress 类似
               #  src <IPADDR> [to] <IPADDR>/<MASK> via|gw <IPADDR> [or <IPADDR>] dev <STRING> scope
       <SCOPE> tab
               src 192.168.100.1 to 192.168.109.0/24 via 192.168.200.254 dev eth1
               192.168.112.0/24 via 192.168.100.254       192.168.113.0/24  via  192.168.200.254  or 192.168.100.254 dev eth1      blackhole 192.168.114.0/24
           }


    notify_master /path/to/to_master.sh          #当前节点成为主节点时触发的脚本。
    notify_backup <STRING>|<QUOTED-STRING>       #当前节点转为备节点时触发的脚本。
    notify_fault <STRING>|<QUOTED-STRING>        #当前节点转为“失败”状态时触发的脚本。
    notify <STRING>|<QUOTED-STRING>              #通用格式的通知触发机制，一个脚本可完成以上三种状态的转换时的通知。
    smtp_alert                                   #调用golbal_defs设置的邮件设置，切换后发送邮件
}

VRRP配置以“vrrp_instance”作为标识，在这个实例中包含了若干配置选项，分别介绍如下：

vrrp_instance是VRRP实例开始的标识，后跟VRRP实例名称。
state用于指定Keepalived的角色，MASTER表示此主机是主服务器，BACKUP表示此主机是备用服务器。

interface用于指定HA监测网络的接口。

virtual_router_id是虚拟路由标识，这个标识是一个数字，同一个vrrp实例使用唯一的标识，即在同一个vrrp_instance下，MASTER和BACKUP必须是一致的。

priority用于定义节点优先级，数字越大表示节点的优先级就越高。在一个vrrp_instance下，MASTER的优先级必须大于BACKUP的优先级。

advert_int用于设定MASTER与BACKUP主机之间同步检查的时间间隔，单位是秒。

mcast_src_ip用于设置发送多播包的地址，如果不设置，将使用绑定的网卡所对应的IP地址。

garp_master_delay用于设定在切换到Master状态后延时进行Gratuitous arp请求的时间。

track_interface用于设置一些额外的网络监控接口，其中任何一个网络接口出现故障，Keepalived都会进入FAULT状态。

authentication用于设定节点间通信验证类型和密码，验证类型主要有PASS和AH两种，在一个vrrp_instance下，MASTER与BACKUP必须使用相同的密码才能正常通信。

virtual_ipaddress用于设置虚拟IP地址（VIP），又叫做漂移IP地址。可以设置多个虚拟IP地址，每行一个。之所以称为漂移IP地址，是因为Keepalived切换到Master状态时，这个IP地址会自动添加到系统中，而切换到BACKUP状态时，这些IP又会自动从系统中删除。Keepalived通过“ip address add”命令的形式将VIP添加进系统中。要查看系统中添加的VIP地址，可以通过“ip add”命令实现。“virtual_ipaddress”段中添加的IP形式可以多种多样，例如可以写成 “192.168.16.189/24 dev eth1” 这样的形式，而Keepalived会使用IP命令“ip addr add 192.168.16.189/24 dev eth1”将IP信息添加到系统中。因此，这里的配置规则和IP命令的使用规则是一致的。（brd 表示广播报文地址，可省略，dev表示映射或绑定到指定网卡上）

virtual_routes和virtual_ipaddress段一样，用来设置在切换时添加或删除相关路由信息。使用方法和例子可以参考上面的示例。通过“ip route”命令可以查看路由信息是否添加成功，此外，也可以通过上面介绍的notify_master选项来代替virtual_routes实现相同的功能。（主要是 src属性，通过查阅相关文档，我觉得表示通过此配置网关出去报文，原地址设置为src指定的地址；blackhole 属性表示自动丢弃的网段报文）
详情参考：http://www.cnblogs.com/sammyliu/p/4713562.html

nopreempt设置的是高可用集群中的不抢占功能。在一个HA Cluster中，如果主节点死机了，备用节点会进行接管，主节点再次正常启动后一般会自动接管服务。这种来回切换的操作，对于实时性和稳定性要求不高的业务系统来说，还是可以接受的，而对于稳定性和实时性要求很高的业务系统来说，不建议来回切换，毕竟服务的切换存在一定的风险和不稳定性，在这种情况下，就需要设置nopreempt这个选项了。设置nopreempt可以实现主节点故障恢复后不再切回到主节点，让服务一直在备用节点工作，直到备用节点出现故障才会进行切换。在使用不抢占时，只能在“state”状态为“BACKUP”的节点上设置，而且这个节点的优先级必须高于其他节点。

preemtp_delay用于设置抢占的延时时间，单位是秒。有时候系统启动或重启之后网络需要经过一段时间才能正常工作，在这种情况下进行发生主备切换是没必要的，此选项就是用来设置这种情况发生的时间间隔。在此时间内发生的故障将不会进行切换，而如果超过“preemtp_delay”指定的时间，并且网络状态异常，那么才开始进行主备切换。
notify_master：指定当Keepalived进入Master状态时要执行的脚本，这个脚本可以是一个状态报警脚本，也可以是一个服务管理脚本。Keepalived允许脚本传入参数，因此灵活性很强。

notify_backup：指定当Keepalived进入Backup状态时要执行的脚本，同理，这个脚本可以是一个状态报警脚本，也可以是一个服务管理脚本。

notify_fault：指定当Keepalived进入Fault状态时要执行的脚本，脚本功能与前两个类似。

notify_stop：指定当Keepalived程序终止时需要执行的脚本。

参考：https://www.cnblogs.com/g2thend/p/10858392.html
https://www.jianshu.com/p/f06451c5830f（普通做单点故障工具的配置）
可参考的配置方式：
nginx+keepalive实现高可用负载均衡 https://blog.csdn.net/yabingshi_tech/article/details/52038332
keepalived的vip怎么设置为公网IP？ https://www.zhihu.com/question/39595620