高性能集群软件Keepalived

【第一篇】

本文出自 “技术成就梦想” 博客，请务必保留此出处http://ixdba.blog.51cto.com/2895551/1650311

一、Keepalived介绍

Keepalived是Linux下一个轻量级的高可用解决方案，它与HeartBeat、RoseHA实现的功能类似，都可以实现服务或者网络的高可用，但是又有差别：HeartBeat是一个专业的、功能完善的高可用软件，它提供了HA软件所需的基本功能，比如心跳检测和资源接管，监测集群中的系统服务，在群集节点间转移共享IP地址的所有者等，HeartBeat功能强大，但是部署和使用相对比较麻烦；与HeartBeat相比，Keepalived主要是通过虚拟路由冗余来实现高可用功能，虽然它没有HeartBeat功能强大，但Keepalived部署和使用非常简单，所有配置只需一个配置文件即可完成。这也是本章重点介绍Keepalived的原因。

二、Keepalived是什么

Keepalived起初是为LVS设计的，专门用来监控集群系统中各个服务节点的状态。它根据layer3, 4 & 5交换机制检测每个服务节点的状态，如果某个服务节点出现异常，或工作出现故障，Keepalived将检测到，并将出现故障的服务节点从集群系统中剔除，而在故障节点恢复正常后，Keepalived又可以自动将此服务节点重新加入到服务器集群中，这些工作全部自动完成，不需要人工干涉，需要人工完成的只是修复出现故障的服务节点。

Keepalived后来又加入了VRRP的功能，VRRP是Virtual Router Redundancy Protocol（虚拟路由器冗余协议）的缩写，它出现的目的是为了解决静态路由出现的单点故障问题，通过VRRP可以实现网络不间断地、稳定地运行。因此，Keepalived一方面具有服务器状态检测和故障隔离功能，另一方面也具有HA cluster功能.下面详细介绍下VRRP协议的实现过程。

三、 VRRP协议与工作原理

    在现实的网络环境中，主机之间的通信都是通过配置静态路由（默认网关）完成的，而主机之间的路由器一旦出现故障，通信就会失败，因此，在这种通信模式中，路由器就成了一个单点瓶颈，为了解决这个问题，就引入了VRRP协议。

    熟悉网络的读者对VRRP协议应该并不陌生。它是一种主备模式的协议，通过VRRP可以在网络发生故障时透明地进行设备切换而不影响主机间的数据通信，这其中涉及两个概念：物理路由器和虚拟路由器。

    VRRP可以将两台或多台物理路由器设备虚拟成一个虚拟路由器，这个虚拟路由器通过虚拟IP（一个或多个）对外提供服务，而在虚拟路由器内部，是多个物理路由器协同工作，同一时间只有一台物理路由器对外提供服务，这台物理路由器被称为主路由器（处于MASTER角色）。一般情况下MASTER由选举算法产生，它拥有对外服务的虚拟IP，提供各种网络功能，如ARP请求、ICMP、数据转发等。而其他物理路由器不拥有对外的虚拟IP，也不提供对外网络功能，仅仅接收MASTER的VRRP状态通告信息，这些路由器被统称为备份路由器（处于BACKUP角色）。当主路由器失效时，处于BACKUP角色的备份路由器将重新进行选举，产生一个新的主路由器进入MASTER角色继续提供对外服务，整个切换过程对用户来说完全透明。

    每个虚拟路由器都有一个唯一标识，称为VRID，一个VRID与一组IP地址构成了一个虚拟路由器。在VRRP协议中，所有的报文都是通过IP多播形式发送的，而在一个虚拟路由器中，只有处于MASTER角色的路由器会一直发送VRRP数据包，处于BACKUP角色的路由器只接收MASTER发过来的报文信息，用来监控MASTER运行状态，因此，不会发生BACKUP抢占的现象，除非它的优先级更高。而当MASTER不可用时，BACKUP也就无法收到MASTER发过来的报文信息，于是就认定MASTER出现故障，接着多台BACKUP就会进行选举，优先级最高的BACKUP将成为新的MASTER，这种选举并进行角色切换的过程非常快，因而也就保证了服务的持续可用性。

四、Keepalived工作原理

上节简单介绍了Keepalived通过VRRP实现高可用功能的工作原理，而Keepalived作为一个高性能集群软件，它还能实现对集群中服务器运行状态的监控及故障隔离。下面继续介绍下Keepalived对服务器运行状态监控和检测的工作原理。

Keepalived工作在TCP/IP参考模型的第三、第四和第五层，也就是网络层、传输层和应用层。根据TCP/IP参考模型各层所能实现的功能，Keepalived运行机制如下。

在网络层，运行着四个重要的协议：互连网协议IP、互连网控制报文协议ICMP、地址转换协议ARP以及反向地址转换协议RARP。Keepalived在网络层采用的最常见的工作方式是通过ICMP协议向服务器集群中的每个节点发送一个ICMP的数据包（类似于ping实现的功能），如果某个节点没有返回响应数据包，那么就认为此节点发生了故障，Keepalived将报告此节点失效，并从服务器集群中剔除故障节点。

在传输层，提供了两个主要的协议：传输控制协议TCP和用户数据协议UDP。传输控制协议TCP可以提供可靠的数据传输服务，IP地址和端口，代表一个TCP连接的一个连接端。要获得TCP服务,须在发送机的一个端口上和接收机的一个端口上建立连接，而Keepalived在传输层就是利用TCP协议的端口连接和扫描技术来判断集群节点是否正常的。比如，对于常见的Web服务默认的80端口、SSH服务默认的22端口等，Keepalived一旦在传输层探测到这些端口没有响应数据返回，就认为这些端口发生异常，然后强制将此端口对应的节点从服务器集群组中移除。

在应用层，可以运行FTP、TELNET、SMTP、DNS等各种不同类型的高层协议，Keepalived的运行方式也更加全面化和复杂化，用户可以通过自定义Keepalived的工作方式，例如用户可以通过编写程序来运行Keepalived，而Keepalived将根据用户的设定检测各种程序或服务是否允许正常，如果Keepalived的检测结果与用户设定不一致时，Keepalived将把对应的服务从服务器中移除。

五、Keepalived的体系结构

Keepalived是一个高度模块化的软件，结构简单，但扩展性很强，如有兴趣的读者，可以阅读下Keepalived的源码。下图是官方给出的Keepalived体系结构拓扑图。

    从图中可以看出，Keepalived的体系结构从整体上分为两层，分别是用户空间层（User Space）和内核空间层（Kernel Space）.下面介绍Keepalived两层结构的详细组成及实现的功能。

   内核空间层处于最底层，它包括IPVS和NETLINK两个模块。IPVS模块是Keepalived引入的一个第三方模块，通过IPVS可以实现基于IP的负载均衡集群。IPVS默认包含在LVS集群软件中。而对于LVS集群软件，相信做运维的朋友并不陌生：在LVS集群中，IPVS安装在一个叫做Director Server的服务器上，同时在Director Server上虚拟出一个IP地址来对外提供服务，而用户必须通过这个虚拟IP地址才能访问服务。这个虚拟IP一般称为LVS的VIP，即Virtual IP。访问的请求首先经过VIP到达Director Server，然后由Director Server从服务器集群节点中选取一个服务节点响应用户的请求。

    Keepalived最初就是为LVS提供服务的，由于Keepalived可以实现对集群节点的状态检测，而IPVS可以实现负载均衡功能，因此，Keepalived借助于第三方模块IPVS就可以很方便地搭建一套负载均衡系统。在这里有个误区，由于Keepalived可以和IPVS一起很好地工作，因此很多初学者都以为Keepalived就是一个负载均衡软件，这种理解是错误的。

    在Keepalived中，IPVS模块是可配置的，如果需要负载均衡功能，可以在编译Keepalived时打开负载均衡功能，反正，也可以通过配置编译参数关闭。

    NETLINK模块主要用于实现一些高级路由框架和一些相关的网络功能，完成用户空间层Netlink Reflector模块发来的各种网络请求。

    用户空间层位于内核空间层之上，Keepalived的所有具体功能都在这里实现，下面介绍、几个重要部分所实现的功能。

    在用户空间层，Keepalived又分为四个部分，分别是Scheduler I/O Multiplexer、Memory Management、Control Plane和Core components。其中，Scheduler I/O Multiplexer是一个I/O复用分发调度器，它负责安排Keepalived所有内部的任务请求。Memory Management是一个内存管理机制，这个框架提供了访问内存的一些通用方法。Control Plane是Keepalived的控制面板，可以实现对配置文件进行编译和解析，Keepalived的配置文件解析比较特殊，它并不是一次解析所有模块的配置，而是只有在用到某模块时才解析相应的配置。最后详细说一下Core components，这个部分是Keepalived的核心组件，包含了一些列功能模块，主要有WatchDog、Checkers、VRRP Stack、IPVS wrapper和Netlink Reflector，下面介绍每个模块所实现的功能如下。

（1）WatchDog

WatchDog是计算机可靠性领域中一个极为简单又非常有效的检测工具，它的工作原理是针对被监视的目标设置一个计数器和一个阈值，WatchDog会自己增加此计数值，然后等待被监视的目标周期性地重置该计数值。一旦被监控目标发生错误，就无法重置此计数值，WatchDog就会检测到，于是就采取对应的恢复措施，例如重启或关闭。

在Linux中很早就引入了WatchDog功能，而Keepalived正是通过WatchDog的运行机制来监控Checkers和VRRP进程的。

（2）Checkers

这是Keepalived最基础的功能，也是最主要的功能，可实现对服务器运行状态检测和故障隔离。

（3）VRRP Stack

这是Keepalived后来引入的VRRP功能，可以实现HA集群中失败切换（Failover）功能。Keepalived通过VRRP功能再结合LVS负载均衡软件即可部署一套高性能的负载均衡集群系统。

（4）IPVS wrapper

这是IPVS功能的一个实现。IPVS wrapper模块可以将设置好的IPVS规则发送到内核空间并提交给IPVS模块，最终实现IPVS模块的负载均衡功能。

（5）Netlink Reflector

用来实现高可用集群中Failover时虚拟IP（VIP）的设置和切换。Netlink Reflector的所有请求最后都发送到内核空间的NETLINK模块来完成。

【第二篇】

一、Keepalived的安装过程

Keepalived的安装非常简单，下面通过源码编译的方式介绍下Keepalived的安装过程。首先打开Keepalived的官方网址http://www.keepalived.org，从中可以下载到各种版本的Keepalived，这里下载的是keepalived-1.2.12.tar.gz。以操作系统环境Centos6.3为例，Keepalived安装步骤如下：

1 2 3 4 5 6 7 8 9

[root@keepalived-master app] #tar zxvf keepalived-1.2.12.tar.gz [root@keepalived-master app] #cd keepalived-1.2.12 [root@keepalived-master keepalived-1.2.12] #./configure   --sysconf=/etc \ > --with-kernel- dir = /usr/src/kernels/2 .6.32-431.5.1.el6.x86_64 [root@keepalived-master keepalived-1.2.12] #make [root@keepalived-master keepalived-1.2.12] #make install [root@keepalived-master keepalived-1.2.12] #ln -s /usr/local/sbin/keepalived  /sbin/ [root@keepalived-master keepalived-1.2.12] # chkconfig  --add keepalived [root@keepalived-master keepalived-1.2.12] # chkconfig  --level 35 keepalived on

在编译选项中，“--sysconf”指定了Keepalived配置文件的安装路径，即路径为/etc/Keepalived/Keepalived.conf;“--with-kernel-dir”是个很重要的参数，但这个参数并不是要把Keepalived编译进内核，而是指定使用内核源码中的头文件，即include目录。只有在使用LVS时，才需要用到“--with-kernel-dir”参数，其他时候是不需要的。

在Keepalived输出的加载模块信息，其中：

Use IPVS Framework表示使用IPVS框架，也就是负载均衡模块，后面的“Yes”表示启用IPVS功能。一般在搭建高可用负载均衡集群时会启用IPVS功能，如果只是使用Keepalived的高可用功能，则不需要启用IPVS模块，可以在编译Keepalived时通过“--disable-lvs”关闭IPVS功能。

IPVS sync daemon support表示启用IPVS的同步功能，此模块一般和IPVS模块一起使用，如果需要关闭，可在编译Keepalived时通过“--disable-lvs-syncd”参数实现。

IPVS use libnl表示使用新版的libnl。libnl是NETLINK的一个实现，如果要使用新版的libnl，需要在系统中安装libnl和libnl-devel软件包。

Use VRRP Framework表示使用VRRP框架，这是实现Keepalived高可用功能必需的模块。

Use VRRP VMAC表示使用基础VMAC接口的xmit VRRP包，这是Keepalived在1.2.10版本及以后新增的一个功能。

至此，Keepalived的安装介绍完毕。下面开始进入Keepalived配置的讲解。

二、Keepalived的全局配置

在上节安装Keepalived的过程中，指定了Keepalived配置文件的路径为/etc/Keepalived/Keepalived.conf，Keepalived的所有配置均在这个配置文件中完成。由于Keepalived.conf文件中可配置的选项比较多，这里根据配置文件所实现的功能，将Keepalived配置分为三类，分别是：全局配置(Global Configuration)、VRRPD配置和LVS配置。下面将主要介绍下Keepalived配置文件中一些常用配置选项的含义和用法。

Keepalived的配置文件都是以块（block）的形式组织的，每个块的内容都包含在{}中，以“#”和“!”开头的行都是注释。全局配置就是对整个Keepalived都生效的配置，基本内容如下：

1 2 3 4 5 6 7 8 9 10 11

! Configuration File  for  keepalived global_defs {     notification_email {       dba.gao@gmail.com       ixdba@163.com     }     notification_email_from Keepalived@localhost     smtp_server 192.168.200.1     smtp_connect_timeout 30     router_id LVS_DEVEL  }

全局配置以“global_defs”作为标识，在“global_defs”区域内的都是全局配置选项，其中：

notification_email用于设置报警邮件地址，可以设置多个，每行一个。注意，如果要开启邮件报警，需要开启本机的Sendmail服务。

notification_email_from用于设置邮件的发送地址。

smtp_server用于设置邮件的smtp server地址。

smtp_connect_timeout用于设置连接smtp server的超时时间。

router_id表示运行Keepalived服务器的一个标识，是发邮件时显示在邮件主题中的信息。

三、Keepalived的VRRPD配置

VRRPD配置是Keepalived所有配置的核心，主要用来实现Keepalived的高可用功能。从结构上来看，VRRPD配置又可分为VRRP同步组配置和VRRP实例配置。

这里首先介绍同步组实现的主要功能。同步组是相对于多个VRRP实例而言的，在多个VRRP实例的环境中，每个VRRP实例所对应的网络环境会有所不同，假设一个实例处于网段A，另一个实例处于网段B，而如果VRRPD只配置了A网段的检测，那么当B网段主机出现故障时，VRRPD会认为自身仍处于正常状态，进而不会进行主备节点的切换，这样问题就出现了。同步组就是用来解决这个问题的，将所有VRRP实例都加入到同步组中，这样任何一个实例出现问题，都会导致Keepalived进行主备切换。

下面是两个同步组的配置样例：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

vrrp_sync_group G1 {    group {      VI_1      VI_2      VI_5    }    notify_backup  "/usr/local/bin/vrrp.back arg1 arg2"    notify_master  "/usr/local/bin/vrrp.mast arg1 arg2"    notify_fault  "/usr/local/bin/vrrp.fault arg1 arg2" } vrrp_sync_group G2 {    group {      VI_3      VI_4    } }

其中，G1同步组包含VI_1、VI_2、VI_5三个VRRP实例，G2同步组包含VI_3、VI_4两个VRRP实例。这五个实例将在vrrp_instance段进行定义。另外，在vrrp_sync_group段中还出现了notify_master、notify_backup、notify_fault和notify_stop四个选项，这是Keepalived配置中的一个通知机制，也是Keepalived包含的四种状态。下面介绍每个选项的含义。

notify_master：指定当Keepalived进入Master状态时要执行的脚本，这个脚本可以是一个状态报警脚本，也可以是一个服务管理脚本。Keepalived允许脚本传入参数，因此灵活性很强。

notify_backup：指定当Keepalived进入Backup状态时要执行的脚本，同理，这个脚本可以是一个状态报警脚本，也可以是一个服务管理脚本。

notify_fault：指定当Keepalived进入Fault状态时要执行的脚本，脚本功能与前两个类似。

notify_stop：指定当Keepalived程序终止时需要执行的脚本。

下面正式进入VRRP实例的配置，也就是配置Keepalived的高可用功能。VRRP实例段主要用来配置节点角色（主或从）、实例绑定的网络接口、节点间验证机制、集群服务IP等。下面是实例VI_1的一个配置样例。

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34

vrrp_instance VI_1 {      state MASTER      interface eth0      virtual_router_id 51      priority 100      advert_int 1        mcast_src_ip <IPADDR>      garp_master_delay  10       track_interface { eth0  eth1 }      authentication {          auth_type PASS          auth_pass qwaszx      }      virtual_ipaddress {       #<IPADDR>/<MASK>  brd  <IPADDR>  dev <STRING>  scope <SCOPT>  label <LABEL>          192.168.200.16          192.168.200.17 dev eth1          192.168.200.18 dev eth2      }      virtual_routes { #src  <IPADDR>  [to] <IPADDR>/<MASK>  via|gw  <IPADDR>  dev <STRING>  scope <SCOPE>          src 192.168.100.1 to 192.168.109.0 /24  via 192.168.200.254 dev eth1          192.168.110.0 /24  via 192.168.200.254 dev eth1          192.168.111.0 /24  dev eth2          192.168.112.0 /24  via 192.168.100.254          192.168.113.0 /24  via 192.168.100.252 or 192.168.100.253 } nopreempt  preemtp_delay  300 }

以上VRRP配置以“vrrp_instance”作为标识，在这个实例中包含了若干配置选项，分别介绍如下：

    vrrp_instance是VRRP实例开始的标识，后跟VRRP实例名称。

    state用于指定Keepalived的角色，MASTER表示此主机是主服务器，BACKUP表示此主机是备用服务器。

    interface用于指定HA监测网络的接口。

    virtual_router_id是虚拟路由标识，这个标识是一个数字，同一个vrrp实例使用唯一的标识，即在同一个vrrp_instance下，MASTER和BACKUP必须是一致的。

    priority用于定义节点优先级，数字越大表示节点的优先级就越高。在一个vrrp_instance下，MASTER的优先级必须大于BACKUP的优先级。

    advert_int用于设定MASTER与BACKUP主机之间同步检查的时间间隔，单位是秒。

    mcast_src_ip用于设置发送多播包的地址，如果不设置，将使用绑定的网卡所对应的IP地址。

    garp_master_delay用于设定在切换到Master状态后延时进行Gratuitous arp请求的时间。

    track_interface用于设置一些额外的网络监控接口，其中任何一个网络接口出现故障，Keepalived都会进入FAULT状态。

    authentication用于设定节点间通信验证类型和密码，验证类型主要有PASS和AH两种，在一个vrrp_instance下，MASTER与BACKUP必须使用相同的密码才能正常通信。

    virtual_ipaddress用于设置虚拟IP地址（VIP），又叫做漂移IP地址。可以设置多个虚拟IP地址，每行一个。之所以称为漂移IP地址，是因为Keepalived切换到Master状态时，这个IP地址会自动添加到系统中，而切换到BACKUP状态时，这些IP又会自动从系统中删除。Keepalived通过“ip address add”命令的形式将VIP添加进系统中。要查看系统中添加的VIP地址，可以通过“ip add”命令实现。“virtual_ipaddress”段中添加的IP形式可以多种多样，例如可以写成 “192.168.16.189/24 dev eth1” 这样的形式，而Keepalived会使用IP命令“ip addr add 192.168.16.189/24 dev eth1”将IP信息添加到系统中。因此，这里的配置规则和IP命令的使用规则是一致的。

    virtual_routes和virtual_ipaddress段一样，用来设置在切换时添加或删除相关路由信息。使用方法和例子可以参考上面的示例。通过“ip route”命令可以查看路由信息是否添加成功，此外，也可以通过上面介绍的notify_master选项来代替virtual_routes实现相同的功能。

    nopreempt设置的是高可用集群中的不抢占功能。在一个HA Cluster中，如果主节点死机了，备用节点会进行接管，主节点再次正常启动后一般会自动接管服务。这种来回切换的操作，对于实时性和稳定性要求不高的业务系统来说，还是可以接受的，而对于稳定性和实时性要求很高的业务系统来说，不建议来回切换，毕竟服务的切换存在一定的风险和不稳定性，在这种情况下，就需要设置nopreempt这个选项了。设置nopreempt可以实现主节点故障恢复后不再切回到主节点，让服务一直在备用节点工作，直到备用节点出现故障才会进行切换。在使用不抢占时，只能在“state”状态为“BACKUP”的节点上设置，而且这个节点的优先级必须高于其他节点。

    preemtp_delay用于设置抢占的延时时间，单位是秒。有时候系统启动或重启之后网络需要经过一段时间才能正常工作，在这种情况下进行发生主备切换是没必要的，此选项就是用来设置这种情况发生的时间间隔。在此时间内发生的故障将不会进行切换，而如果超过“preemtp_delay”指定的时间，并且网络状态异常，那么才开始进行主备切换。

四、Keepalived的LVS配置

由于Keepalived属于LVS的扩展项目，因此， Keepalived可以与LVS无缝整合，轻松搭建一套高性能的负载均衡集群系统。下面介绍下Keepalived配置文件中关于LVS配置段的配置方法。

LVS段的配置以“virtual_server”作为开始标识，此段内容有两部分组成，分别是real_server段和健康检测段。下面是virtual_server段常用选项的一个配置示例：

1 2 3 4 5 6 7 8 9 10

virtual_server 192.168.12.200 80 {              delay_loop 6 lb_algo rr lb_kind DR  persistence_timeout 50      persistence_granularity  <NETMASK> protocol TCP ha_suspend virtualhost  <string> sorry_server <IPADDR>  <PORT>

下面介绍每个选项的含义。

virtual_server：设置虚拟服务器的开始，后面跟虚拟IP地址和服务端口，IP与端口之间用空格隔开。

delay_loop：设置健康检查的时间间隔，单位是秒。

lb_algo：设置负载调度算法，可用的调度算法有rr、wrr、lc、wlc、lblc、sh、dh等，常用的算法有rr和wlc。

lb_kind：设置LVS实现负载均衡的机制，有NAT、TUN和DR三个模式可选。

persistence_timeout：会话保持时间，单位是秒。这个选项对动态网页是非常有用的，为集群系统中的session共享提供了一个很好的解决方案。有了这个会话保持功能，用户的请求会一直分发到某个服务节点，直到超过这个会话的保持时间。需要注意的是，这个会话保持时间是最大无响应超时时间，也就是说，用户在操作动态页面时，如果在50秒内没有执行任何操作，那么接下来的操作会被分发到另外的节点，但是如果用户一直在操作动态页面，则不受50秒的时间限制。

persistence_granularity：此选项是配合persistence_timeout的，后面跟的值是子网掩码，表示持久连接的粒度。默认是255.255.255.255，也就是一个单独的客户端IP。如果将掩码修改为255.255.255.0，那么客户端IP所在的整个网段的请求都会分配到同一个real server上。

protocol：指定转发协议类型，有TCP和UDP两种可选。

ha_suspend：节点状态从Master到Backup切换时，暂不启用real server节点的健康检查。

virtualhost：在通过HTTP_GET/ SSL_GET做健康检测时，指定的Web服务器的虚拟主机地址。

sorry_server：相当于一个备用节点，在所有real server失效后，这个备用节点会启用。

下面是real_server段的一个配置示例：

1 2 3 4 5 6

real_server 192.168.12.132 80 { weight 3 inhibit_on_failure notify_up  <STRING> | <QUOTED-STRING> notify_down <STRING> | <QUOTED-STRING> }

下面介绍每个选项的含义。

real_server：是real_server段开始的标识，用来指定real server节点，后面跟的是real server的真实IP地址和端口，IP与端口之间用空格隔开。

weight：用来配置real server节点的权值。权值大小用数字表示，数字越大，权值越高。设置权值的大小可以为不同性能的服务器分配不同的负载，为性能高的服务器设置较高的权值，而为性能较低的服务器设置相对较低的权值，这样才能合理地利用和分配了系统资源。

inhibit_on_failure：表示在检测到real server节点失效后，把它的“weight”值设置为0，而不是从IPVS中删除。

notify_up：此选项与上面介绍过的notify_maser有相同的功能，后跟一个脚本，表示在检测到real server节点服务处于UP状态后执行的脚本。

notify_down：表示在检测到real server节点服务处于DOWN状态后执行的脚本。

健康检测段允许多种检查方式，常见的有HTTP_GET、SSL_GET、TCP_CHECK、SMTP_CHECK、MISC_CHECK。首先看TCP_CHECK检测方式示例：

1 2 3 4 5 6

TCP_CHECK  { connect_port 80              connect_timeout  3               nb_get_retry  3               delay_before_retry  3           }

下面介绍每个选项的含义介。

connect_port：健康检查的端口，如果无指定，默认是real_server指定的端口。

connect_timeout：表示无响应超时时间，单位是秒，这里是3秒超时。

nb_get_retry：表示重试次数，这里是3次。

delay_before_retry：表示重试间隔，这里是间隔3秒。

下面是HTTP_GET和SSL_GET检测方式的示例：

1 2 3 4 5 6 7 8 9 10 11 12 13

HTTP_GET |SSL_GET { url  {          path   /index .html digest  e6c271eb5f017f280cf97ec2f51b02d3 status_code   200  } connect_port 80 bindto  192.168.12.80 connect_timeout  3 nb_get_retry  3  delay_before_retry  2  }

下面介绍每个选项的含义。

url：用来指定HTTP/SSL检查的URL信息，可以指定多个URL。

path：后跟详细的URL路径。

digest：SSL检查后的摘要信息，这些摘要信息可以通过genhash命令工具获取。例如：genhash -s 192.168.12.80 -p 80 -u /index.html。

status_code：指定HTTP检查返回正常状态码的类型，一般是200。

bindto：表示通过此地址来发送请求对服务器进行健康检查。

下面是MISC_CHECK检测方式的示例：

1 2 3 4 5 6

MISC_CHECK { misc_path   /usr/local/bin/script .sh misc_timeout  5 ! misc_dynamic }

MISC健康检查方式可以通过执行一个外部程序来判断real server节点的服务状态，使用非常灵活。以下是常用的几个选项的含义。

misc_path：用来指定一个外部程序或者一个脚本路径。

misc_timeout：设定执行脚本的超时时间。

misc_dynamic：表示是否启用动态调整real server节点权重，“!misc_dynamic”表示不启用，相反则表示启用。在启用这功能后，Keepalived的healthchecker进程将通过退出状态码来动态调整real server节点的“weight”值，如果返回状态码为0，表示健康检查正常，real server节点权重保持不变；如果返回状态码为1，表示健康检查失败，那么就将real server节点权重设置为0；如果返回状态码为2~255之间任意数值，表示健康检查正常，但real server节点的权重将被设置为返回状态码减2，例如返回状态码为10，real server节点权重将被设置为8（10-2）。

到这里为止，Keepalived配置文件中常用的选项已经介绍完毕，在默认情况下，Keepalived在启动时会查找/etc/Keepalived/Keepalived.conf配置文件，如果配置文件放在其他路径下，通过“Keepalived  -f”参数指定配置文件的路径即可。

在配置Keepalived.conf时，需要特别注意配置文件的语法格式，因为Keepalived在启动时并不检测配置文件的正确性，即使没有配置文件，Keepalived也照样能够启动，所以一定要保证配置文件正确。

【第三篇】

一、Keepalived的安装过程

Keepalived的安装非常简单，下面通过源码编译的方式介绍下Keepalived的安装过程。首先打开Keepalived的官方网址http://www.keepalived.org，从中可以下载到各种版本的Keepalived，这里下载的是keepalived-1.2.12.tar.gz。以操作系统环境Centos6.3为例，Keepalived安装步骤如下：

1 2 3 4 5 6 7 8 9

[root@keepalived-master app] #tar zxvf keepalived-1.2.12.tar.gz [root@keepalived-master app] #cd keepalived-1.2.12 [root@keepalived-master keepalived-1.2.12] #./configure   --sysconf=/etc \ > --with-kernel- dir = /usr/src/kernels/2 .6.32-431.5.1.el6.x86_64 [root@keepalived-master keepalived-1.2.12] #make [root@keepalived-master keepalived-1.2.12] #make install [root@keepalived-master keepalived-1.2.12] #ln -s /usr/local/sbin/keepalived  /sbin/ [root@keepalived-master keepalived-1.2.12] # chkconfig  --add keepalived [root@keepalived-master keepalived-1.2.12] # chkconfig  --level 35 keepalived on

在编译选项中，“--sysconf”指定了Keepalived配置文件的安装路径，即路径为/etc/Keepalived/Keepalived.conf;“--with-kernel-dir”是个很重要的参数，但这个参数并不是要把Keepalived编译进内核，而是指定使用内核源码中的头文件，即include目录。只有在使用LVS时，才需要用到“--with-kernel-dir”参数，其他时候是不需要的。

在Keepalived输出的加载模块信息，其中：

Use IPVS Framework表示使用IPVS框架，也就是负载均衡模块，后面的“Yes”表示启用IPVS功能。一般在搭建高可用负载均衡集群时会启用IPVS功能，如果只是使用Keepalived的高可用功能，则不需要启用IPVS模块，可以在编译Keepalived时通过“--disable-lvs”关闭IPVS功能。

IPVS sync daemon support表示启用IPVS的同步功能，此模块一般和IPVS模块一起使用，如果需要关闭，可在编译Keepalived时通过“--disable-lvs-syncd”参数实现。

IPVS use libnl表示使用新版的libnl。libnl是NETLINK的一个实现，如果要使用新版的libnl，需要在系统中安装libnl和libnl-devel软件包。

Use VRRP Framework表示使用VRRP框架，这是实现Keepalived高可用功能必需的模块。

Use VRRP VMAC表示使用基础VMAC接口的xmit VRRP包，这是Keepalived在1.2.10版本及以后新增的一个功能。

至此，Keepalived的安装介绍完毕。下面开始进入Keepalived配置的讲解。

二、Keepalived的全局配置

在上节安装Keepalived的过程中，指定了Keepalived配置文件的路径为/etc/Keepalived/Keepalived.conf，Keepalived的所有配置均在这个配置文件中完成。由于Keepalived.conf文件中可配置的选项比较多，这里根据配置文件所实现的功能，将Keepalived配置分为三类，分别是：全局配置(Global Configuration)、VRRPD配置和LVS配置。下面将主要介绍下Keepalived配置文件中一些常用配置选项的含义和用法。

Keepalived的配置文件都是以块（block）的形式组织的，每个块的内容都包含在{}中，以“#”和“!”开头的行都是注释。全局配置就是对整个Keepalived都生效的配置，基本内容如下：

1 2 3 4 5 6 7 8 9 10 11

! Configuration File  for  keepalived global_defs {     notification_email {       dba.gao@gmail.com       ixdba@163.com     }     notification_email_from Keepalived@localhost     smtp_server 192.168.200.1     smtp_connect_timeout 30     router_id LVS_DEVEL  }

全局配置以“global_defs”作为标识，在“global_defs”区域内的都是全局配置选项，其中：

notification_email用于设置报警邮件地址，可以设置多个，每行一个。注意，如果要开启邮件报警，需要开启本机的Sendmail服务。

notification_email_from用于设置邮件的发送地址。

smtp_server用于设置邮件的smtp server地址。

smtp_connect_timeout用于设置连接smtp server的超时时间。

router_id表示运行Keepalived服务器的一个标识，是发邮件时显示在邮件主题中的信息。

三、Keepalived的VRRPD配置

VRRPD配置是Keepalived所有配置的核心，主要用来实现Keepalived的高可用功能。从结构上来看，VRRPD配置又可分为VRRP同步组配置和VRRP实例配置。

这里首先介绍同步组实现的主要功能。同步组是相对于多个VRRP实例而言的，在多个VRRP实例的环境中，每个VRRP实例所对应的网络环境会有所不同，假设一个实例处于网段A，另一个实例处于网段B，而如果VRRPD只配置了A网段的检测，那么当B网段主机出现故障时，VRRPD会认为自身仍处于正常状态，进而不会进行主备节点的切换，这样问题就出现了。同步组就是用来解决这个问题的，将所有VRRP实例都加入到同步组中，这样任何一个实例出现问题，都会导致Keepalived进行主备切换。

下面是两个同步组的配置样例：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

vrrp_sync_group G1 {    group {      VI_1      VI_2      VI_5    }    notify_backup  "/usr/local/bin/vrrp.back arg1 arg2"    notify_master  "/usr/local/bin/vrrp.mast arg1 arg2"    notify_fault  "/usr/local/bin/vrrp.fault arg1 arg2" } vrrp_sync_group G2 {    group {      VI_3      VI_4    } }

其中，G1同步组包含VI_1、VI_2、VI_5三个VRRP实例，G2同步组包含VI_3、VI_4两个VRRP实例。这五个实例将在vrrp_instance段进行定义。另外，在vrrp_sync_group段中还出现了notify_master、notify_backup、notify_fault和notify_stop四个选项，这是Keepalived配置中的一个通知机制，也是Keepalived包含的四种状态。下面介绍每个选项的含义。

notify_master：指定当Keepalived进入Master状态时要执行的脚本，这个脚本可以是一个状态报警脚本，也可以是一个服务管理脚本。Keepalived允许脚本传入参数，因此灵活性很强。

notify_backup：指定当Keepalived进入Backup状态时要执行的脚本，同理，这个脚本可以是一个状态报警脚本，也可以是一个服务管理脚本。

notify_fault：指定当Keepalived进入Fault状态时要执行的脚本，脚本功能与前两个类似。

notify_stop：指定当Keepalived程序终止时需要执行的脚本。

下面正式进入VRRP实例的配置，也就是配置Keepalived的高可用功能。VRRP实例段主要用来配置节点角色（主或从）、实例绑定的网络接口、节点间验证机制、集群服务IP等。下面是实例VI_1的一个配置样例。

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34

vrrp_instance VI_1 {      state MASTER      interface eth0      virtual_router_id 51      priority 100      advert_int 1        mcast_src_ip <IPADDR>      garp_master_delay  10       track_interface { eth0  eth1 }      authentication {          auth_type PASS          auth_pass qwaszx      }      virtual_ipaddress {       #<IPADDR>/<MASK>  brd  <IPADDR>  dev <STRING>  scope <SCOPT>  label <LABEL>          192.168.200.16          192.168.200.17 dev eth1          192.168.200.18 dev eth2      }      virtual_routes { #src  <IPADDR>  [to] <IPADDR>/<MASK>  via|gw  <IPADDR>  dev <STRING>  scope <SCOPE>          src 192.168.100.1 to 192.168.109.0 /24  via 192.168.200.254 dev eth1          192.168.110.0 /24  via 192.168.200.254 dev eth1          192.168.111.0 /24  dev eth2          192.168.112.0 /24  via 192.168.100.254          192.168.113.0 /24  via 192.168.100.252 or 192.168.100.253 } nopreempt  preemtp_delay  300 }

以上VRRP配置以“vrrp_instance”作为标识，在这个实例中包含了若干配置选项，分别介绍如下：

    vrrp_instance是VRRP实例开始的标识，后跟VRRP实例名称。

    state用于指定Keepalived的角色，MASTER表示此主机是主服务器，BACKUP表示此主机是备用服务器。

    interface用于指定HA监测网络的接口。

    virtual_router_id是虚拟路由标识，这个标识是一个数字，同一个vrrp实例使用唯一的标识，即在同一个vrrp_instance下，MASTER和BACKUP必须是一致的。

    priority用于定义节点优先级，数字越大表示节点的优先级就越高。在一个vrrp_instance下，MASTER的优先级必须大于BACKUP的优先级。

    advert_int用于设定MASTER与BACKUP主机之间同步检查的时间间隔，单位是秒。

    mcast_src_ip用于设置发送多播包的地址，如果不设置，将使用绑定的网卡所对应的IP地址。

    garp_master_delay用于设定在切换到Master状态后延时进行Gratuitous arp请求的时间。

    track_interface用于设置一些额外的网络监控接口，其中任何一个网络接口出现故障，Keepalived都会进入FAULT状态。

    authentication用于设定节点间通信验证类型和密码，验证类型主要有PASS和AH两种，在一个vrrp_instance下，MASTER与BACKUP必须使用相同的密码才能正常通信。

    virtual_ipaddress用于设置虚拟IP地址（VIP），又叫做漂移IP地址。可以设置多个虚拟IP地址，每行一个。之所以称为漂移IP地址，是因为Keepalived切换到Master状态时，这个IP地址会自动添加到系统中，而切换到BACKUP状态时，这些IP又会自动从系统中删除。Keepalived通过“ip address add”命令的形式将VIP添加进系统中。要查看系统中添加的VIP地址，可以通过“ip add”命令实现。“virtual_ipaddress”段中添加的IP形式可以多种多样，例如可以写成 “192.168.16.189/24 dev eth1” 这样的形式，而Keepalived会使用IP命令“ip addr add 192.168.16.189/24 dev eth1”将IP信息添加到系统中。因此，这里的配置规则和IP命令的使用规则是一致的。

    virtual_routes和virtual_ipaddress段一样，用来设置在切换时添加或删除相关路由信息。使用方法和例子可以参考上面的示例。通过“ip route”命令可以查看路由信息是否添加成功，此外，也可以通过上面介绍的notify_master选项来代替virtual_routes实现相同的功能。

    nopreempt设置的是高可用集群中的不抢占功能。在一个HA Cluster中，如果主节点死机了，备用节点会进行接管，主节点再次正常启动后一般会自动接管服务。这种来回切换的操作，对于实时性和稳定性要求不高的业务系统来说，还是可以接受的，而对于稳定性和实时性要求很高的业务系统来说，不建议来回切换，毕竟服务的切换存在一定的风险和不稳定性，在这种情况下，就需要设置nopreempt这个选项了。设置nopreempt可以实现主节点故障恢复后不再切回到主节点，让服务一直在备用节点工作，直到备用节点出现故障才会进行切换。在使用不抢占时，只能在“state”状态为“BACKUP”的节点上设置，而且这个节点的优先级必须高于其他节点。

    preemtp_delay用于设置抢占的延时时间，单位是秒。有时候系统启动或重启之后网络需要经过一段时间才能正常工作，在这种情况下进行发生主备切换是没必要的，此选项就是用来设置这种情况发生的时间间隔。在此时间内发生的故障将不会进行切换，而如果超过“preemtp_delay”指定的时间，并且网络状态异常，那么才开始进行主备切换。

四、Keepalived的LVS配置

由于Keepalived属于LVS的扩展项目，因此， Keepalived可以与LVS无缝整合，轻松搭建一套高性能的负载均衡集群系统。下面介绍下Keepalived配置文件中关于LVS配置段的配置方法。

LVS段的配置以“virtual_server”作为开始标识，此段内容有两部分组成，分别是real_server段和健康检测段。下面是virtual_server段常用选项的一个配置示例：

1 2 3 4 5 6 7 8 9 10

virtual_server 192.168.12.200 80 {              delay_loop 6 lb_algo rr lb_kind DR  persistence_timeout 50      persistence_granularity  <NETMASK> protocol TCP ha_suspend virtualhost  <string> sorry_server <IPADDR>  <PORT>

下面介绍每个选项的含义。

virtual_server：设置虚拟服务器的开始，后面跟虚拟IP地址和服务端口，IP与端口之间用空格隔开。

delay_loop：设置健康检查的时间间隔，单位是秒。

lb_algo：设置负载调度算法，可用的调度算法有rr、wrr、lc、wlc、lblc、sh、dh等，常用的算法有rr和wlc。

lb_kind：设置LVS实现负载均衡的机制，有NAT、TUN和DR三个模式可选。

persistence_timeout：会话保持时间，单位是秒。这个选项对动态网页是非常有用的，为集群系统中的session共享提供了一个很好的解决方案。有了这个会话保持功能，用户的请求会一直分发到某个服务节点，直到超过这个会话的保持时间。需要注意的是，这个会话保持时间是最大无响应超时时间，也就是说，用户在操作动态页面时，如果在50秒内没有执行任何操作，那么接下来的操作会被分发到另外的节点，但是如果用户一直在操作动态页面，则不受50秒的时间限制。

persistence_granularity：此选项是配合persistence_timeout的，后面跟的值是子网掩码，表示持久连接的粒度。默认是255.255.255.255，也就是一个单独的客户端IP。如果将掩码修改为255.255.255.0，那么客户端IP所在的整个网段的请求都会分配到同一个real server上。

protocol：指定转发协议类型，有TCP和UDP两种可选。

ha_suspend：节点状态从Master到Backup切换时，暂不启用real server节点的健康检查。

virtualhost：在通过HTTP_GET/ SSL_GET做健康检测时，指定的Web服务器的虚拟主机地址。

sorry_server：相当于一个备用节点，在所有real server失效后，这个备用节点会启用。

下面是real_server段的一个配置示例：

1 2 3 4 5 6

real_server 192.168.12.132 80 { weight 3 inhibit_on_failure notify_up  <STRING> | <QUOTED-STRING> notify_down <STRING> | <QUOTED-STRING> }

下面介绍每个选项的含义。

real_server：是real_server段开始的标识，用来指定real server节点，后面跟的是real server的真实IP地址和端口，IP与端口之间用空格隔开。

weight：用来配置real server节点的权值。权值大小用数字表示，数字越大，权值越高。设置权值的大小可以为不同性能的服务器分配不同的负载，为性能高的服务器设置较高的权值，而为性能较低的服务器设置相对较低的权值，这样才能合理地利用和分配了系统资源。

inhibit_on_failure：表示在检测到real server节点失效后，把它的“weight”值设置为0，而不是从IPVS中删除。

notify_up：此选项与上面介绍过的notify_maser有相同的功能，后跟一个脚本，表示在检测到real server节点服务处于UP状态后执行的脚本。

notify_down：表示在检测到real server节点服务处于DOWN状态后执行的脚本。

健康检测段允许多种检查方式，常见的有HTTP_GET、SSL_GET、TCP_CHECK、SMTP_CHECK、MISC_CHECK。首先看TCP_CHECK检测方式示例：

1 2 3 4 5 6

TCP_CHECK  { connect_port 80              connect_timeout  3               nb_get_retry  3               delay_before_retry  3           }

下面介绍每个选项的含义介。

connect_port：健康检查的端口，如果无指定，默认是real_server指定的端口。

connect_timeout：表示无响应超时时间，单位是秒，这里是3秒超时。

nb_get_retry：表示重试次数，这里是3次。

delay_before_retry：表示重试间隔，这里是间隔3秒。

下面是HTTP_GET和SSL_GET检测方式的示例：

1 2 3 4 5 6 7 8 9 10 11 12 13

HTTP_GET |SSL_GET { url  {          path   /index .html digest  e6c271eb5f017f280cf97ec2f51b02d3 status_code   200  } connect_port 80 bindto  192.168.12.80 connect_timeout  3 nb_get_retry  3  delay_before_retry  2  }

下面介绍每个选项的含义。

url：用来指定HTTP/SSL检查的URL信息，可以指定多个URL。

path：后跟详细的URL路径。

digest：SSL检查后的摘要信息，这些摘要信息可以通过genhash命令工具获取。例如：genhash -s 192.168.12.80 -p 80 -u /index.html。

status_code：指定HTTP检查返回正常状态码的类型，一般是200。

bindto：表示通过此地址来发送请求对服务器进行健康检查。

下面是MISC_CHECK检测方式的示例：

1 2 3 4 5 6

MISC_CHECK { misc_path   /usr/local/bin/script .sh misc_timeout  5 ! misc_dynamic }

MISC健康检查方式可以通过执行一个外部程序来判断real server节点的服务状态，使用非常灵活。以下是常用的几个选项的含义。

misc_path：用来指定一个外部程序或者一个脚本路径。

misc_timeout：设定执行脚本的超时时间。

misc_dynamic：表示是否启用动态调整real server节点权重，“!misc_dynamic”表示不启用，相反则表示启用。在启用这功能后，Keepalived的healthchecker进程将通过退出状态码来动态调整real server节点的“weight”值，如果返回状态码为0，表示健康检查正常，real server节点权重保持不变；如果返回状态码为1，表示健康检查失败，那么就将real server节点权重设置为0；如果返回状态码为2~255之间任意数值，表示健康检查正常，但real server节点的权重将被设置为返回状态码减2，例如返回状态码为10，real server节点权重将被设置为8（10-2）。

到这里为止，Keepalived配置文件中常用的选项已经介绍完毕，在默认情况下，Keepalived在启动时会查找/etc/Keepalived/Keepalived.conf配置文件，如果配置文件放在其他路径下，通过“Keepalived  -f”参数指定配置文件的路径即可。

在配置Keepalived.conf时，需要特别注意配置文件的语法格式，因为Keepalived在启动时并不检测配置文件的正确性，即使没有配置文件，Keepalived也照样能够启动，所以一定要保证配置文件正确。