Keepalived+HAProxy 集群及虚IP切换实践

1、软件介绍

①Keepalived

keepalive是一个用c语言编写的路由软件，这个项目的主要目标是为Linux系统和基于Linux的基础设施提供简单而健壮的负载平衡和高可用性设施。负载均衡框架依赖于众所周知且广泛使用的Linux Virtual Server (IPVS)内核模块提供第4层负载均衡。keepalive实现了一组检查器，可以根据负载均衡服务器池的运行状况动态地、自适应地维护和管理它们。另一方面，通过VRRP协议实现高可用性。VRRP是路由器故障转移的基本组件。此外，keepalive实现了一组到VRRP有限状态机的钩子，提供低级和高速的协议交互。为了提供最快的网络故障检测，keepalive实现了BFD协议。VRRP状态转换可以利用BFD提示实现状态快速转换。keepalive框架可以单独使用，也可以一起使用，以提供弹性基础设施。

keepalive是一款免费软件;您可以根据自由软件基金会发布的GNU通用公共许可证条款重新发布和/或修改它;许可证的版本2，或者(根据您的选择)任何更新的版本。（Keepalived for Linux 官方定义）

Keepalived是Linux下一个轻量级别的高可用解决方案，它基于VRRP（虚拟路由冗余协议）实现，能够避免单点故障导致的系统不可用问题。Keepalived的作用是检测服务器的状态，如果有一台web服务器宕机，或工作出现故障，Keepalived将检测到，并将有故障的服务器从系统中剔除，同时使用其他服务器代替该服务器的工作，当服务器工作正常后Keepalived自动将服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的服务器。

②HAProxy

HAProxy是一款开源的高性能负载均衡器和代理服务器。它可以将传入的请求分发到多台后端服务器上，以提高系统的负载能力和可用性。HAProxy支持多种负载均衡算法，如轮询、加权轮询、源IP哈希等，可以根据实际需求选择合适的算法。

HAProxy不仅仅是一个负载均衡器，它还提供了许多其他功能。它可以进行SSL终端代理，实现HTTPS的负载均衡；还可以进行内容转换和过滤，并提供高级的HTTP请求和响应管理功能。HAProxy还支持健康检查，可以自动剔除故障的后端服务器，并动态调整请求的分发策略。

HAProxy具有高性能和低延迟的优势，可以处理大量的并发请求。它支持多线程和多进程模型，可以利用多核处理器的性能。此外，HAProxy还提供了详细的统计信息和日志记录，以便进行分析和监控。

由于其可靠性和灵活性，HAProxy被广泛应用于各种场景，包括Web应用程序、API网关、数据库负载均衡、云服务等。它是一个强大而可靠的负载均衡解决方案，为系统的可扩展性和可靠性提供了重要支持。

HAProxy提供了L4(TCP)和L7(HTTP)两种负载均衡能力，具备丰富的功能。HAProxy具备媲美商用负载均衡器的性能和稳定性。

2、实验环境

准备4台Linux 服务器，分别作为 负载均衡器 和web服务器。 虚拟机及IP规划如下：

序号	主机名	IP
1	LB-01	RIP:192.168.56.2
2	LB-01	RIP:192.168.56.3
3		VIP: 192.168.56.4
4	Web-01	RIP:192.168.56.5
5	Web-02	RIP:192.168.56.6

2、底层原理

Linux VIP(Virtual IP)原理：

VIP原理基于Linux内核和网络子系统。它利用了Linux内核网络层的能力来拦截网络数据包，然后将他们重定向到多个系统共享的一个虚拟IP上。这里的虚拟IP地址是一个不是分配给任何特定系统的IP地址，而是分配给一个虚拟网络接口。

具体来说，VIP技术的实现需要以下步骤：

①创建虚拟网络接口：在Linux系统中，可以使用ifconfig,ip等命令来创建虚拟网络接口。该接口会被分配一个新的IP地址，但实际上并不会连接到任何实际的网络设备上，它只是一个普通的网络接口。

②绑定真实IP地址到虚拟网络接口上

③配置ARP协议：为了让其他系统知道这个虚拟IP地址的存在，需要配置ARP协议。他可以通过向网络中的其他系统发送ARP广播包来实现。当其他系统收到这个ARP广播包时，他们会更新他们的ARP缓存表，将虚拟IP地址映射到此广播包所在的实际系统的MAC地址上。

Linux VIP(Virtual IP)漂移原理：

是指在一个Linux集群中，当主节点(Primary)故障或不可用时，集群中的备用节点（Secondary）会接管主节点的VIP地址，以保证服务的高可用性。

漂移原理包括以下几个步骤：

①心跳检测：集群中的主节点和备用节点之间通过心跳检测来确认主节点的状态。一般使用专门的心跳设备或网络连接来实现心跳检测

②主节点失效检测：当备用节点无法通过心跳检测到主节点时，会判断主节点已经失效。

③VIP漂移：备用节点检测到主节点失效后，会接管主节点的VIP地址，并将其绑定到自己的网络接口上。这样，客户端访问VIP地址时就会被转发到备用节点上。

④服务接管：备用节点接管VIP地址后，会启动并运行主节点上的服务，以保证服务的连续性。

对于实现VIP漂移，常见的工具有keepalived，他提供了一系列用于自动检测和控制VIP的功能，通过心跳检测、状态切换等机制，实现Linux集群中VIP的漂移。

3、Keepalived 安装配置

HAProxy作为负载均衡器，Keepalived则作为两台负载均衡器的高可用组件，其原理就是VRRP协议。 打开IP转发： 首先，Linux默认只会处理目标IP地址为自己的数据包，否则会丢弃。服务器作为反向代理/负载均衡器需要打开IP转发功能，才能处理转发目标地址非自己的数据包。

# 修改/etc/sysctl.conf配置文件

vim /etc/sysctl.conf

net.ipv4.ip_forward=1

# 使生效

sysctl -p

cat /proc/sys/net/ipv4/ip_forward

安装Keepalived： 通过源码的方式进行安装。

# 先安装依赖

yum install gcc gcc-c++ make zlib-devel bzip2-devel openssl-devel -y

cd /usr/local/src

wget https://www.keepalived.org/software/keepalived-2.3.0.tar.gz

tar -zxvf keepalived-2.3.0.tar.gz

# 编译及安装

cd /usr/local/src/keepalived-2.3.0

./configure --prefix=/usr/local/keepalived-2.3.0

make && make install

将Keepalived注册为系统服务：

# 拷贝启动文件到/etc/rc.d/init.d目录中

cp /usr/local/src/keepalived-2.3.0/keepalived/etc/init.d/keepalived /etc/rc.d/init.d/

# 拷贝环境变量文件

cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/

# 在bash中使用keepalived命令

cp /usr/local/keepalived/sbin/keepalived  /usr/local/sbin/

接下来就可以编辑Keepalived的配置文件：

cd /usr/local/keepalived/etc/keepalived

vim keepalived.conf

# MASTER配置：

! Configuration File for keepalived

global_defs {

   notification_email {

     root@localhost

   }

   notification_email_from keepalived@localhost

   smtp_server 127.0.0.1

   smtp_connect_timeout 30

   router_id HAProxy_DEVEL_1

}

vrrp_script chk_haproxy {

   script "/usr/local/keepalived/etc/keepalived/check_haproxy.sh"  #用shell命令检查haproxy服务是否运行

    interval 1                          #时间间隔为1秒检测一次

    weight -2                           #当haproxy的服务不存在了，就把当前的权重-2

    fall 2                              #测试失败的次数

    rise 1                              #测试成功的次数

}

vrrp_instance VI_1 {

    state MASTER            #实例状态，只有MASTER 和 BACKUP两种状态，并且需要全部大写。抢占模式下，其中MASTER为工作状态，BACKUP为备用状态。

    interface enp0s8        #指定绑定虚拟IP的网络接口

    virtual_router_id 51    #VRRP组名，两个节点的设置必须一样，以指明各个节点属于同一个VRRP组

    priority 101            #主节点的优先级（1--255），备节点必须比主节点优先级低

    advert_int 1            #组播信息发送间隔，两个节点设置必须一样

    authentication {        #设置验证信息，两个节点设置必须一样

        auth_type PASS

        auth_pass 1111

    }

   track_script {

      chk_haproxy

   }

   virtual_ipaddress {  #指定虚拟IP（VIP），两个节点设置必须一样，虚拟IP地址池，可以有多个IP，每个IP占一行，不需要指定子网掩码。注意：这个IP必须与我们的设定的vip保持一致

        192.168.56.4

   }

}

# BACKUP配置

! Configuration File for keepalived

global_defs {

   notification_email {

     root@localhost

   }

   notification_email_from keepalived@localhost

   smtp_server 127.0.0.1

   smtp_connect_timeout 30

   router_id HAProxy_DEVEL_2

}

vrrp_script chk_haproxy {

   script "/usr/local/keepalived/etc/keepalived/check_haproxy.sh"  #用shell命令检查haproxy服务是否运行

    interval 1                          #时间间隔为1秒检测一次

    weight -2                           #当haproxy的服务不存在了，就把当前的权重-2

    fall 2                              #测试失败的次数

    rise 1                              #测试成功的次数

}

vrrp_instance VI_1 {

    state MASTER            #实例状态，只有MASTER 和 BACKUP两种状态，并且需要全部大写。抢占模式下，其中MASTER为工作状态，BACKUP为备用状态。

    interface enp0s8        #指定绑定虚拟IP的网络接口

    virtual_router_id 51    #VRRP组名，两个节点的设置必须一样，以指明各个节点属于同一个VRRP组

    priority 100            #主节点的优先级（1--255），备节点必须比主节点优先级低

    advert_int 1            #组播信息发送间隔，两个节点设置必须一样

    authentication {        #设置验证信息，两个节点设置必须一样

        auth_type PASS

        auth_pass 1111

    }

   track_script {

      chk_haproxy

   }

   virtual_ipaddress {  #指定虚拟IP（VIP），两个节点设置必须一样，虚拟IP地址池，可以有多个IP，每个IP占一行，不需要指定子网掩码。注意：这个IP必须与我们的设定的vip保持一致

        192.168.56.4

   }

}

vim /usr/local/keepalived/etc/keepalived/check_haproxy.sh

#!/bin/bash

A=`ps -C haproxy --no-header |wc -l`

if [ $A -eq 1 ];then

  exit 0

else

  exit 1

fi

配置文件里优先级（priority）高的那台服务器会正为主，较低的会成为备。

以下是对部分参数的说明：

router-id，唯一，自定义

vrrp_instance VI_1，一个VRRP组

virtual_router_id 51，一个组内的路由器的值要一样

advert_int 1，每隔一秒发一次包

priority，优先级高的为主

virtual_ipaddress，虚拟的IP地址，也就是我们实际发布服务的IP地址

启动Keepalived：

systemctl enable keepalived

systemctl start keepalived

systemctl status keepalived

正常启动后，可以通过ip addr查看VIP地址是否已在MASTER节点的网卡显示。

4、HAProxy 安装配置

下载及安装：

yum install gcc gcc-c++ make zlib-devel bzip2-devel openssl-devel -y

yum install lua -y

cd /usr/local/src

wget https://www.haproxy.org/download/2.9/src/haproxy-2.9.9.tar.gz

tar -zxvf haproxy-2.9.9.tar.gz

# 编译安装

cd haproxy-2.9.9

make TARGET=linux-glibc  PREFIX=/usr/local/haproxy-2.9.9 

make install PREFIX=/usr/local/haproxy-2.9.9

编写HAProxy的配置文件：

mkdir /etc/haproxy

vim /etc/haproxy/haproxy.cfg

# 两台负载均衡服务器配置需要一致

global

      maxconn 4096                     #默认最大连接数

      pidfile /var/run/haproxy.pid     #haproxy的pid存放路径

      daemon                           #以后台形式运行haproxy

defaults

        log global

        mode http                      #所处理的类别 (#7层 http;4层tcp  )

        retries 3                      #三次连接失败就认为是服务器不可用

        option abortonclose            #当服务器负载很高的时候，自动结束掉当前队列处理比较久的连接

        maxconn 4096                   #最大连接数

        timeout connect 50000          #连接超时

        timeout client 50000           #客户端超时

        timeout server 50000           #服务器超时

        balance roundrobin             #默认的负载均衡的方式,轮询方式

listen web_proxy

        bind *:18080                   #监听端口

        mode http                      #http的7层模式

        balance roundrobin

        option httpclose

        server web01 192.168.56.5:8080 check inter 3000 fall 3 rise 5

        server web02 192.168.56.6:8080 check inter 3000 fall 3 rise 5

listen stats

       bind *:8888

       mode http

       maxconn 10

       balance roundrobin

       stats refresh 5s

       stats uri /                     #网站健康检测URL，用来检测HAProxy管理的网站是否可以用，正常返回200，不正常返回503

       stats realm Haproxy\ Statistics

       stats auth admin:admin          #账号密码

defaults块里配置的参数是默认参数，如web_proxy未配置相关参数则会继承defaults里的。如果web_proxy里对相关参数进行了重新配置，则web_proxy里的配置会优先于defaults的配置。

启动HAProxy

systemctl enable haproxy

systemctl start haproxy

systemctl stauts haproxy

另外，haproxy自带了监控页面，非常详细好用。已经在配置文件中配置，可以通过访问http://192.168.56.2:8888/status查看。

5、高可用测试

1）Keepalived节点本身网络故障倒换测试

默认的keepalived配置，MASTER节点在LB-01上，BACKUP节点在LB-02上。所以访问VIP地址192.168.56.4都由LB-01这台服务器转发。

为了验证keepalived的可用性，我们测试将LB-01这台服务器的网卡连接给断开，模拟网络或服务器故障的场景，验证VIP是否能自动切换到LB-02这个节点上。

由于实验环境为虚拟机，把虚拟网卡连接断开即可。在断开之前，在物理机上发起一个长ping 192.168.56.4，观察节点切换的情况。 ping 192.168.56.4 -t

可以看到，在断开LB-01的网卡连接后，此时可以查看VIP 192.168.56.4已经漂移到了LB-02上。

接下来恢复LB-01的网络，由于没有配置抢占，所以MASTER节点仍然会在LB-02上。不配置抢占的好处是当故障节点恢复后不会导致抖动。

2）HAProxy进程故障倒换测试

除了Keepalived本身的故障外，HAProxy进程可能也会出现故障，如果keepalived无法判断haproxy是否异常，那么就无法进行故障切换。

因此，需要增加一个探测脚本，以判断haproxy服务是否正常。当退出码为0，keepalived就会认为探测成功，如退出码为1，keepalived就会认为探测失败，就会进入FAULT状态并把VIP给移除。

vim /usr/local/keepalived/etc/keepalived/check_haproxy.sh

#!/bin/bash

A=`ps -C haproxy --no-header |wc -l`

if [ $A -eq 1 ];then

  exit 0

else

  exit 1

fi

在keepalived配置文件中，加入以下脚本检测

vrrp_script chk_http_port {

   script "/usr/local/keepalived/etc/keepalived/check_haproxy.sh"  #用shell命令检查haproxy服务是否运行

    interval 1                          #时间间隔为1秒检测一次

    weight -2                           #当haproxy的服务不存在了，就把当前的权重-2

    fall 2                              #测试失败的次数

    rise 1                              #测试成功的次数

}

vrrp_instance VI_1 {

    track_script {

        chk_haproxy

    }

}

然后停掉haproxy的进程，模拟进程故障。 systemctl stop haproxy 此时LB-01节点的keepalived进入FAULT状态，VIP被移除，备机接管了VIP。

3）后端服务器故障倒换测试

接下来模拟一下当web01故障能否重新把请求分发到web02上。 直接通过停止web01的运行，再通过浏览器发起请求，可以看到已经切换到web02上了。

通过登录HAProxy自带的监控页面，可以看到健康检查web01已经down掉，所以负载均衡直接把web01剔除了。

6、小结

通过实验可以基本验证到基于HAProxy的七层负载均衡的功能，以及通过Keepalived搭建的高可用集群，还是非常好用的。

另外一个问题就是，通过keepalived实现的高可用，MASTER节点只能在一台服务器上，即同时只能一个节点工作，如果需要横向扩展，需要另外一种实现高可用的方案：比如说不采用Keepalived的方式，在HAPorxy前面再部署LVS或者硬件F5，用这种L4+L7的架构来实现L7负载均衡的横向扩展和高可用。