一文搞懂高可用集群keepalived+Lvs+Haproxy

.高可用集群

1. 集群类型

  • LB:Load Balance 负载均衡
  • LVS/HAProxy/nginx(http/upstream, stream/upstream)
  • HA:High Availability 高可用集群
  • 数据库、Redis
  • SPoF: Single Point of Failure,解决单点故障
  • HPC:High Performance Computing 高性能集群

2. 系统可用性

SLA:Service-Level Agreement 服务等级协议(提供服务的企业与客户之间就服务的品质、水准、性能 等方面所达成的双方共同认可的协议或契约)
A = MTBF / (MTBF+MTTR)
99.95%:(60*24*30)*(1-0.9995)=21.6分钟   #一般按一个月停机时间统计

3. 系统故障

硬件故障:设计缺陷、wear out(损耗)、非人为不可抗拒因素
软件故障:设计缺陷 bug

4. 实现高可用

提升系统高用性的解决方案:降低MTTR- Mean Time To Repair(平均故障时间)
解决方案:建立冗余机制
  • active/passive 主/备
  • active/active 双主
  • active --> HEARTBEAT --> passive
  • active <--> HEARTBEAT <--> active

5. VRRPVirtual Router Redundancy Protocol

虚拟路由冗余协议,解决静态网关单点风险
  • 物理层:路由器、三层交换机
  • 软件层:keepalived
 

bb4c191a63cc497cb1fb0705b7f0d312.png

5.1VRRP 相关术语

  • 虚拟路由器:Virtual Router
  • 虚拟路由器标识:VRID(0-255),唯一标识虚拟路由器
  • VIP:Virtual IP
  • VMAC:Virutal MAC (00-00-5e-00-01-VRID)
  • 物理路由器:       
                master:主设备
                backup(salve):备用设备

                priority:优先级(VVIR存哪取决于 优先级。谁的优先级高究竟是谁先存)

5.2 VRRP 相关技术

通告:心跳,优先级等;周期性
工作方式:抢占式,非抢占式
安全认证:
  • 无认证
  • 简单字符认证:预共享密钥
  • MD5
工作模式:
  • 主/备(Master/Slave):单虚拟路由器
  • 主/主:主/备(虚拟路由器1),备/主(虚拟路由器2)

.Keepalived 部署

 

1. keepalived 简介

vrrp 协议的软件实现,原生设计目的为了高可用 ipvs服务
官网:http://keepalived.org/
功能:
基于vrrp协议完成地址流动
为vip地址所在的节点生成ipvs规则(在配置文件中预先定义)
为ipvs集群的各RS做健康状态检测
基于脚本调用接口完成脚本中定义的功能,进而影响集群事务,以此支持nginx、haproxy等服务

2. Keepalived 架构

官方文档:
https://keepalived.org/doc/
http://keepalived.org/documentation.html
 
9a9080a417ea48bf8e9d21efcb84bd6d.png
结合后面的 三、 Keepalived 企业应用示例会更深刻理解
 
  • 用户空间核心组件:
        vrrp stack:VIP消息通告;
        checkers:监测real server;
        system call:实现 vrrp 协议状态转换时调用脚本的功能;
        SMTP:邮件组件;
        IPVS wrapper:生成IPVS规则;
        Netlink Reflector:网络接口;
        WatchDog:监控进程;
  • 控制组件:提供keepalived.conf 的解析器,完成Keepalived配置
  • IO复用器:针对网络目的而优化的自己的线程抽象
  • 内存管理组件:为某些通用的内存管理功能(例如分配,重新分配,发布等)提供访问权限

c8809ae6dd9949d3a46b5dc0fade9230.png

3. 配置文件组成部分

 
配置文件:/etc/keepalived/keepalived.conf
配置文件组成
  • GLOBAL CONFIGURATION
       Global definitions: 定义邮件配置,route_id,vrrp配置,多播地址等
  • VRRP CONFIGURATION
       VRRP instance(s): 定义每个vrrp虚拟路由器
  • LVS CONFIGURATION
       Virtual server group(s)
       Virtual server(s): LVS集群的VS和RS
 

 

4. Keepalived 环境配置

 

 4.1 实验环境

9d8b84e1465244ff86802c2b48dd9dd3.png为了方便记,把里面的IP改一下哈!节省资源可以省略client的,只用四台机子,KA1、KA2、realserver1、realserver2。用rhel7克隆的四台机子。

e074df6b097845d5b723ef82f2e01540.png

  • 各节点时间必须同步:ntp, chrony
  • 关闭防火墙及SELinux
  • 各节点之间可通过主机名互相通信:非必须
  • 建议使用/etc/hosts文件实现:非必须
  • 各节点之间的root用户可以基于密钥认证的ssh服务完成互相通信:非必须

①设置四台机子的内存、处理器来保证Windows正常运行

c832205ee1cb4269886bd2f2cbe1febe.png

3b17df979688448daf739fabefe6279a.png

 

②KA1配置IP等,关闭selinux和火墙。

[root@localhost ~]# hostname KA1     #改名

#我这里是在配置文件里更改IP等信息
[root@KA1 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0 
[root@KA1 ~]# cat /etc/sysconfig/network-scripts/ifcfg-eth0 
OXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=eth0
DEVICE=eth0
ONBOOT=yes
IPADDR=172.25.254.10
NETMASK=255.255.255.0
GATEWAY=172.25.254.2
DNS1=114.114.114.114
ZONE=public


[root@KA1 ~]# getenforce     #查看selinux服务为关闭
Disabled
[root@KA1 ~]# systemctl status firewalld    #查看火墙为关闭(我这里是给火墙关闭上锁,只要你们的关了就可以)
● firewalld.service
   Loaded: masked (/dev/null; bad)
   Active: inactive (dead)
[root@KA1 ~]# 


这里就以KA1为例,剩下三个相同的配置,只需要更改对应名、对应IP信息。在关闭selinux和火墙就可以(克隆出来的一个关就都关着)。

③给realserver1、2安装httpd服务,并写页面内容

#realserver1上
[root@realserver1 ~]# yum install httpd -y    #安装测试工具httpd
[root@realserver1 ~]# echo 172.25.254.110 > /var/www/html/index.html
        #将IP地址作为HTML页面内容,覆盖写到/var/www/html/index.html文件中,默认静态发布
[root@realserver1 ~]# systemctl enable --now httpd    
        #确保httpd服务在系统启动时自启动,并且如果它当前未运行,则立即启动它。  
Created symlink from /etc/systemd/system/multi-user.target.wants/httpd.service t                                     o /usr/lib/systemd/system/httpd.service.


#realserver2上
[root@realserver2 ~]# yum install httpd -y
[root@realserver2 ~]# echo 172.25.254.120 > /var/www/html/index.html
[root@realserver2 ~]# systemctl enable --now httpd
Created symlink from /etc/systemd/system/multi-user.target.wants/httpd.service to /usr/lib/systemd/system/httpd.service.

④给KA1、2安装keepalived

#在KA1上
[root@KA1 ~]# yum install keepalived -y  #安装keepalieved
[root@KA1 ~]# systemctl  enable --now keepalived.service
[root@KA1 ~]# rpm -ql keepalived         #看一下keepalieved的文件
/etc/keepalived                          #keepalived的配置目录
/etc/keepalived/keepalived.conf          #keepalived的主配置文件(该服务的工作守则)
/etc/sysconfig/keepalived                #keepalived的环境配置文件,比如启动参数、环境变量等
/usr/bin/genhash                         #genhash工具,生成密码的散列值,这在健康检查(配置需要密码验证)
/usr/lib/systemd/system/keepalived.service  #keepalived服务的启动、停止、重启等操作脚本
/usr/libexec/keepalived     #keepalived的命令
/usr/sbin/keepalived    
/usr/share/doc/keepalived-1.3.5    #下面都是keepalived的说明文件不做过多介绍哈,可以用 man 5 keepalived.conf查看配置文件、帮助等。
/usr/share/doc/keepalived-1.3.5/AUTHOR
/usr/share/doc/keepalived-1.3.5/CONTRIBUTORS
/usr/share/doc/keepalived-1.3.5/COPYING
/usr/share/doc/keepalived-1.3.5/ChangeLog
/usr/share/doc/keepalived-1.3.5/NOTE_vrrp_vmac.txt
/usr/share/doc/keepalived-1.3.5/README
/usr/share/doc/keepalived-1.3.5/TODO
/usr/share/doc/keepalived-1.3.5/keepalived.conf.SYNOPSIS
/usr/share/doc/keepalived-1.3.5/samples
/usr/share/doc/keepalived-1.3.5/samples/keepalived.conf.HTTP_GET.port
/usr/share/doc/keepalived-1.3.5/samples/keepalived.conf.IPv6
/usr/share/doc/keepalived-1.3.5/samples/keepalived.conf.SMTP_CHECK
/usr/share/doc/keepalived-1.3.5/samples/keepalived.conf.SSL_GET
/usr/share/doc/keepalived-1.3.5/samples/keepalived.conf.fwmark
/usr/share/doc/keepalived-1.3.5/samples/keepalived.conf.inhibit
/usr/share/doc/keepalived-1.3.5/samples/keepalived.conf.misc_check
/usr/share/doc/keepalived-1.3.5/samples/keepalived.conf.misc_check_arg
/usr/share/doc/keepalived-1.3.5/samples/keepalived.conf.quorum
/usr/share/doc/keepalived-1.3.5/samples/keepalived.conf.sample
/usr/share/doc/keepalived-1.3.5/samples/keepalived.conf.status_code
/usr/share/doc/keepalived-1.3.5/samples/keepalived.conf.track_interface
/usr/share/doc/keepalived-1.3.5/samples/keepalived.conf.virtual_server_group
/usr/share/doc/keepalived-1.3.5/samples/keepalived.conf.virtualhost
/usr/share/doc/keepalived-1.3.5/samples/keepalived.conf.vrrp
/usr/share/doc/keepalived-1.3.5/samples/keepalived.conf.vrrp.localcheck
/usr/share/doc/keepalived-1.3.5/samples/keepalived.conf.vrrp.lvs_syncd
/usr/share/doc/keepalived-1.3.5/samples/keepalived.conf.vrrp.routes
/usr/share/doc/keepalived-1.3.5/samples/keepalived.conf.vrrp.rules
/usr/share/doc/keepalived-1.3.5/samples/keepalived.conf.vrrp.scripts
/usr/share/doc/keepalived-1.3.5/samples/keepalived.conf.vrrp.static_ipaddress
/usr/share/doc/keepalived-1.3.5/samples/keepalived.conf.vrrp.sync
/usr/share/doc/keepalived-1.3.5/samples/sample.misccheck.smbcheck.sh
/usr/share/man/man1/genhash.1.gz
/usr/share/man/man5/keepalived.conf.5.gz
/usr/share/man/man8/keepalived.8.gz
/usr/share/snmp/mibs/KEEPALIVED-MIB.txt
/usr/share/snmp/mibs/VRRP-MIB.txt
/usr/share/snmp/mibs/VRRPv3-MIB.txt
[root@KA1 ~]#


#在KA2上
[root@KA2 ~]# yum install keepalived -y
[root@KA2 ~]# systemctl  enable --now keepalived.service
Created symlink from /etc/systemd/system/multi-user.target.wants/keepalived.service to /usr/lib/systemd/system/keepalived.service.

注:rhel7中可能会遇到的问题: 

systemctl restart keepalived #新配置可能无法生效
systemctl stop keepalived;systemctl start keepalived #无法停止进程,需要 kill 停止
 

4.2.配置master端(KA1)

#全局配置

[root@KA1 ~]# vim /etc/keepalived/keepalived.conf        #编辑keepalived配置文件

 

! Configuration File for keepalived

global_defs {
   notification_email {
        2996295922@qq.com        #keepalived 发生故障切换时邮件发送的目标邮箱,可以按行区分写多个

   }
   notification_email_from keepalived@hzr.org        #发送通知邮件的地址(从哪来的)
   smtp_server 127.0.0.1                   #邮件服务器地址
   smtp_connect_timeout 30             #邮件服务器连接的超时时间30s
   router_id ka1.hzr.org                     #每个keepalived主机唯一标识 ;建议使用当前主机名,但多节点重名不影响
   vrrp_skip_check_adv_addr           #对所有通告报文都检查,会比较消耗性能                                                                              #启用此配置后,如果收到的通告报文和上一 个报文是同一个路由器,则跳过检查,默认值为全检查(同一个来源的检测只检测一次)

   vrrp_strict                                     #严格遵循vrrp协议

                                                       #启用此项后以下状况将无法启动服务: 1. 无VIP地址 ;2.配置了单播邻居;3.在VRRP版本2中有IPv6地址
   vrrp_garp_interval 0                    #报文发送延迟,0表示不延迟
   vrrp_gna_interval 0                     #消息发送延迟
   vrrp_mcast_group4 224.0.0.18   #指定组播IP地址范围(接受通告数据的地址)
}

 

配置虚拟路由器

vrrp_instance VI_1 {
    state MASTER        #主端
    interface eth0         #绑定为当前虚拟路由器使用的物理接口,如:eth0,它可以和VIP不在一 个网卡

    virtual_router_id 100        #每个虚拟路由器惟一标识,范围:0-255,每个虚拟路由器此值必须唯一 否则服务无法启动

                                             #同属一个虚拟路由器的多个keepalived节点必须相同

                                             #务必要确认在同一网络中此值必须唯一
    priority 100                       #当前物理节点在此虚拟路由器的优先级,范围:1-254

                                            #值越大优先级越高,每个keepalived主机节点此值不同
    advert_int 1                   #vrrp通告的时间间隔,默认1s
    authentication {             #认证机制             
        auth_type PASS       #AH为IPSEC认证(不推荐),PASS为简单密码(建议使用)
        auth_pass 1111        #预共享密钥,要在1-8位内有效

                                         #同一个虚拟路由器的多个keepalived节点必须一样
    }
    virtual_ipaddress {        #虚拟IP,生产环境可能指定上百个IP地址
        172.25.254.100/24 dev eth0 label eth0:1       #不指定/prefix,默32;eth0:一块网卡可以有多个子接口,如:eth0网卡的子接口为1;

#写法<IPADDR>/<MASK> brd <IPADDR> dev <STRING> scope <SCOPE> label <LABEL>
    }
}

4.3 重启KA1 上的  keepalived服务并查看VIP的设置

[root@KA1 ~]# systemctl restart keepalived.service
62491e53dbf0419cbaee0e8c5f67836b.png

一遍查不到VIP 就查两遍哈!

 4.4 配置slave端 (KA2)

①将配置文件复制给KA2

[root@KA1 ~]# scp /etc/keepalived/keepalived.conf
root@172.25.254.20:/etc/keepalived/keepalived.conf
    #在KA1 上将这个配置文件复制给KA2 就不用配置这么多了

The authenticity of host '172.25.254.20 (172.25.254.20)' can't be established.
ECDSA key fingerprint is SHA256:gETUi0mrSLfBkLSUVwB7n7Qy3OLPMcjWDKkseVEv5bc.
ECDSA key fingerprint is MD5:e1:50:c6:17:a8:82:fd:97:00:0b:9b:63:31:ff:e6:33.
Are you sure you want to continue connecting (yes/no)? y
Please type 'yes' or 'no': yes
Warning: Permanently added '172.25.254.20' (ECDSA) to the list of known hosts.
root@172.25.254.20's password:
keepalived.conf                               100% 3528     4.9MB/s   00:00
[root@KA1 ~]#

②更改参数

ed21c483d6604dfebdc64d9589cf050a.png

 只改标出来的两个参数!

7fb7618f32a944abbfd8f19852686c44.png

4.5 测试

5e2e2ad87ca7414688983cc6de5058de.png

然后再一台机子上ssh远程连接KA1关闭keepalived服务:

84d1c28ed9c74b28becc31f5635ef11b.png

再次抓包测试:

fd7f199f0bbd48b0b83a6e6e2ec423d0.png

 f56e2947ad7b4f8c8dac6063a589aaa6.png

继续再ssh远程连接KA1上开启keepalived服务

抓包测试:

88352bbc857f40b08b35fd30153ca0f9.png

自然VIP也回到了KA1(10)上!

这就解决了VIP挂了后,由另一台路由器代替进行工作。在网络发生故障时透明地进行设备切换,不影响主机之间的数据通信。自动完成,无需人工干涉,只需要在故障后进行服务器修复。

5. keepalived虚拟路由的通讯设定

那我们可以ping通VIP吗?

不行!!VIP的访问功能被禁掉,避免了一些攻击数据等。

b279dfe927314383891087eb1fc23716.pngd8cf0e5b7dc444608534a04b9132a6f3.png

更改KA1、2的参数让他可以ping通:

#方法一

[root@KA1 ~]# vim /etc/keepalived/keepalived.conf        #进入配置文件更改参数

fe618c94808c467c907c88dad9c1650f.png

[root@KA1 ~]# systemctl restart keepalived.service        #重启服务

 

[root@KA2 ~]# vim /etc/keepalived/keepalived.conf 

15e78c58d7b84d7ab36b5f24f203193d.png[root@KA2 ~]# systemctl restart keepalived.service

 

ping测试:

8bcfa041702445e78080768cf92768c9.png

 

ping通原因:

ab9c07bb3eb3463b99ea04cb066385b5.png

 

#方法二
[root@KA1 ~]# vim /etc/keepalived/keepalived.conf 
0de6355e0ddb4f28bd444fe8ebde144d.png

[root@KA1 ~]# systemctl restart keepalived.service

 

[root@KA2 ~]# vim /etc/keepalived/keepalived.conf  

配置文件里面加同样的参数

[root@KA2 ~]# systemctl restart keepalived.service

 

ping测试:

c7b5034a23564ead933a3a1e271a4e1d.png

 

6. 启用keepalived日志功能

6.1 将keepalived日志分离

#将keepalive日志分离出来

[root@KA1 ~]# vim /etc/sysconfig/keepalived
[root@KA1 ~]# cat /etc/sysconfig/keepalived
# Options for keepalived. See `keepalived --help' output and keepalived(8) and
# keepalived.conf(5) man pages for a list of all options. Here are the most
# common ones :
#
# --vrrp               -P    Only run with VRRP subsystem.
# --check              -C    Only run with Health-checker subsystem.
# --dont-release-vrrp  -V    Dont remove VRRP VIPs & VROUTEs on daemon stop.
# --dont-release-ipvs  -I    Dont remove IPVS topology on daemon stop.
# --dump-conf          -d    Dump the configuration data.
# --log-detail         -D    Detailed log messages.
# --log-facility       -S    0-7 Set local syslog facility (default=LOG_DAEMON)
#

KEEPALIVED_OPTIONS="-D -S 6"    #指定采集日志的ID范围为0-7

[root@KA1 ~]# systemctl restart keepalived.service

[root@KA1 ~]# vim /etc/rsyslog.conf

d25d670f3a3343bf83f30ccd3b8664a8.png

#重启两个服务
[root@KA1 ~]# systemctl restart keepalived.service
[root@KA1 ~]# systemctl restart rsyslog.service

可以查看一下 /var/log/keepalived.log 文件生成了没:

[root@KA1 ~]# ll /var/log/keepalived.log
-rw------- 1 root root 5177 8月  14 21:09 /var/log/keepalived.log
[root@KA1 ~]#

如果没有生成的话就多重起两遍;重启遇到问题就是参数改的有问题。

[root@KA1 ~]# cat /var/log/keepalived.log    #查看日志内容,里面全是关于keepalived的
[root@KA1 ~]# tail -f /var/log/keepalived.log
                #显示文件的最后几行内容(默认情况下是最后10行),持续刷新显示新的追加内容

6.2 实现独立子配置文件

当生产环境复杂时, /etc/keepalived/keepalived.conf 文件中内容过多,不易管理;
将不同集群的配置,比如:不同集群的VIP配置放在独立的子配置文件中利用include 指令可以实现包含子配置文件。
[root@KA1 ~]# mkdir -p /etc/keepalived/conf.d    #先创一个目录文件
[root@KA1 ~]# vim /etc/keepalived/keepalived.conf    

d03fe8b01c1a41d39c1d83ec9654c49f.png


[root@KA1 ~]# vim /etc/keepalived/conf.d/172.25.254.100.conf  
[root@KA1 ~]# cat /etc/keepalived/conf.d/172.25.254.100.conf
vrrp_instance VI_1 {
   state MASTER
   interface eth0
   virtual_router_id 100
   priority 100
   advert_int 1
   authentication {
       auth_type PASS
       auth_pass 1111
   }
   virtual_ipaddress {
       172.25.254.100/24 dev eth0 label eth0:1
   }
}

编辑好后,检查一下我们的VIP设置还在!539681ca64924e44947a2e0c21cf802a.png

7. 抢占模式和非抢占模式

7.1 抢占模式:

同 4. Keepalived 环境配置中的 4.5测试里面有讲到;

7.2 非抢占模式 nopreempt

        默认为抢占模式preempt,即当高优先级的主机恢复在线后,会抢占低先级的主机的master角色, 这样会使vip在KA主机中来回漂移,造成网络抖动,建议设置为非抢占模式 nopreempt ,即高优先级主机恢复后,并不会抢占低优先级主机的master角色。
        非抢占模块下,如果原主机down机, VIP迁移至的新主机, 后续也发生down时,仍会将VIP迁移回原主机。

注:要关闭 VIP抢占,nopreempt 选项只能在 state 为 BACKUP 的节点上设置(KA1、KA2全为备机);

①KA1上

5e0d214310054b48a6ab80c670bc7de6.png

 


②KA2上

0973fe3e24244f64938f15d946f951f2.png

[root@KA2 ~]# systemctl restart keepalived.service        #重启服务

③测试:

为了掩饰效果,我们先重启KA2的服务(见下面),在重启KA1的服务

[root@KA2 ~]# systemctl restart keepalived.service        #重启 KA2 服务

5a16e43d531d41b3986aa2ded154c965.png

[root@KA1 ~]# systemctl restart keepalived.service        #重启 KA1 服务

06c44d656bfa436fb3de04412d992746.png

在KA1重启后我们在次查询ifconfig,VIP是在 K0A2 优先级为80 下的;

def1e1f368604763afe9e806c9e3d512.png

非抢占模式下,在多个节点竞争成为 MASTER 的场景中,nopreempt 选项不会影响节点的优先级比较过程,只会在节点已经成为 MASTER 后才起作用。而且只有  当有VIP的机子挂了后,VIP才会到另一台机子上。

演示一下:当KA2关闭keepalived服务后,在KA1上查看,VIP就会在KA1上;

[root@KA2 ~]# systemctl stop keepalived.service

6282388f948944d2bd50b9f10c6e8e1a.png

8. 抢占延迟模式 preempt_delay

抢占延迟模式,即优先级高的主机恢复后,不会立即抢回VIP,而是延迟一段时间(默认300s)再抢回VIP
注:需要各keepalived服务器state为BACKUP,并且不要启用 vrrp_strict;
preempt_delay # #指定抢占延迟时间为#s,默认延迟300s

①KA1上

[root@KA1 ~]# vim /etc/keepalived/keepalived.conf

4b20a9df047e425abffcf04228884db8.png

[root@KA1 ~]# systemctl restart keepalived.service

②KA2上

[root@KA2 ~]# vim /etc/keepalived/keepalived.conf

886e8743d9ba46dd876d93b0bd592395.png

[root@KA2 ~]# systemctl restart keepalived.service

③测试

根据优先级大小演示效果,我们把 KA1 上的服务给停止,在查看一下 KA2 让 VIP 到 KA2 上。

[root@KA1 ~]# systemctl stop  keepalived.service        #在 KA1 上停止服务
KA2上查看有 VIP

09a912dfb60d4f0fbbeafee2de134799.png

然后再开启 KA1 上的服务,先查一下 VIP 发现没有,等 10s 在查 VIP 就到 KA1 上了!

e949d9b9a87a489e891a657b56e94aae.png

实验效果达到后,就把抢占延迟的那一行配置删掉,以免影响后面的实验效果。

 

9. VIP单播配置

默认keepalived主机之间利用多播相互通告消息,会造成网络拥塞,可以替换成单播,减少网络流量。

注:启用 vrrp_strict 时,不能启用单播

#在所有节点vrrp_instance语句块中设置对方主机的IP,
建议设置为专用于对应心跳线网络的地址,而非使用业务网络


unicast_src_ip <IPADDR>     #指定发送单播的源IP
unicast_peer {
    <IPADDR>                #指定接收单播的对方目标主机IP
......
}


# 启用 vrrp_strict 时,不能启用单播,提前注释 vrrp_strict 

①KA1上

a9102437f92841de830087ea421de57e.png

编辑好后重启服务

②KA2上

4f369e87fd7e4da880f8ceb71b2b32fb.png

编辑好后重启服务

③测试

[root@KA1 ~]# tcpdump -i eth0 -nn src host 172.25.254.10 and dst 172.25.254.20

b7268432df804682bd23bcb6a8991c2f.png

单播:有 VIP的机子向 没VIP的机子 发送信息;

在有VIP的机子上测试才可以看到抓包信息;

相同的把 有VIP 的机子服务停止,没VIP的机子 根据 优先级抢占VIP 接管,你就在接管了VIP的机子上测试就会有抓包信息了!这就不过多演示了。

10. 邮件配置

#给KA1、KA2安装邮件发送工具
[root@KA1 ~]# yum install mailx -y

[root@KA2 ~]# yum install mailx -y
②QQ邮箱配置

[root@KA1 ~]# vim /etc/mail.rc


dbe93bb85a7b426dbc088779098817d5.png

授权码生成见下面:

8562b04e62cc4c82b17f5b8fe3ca56c6.png

4ff746f2ce3b4718bb4bf5399db2b6ba.png

d1bb49f7075643b685743dbd30d84e29.png

 

faf2cc2bcc0741bcbc827cd9d03728e0.png
 

③发送测试邮件

[root@KA1 ~]# echo hello | mail -s test 2996295922@qq.com

查看收件箱内容bc7b585d44aa4891b7b233bd9c4979d2.png

KA2上同KA1

[root@KA2 ~]# vim /etc/mail.rc        #将KA1最后加的内容复制到KA2上的 /etc/mail.rc 文件最后

[root@KA2 ~]# echo hihi | mail -s test1 2996295922@qq.com        #发送内容等

测试查看

4240e065bd844c378d8084e187f1cb76.png

 

.Keepalived 企业应用示例

1. 实现 Keepalived 状态切换的通知脚本

1.1  Keepalived 通知脚本配置

  • 当keepalived的状态变化时,可以自动触发脚本的执行,比如:发邮件通知用户
  • 默认以用户keepalived_script身份执行脚本
  • 如果此用户不存在,以root执行脚本可以用下面指令指定脚本执行用户的身份
global_defs {
......
script_user <USER>
......
}

1.2 通知脚本类型

 
当前节点成为主节点时触发的脚本
 
notify_master <STRING>|<QUOTED-STRING>

当前节点转为备节点时触发的脚本

notify_backup <STRING>|<QUOTED-STRING>

当前节点转为“失败”状态时触发的脚本

notify_fault <STRING>|<QUOTED-STRING>

通用格式的通知触发机制,一个脚本可完成以上三种状态的转换时的通知

notify <STRING>|<QUOTED-STRING>

当停止VRRP时触发的脚本

notify_stop <STRING>|<QUOTED-STRING>

1.3 实现 Keepalived 状态切换的通知脚本

①编辑/etc/keepalived/mail.sh

#KA1上配置
[root@KA1 ~]# vim /etc/keepalived/mail.sh

[root@KA1 ~]# cat /etc/keepalived/mail.sh
#!/bin/bash
mail_dst="2996295922@qq.com"
send_message()
{
  mail_sub="$HOSTNAME to be $1 vip move"
  mail_msg="`date +%F\ %T`:vrrp move $HOSTNAME chage $1"
  echo $mail_msg | mail -s "$mail_sub" $mail_dst
}

case $1 in
  master)
  send_message master
  ;;
  backup)
  send_message backup
  ;;
  fault)
  send_message fault
  ;;
  *)
  ;;
esac

[root@KA1 ~]# chmod +x /etc/keepalived/mail.sh    #给脚本可执行权限


#KA2上配置
[root@KA2 ~]# vim /etc/keepalived/mail.sh

[root@KA2 ~]# cat /etc/keepalived/mail.sh
#!/bin/bash
mail_dst="2996295922@qq.com"
send_message()
{
  mail_sub="$HOSTNAME to be $1 vip move"
  mail_msg="`date +%F\ %T`:vrrp move $HOSTNAME chage $1"
  echo $mail_msg | mail -s "$mail_sub" $mail_dst
}

case $1 in
  master)
  send_message master
  ;;
  backup)
  send_message backup
  ;;
  fault)
  send_message fault
  ;;
  *)
  ;;
esac

[root@KA2 ~]# chmod +x /etc/keepalived/mail.sh

②脚本调用

#KA1上

[root@KA1 ~]# vim /etc/keepalived/keepalived.conf

eff5c945fb52443592b8358f659cb6a8.png

#KA2上同KA1

[root@KA2 ~]# vim /etc/keepalived/keepalived.conf         #和KA1一样在末尾行添加以下内容
         notify_master "/etc/keepalived/mail.sh master"
         notify_backup "/etc/keepalived/mail.sh backup"
         notify_fault "/etc/keepalived/mail.sh fault"

③测试

[root@KA1 ~]# /etc/keepalived/mail.sh master
6049fded9e0342ce8290eaaab67695e2.png

[root@KA2 ~]# /etc/keepalived/mail.sh backup
8f08b9fe7aae4271b48e0221d651f2a1.png

停止 KA1 的服务 
[root@KA1 ~]# systemctl stop keepalived.service

会自动发送邮件KA2,成为主节点;

ad37b8f660d24afcb3f00efefd14ffae.png

同样的重启KA1 由于优先级100高于 KA2 的优先级80,会抢占 VIP ,也会自动发送两封邮件KA1  

将KA1的 backup 状态(备节点)变为 master 状态(主节点);

2740404d72e14c74b3f99f4d275fc957.png

  cb21516ce1fd41d9b977fbc530ec39ac.png

2. 实现master/slave Keepalived 单主架构

同-—— > 二. Keepalived 部署里面的  4. Keepalived 环境配置;

3.实现 master/master Keepalived 双主架构

  • master/slave的单主架构,同一时间只有一个Keepalived对外提供服务,此主机繁忙,而另一台主机却 很空闲,利用率低下,可以使用master/master的双主架构,解决此问题。
  • master/master 的双主架构:即将两个或以上VIP分别运行在不同的keepalived服务器,以实现服务器并行提供web访问的目的,提高服务器资源利用率。
#KA1上
[root@KA1 ~]# vim /etc/keepalived/keepalived.conf

vrrp_instance VI_1 {
   state MASTER           #主
   interface eth0
   virtual_router_id 100
   priority 100
   advert_int 1
   authentication {
       auth_type PASS
       auth_pass 1111
   }
   virtual_ipaddress {
       172.25.254.100/24 dev eth0 label eth0:1
   }
   unicast_src_ip 172.25.254.10
   unicast_peer {
        172.25.254.20
   }
#    notify_master "/etc/keepalived/mail.sh master"
#    notify_backup "/etc/keepalived/mail.sh backup"
#    notify_fault "/etc/keepalived/mail.sh fault"
}

                                            #在vrrp_instance VI_1块配置后添加

vrrp_instance VI_2 {
   state BACKUP             #备
   interface eth0
   virtual_router_id 200
   priority 80
   advert_int 1
   authentication {
       auth_type PASS
       auth_pass 1111
   }
   virtual_ipaddress {
       172.25.254.200/24 dev eth0 label eth0:2
   }
   unicast_src_ip 172.25.254.10
   unicast_peer {
        172.25.254.20
   }
}

如图:

411b6fca6bee4cd09c4022be166f8750.png

#KA2上
vrrp_instance VI_1 {
    state BACKUP        #备
    interface eth0
    virtual_router_id 100
    priority 80
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        172.25.254.100/24 dev eth0 label eth0:1
    }
    unicast_src_ip 172.25.254.20
    unicast_peer {
        172.25.254.10
    }
#    notify_master "/etc/keepalived/mail.sh master"
#    notify_backup "/etc/keepalived/mail.sh backup"
#    notify_fault "/etc/keepalived/mail.sh fault"

}

vrrp_instance VI_2 {
   state MASTER        #主
   interface eth0
   virtual_router_id 200
   priority 100        #优先级不同
   advert_int 1
   authentication {
       auth_type PASS
       auth_pass 1111
   }
   virtual_ipaddress {
       172.25.254.200/24 dev eth0 label eth0:2
   }
   unicast_src_ip 172.25.254.20
   unicast_peer {
        172.25.254.10
   }
}


 关闭KA2的服务。那172.25.254.200的VIP就会自动到KA1上。这时KA1就是双主,双VIP。

0caf9eded3b84beeba63cee44cbad56b.png

4. 实现IPVS的高可用性 

4.1 IPVS相关配置

4.1.1 虚拟服务器配置结构

virtual_server IP port {
...
real_server {
...
}
real_server {
...
}
…
}

4.1.2 virtual server (虚拟服务器)的定义格式

virtual_server IP port #定义虚拟主机IP地址及其端口
virtual_server fwmark int #ipvs的防火墙打标,实现基于防火墙的负载均衡集群
virtual_server group string #使用虚拟服务器组

4.1.3 虚拟服务器配置

virtual_server IP port {     #VIP和PORT
delay_loop <INT>             #检查后端服务器的时间间隔
lb_algo rr|wrr|lc|wlc|lblc|sh|dh #定义调度方法
lb_kind NAT|DR|TUN           #集群的类型,注意要大写
persistence_timeout <INT>    #持久连接时长
protocol TCP|UDP|SCTP        #指定服务协议,一般为TCP
sorry_server <IPADDR> <PORT> #所有RS故障时,备用服务器地址
real_server <IPADDR> <PORT> { #RS的IP和PORT
weight <INT>                 #RS权重
notify_up <STRING>|<QUOTED-STRING> #RS上线通知脚本
notify_down <STRING>|<QUOTED-STRING> #RS下线通知脚本
HTTP_GET|SSL_GET|TCP_CHECK|SMTP_CHECK|MISC_CHECK { ... } 
                              #定义当前主机健康状态检测方法
  }
}
#注意:括号必须分行写,两个括号写在同一行,如: }} 会出错

4.1.4 应用层监测

应用层检测:HTTP_GET | SSL_GET
HTTP_GET|SSL_GET {
url {
path <URL_PATH>           #定义要监控的URL
status_code <INT>         #判断上述检测机制为健康状态的响应码,一般为 200
}
connect_timeout <INTEGER> #客户端请求的超时时长, 相当于haproxy的timeout server
nb_get_retry <INT>        #重试次数
delay_before_retry <INT>  #重试之前的延迟时长
connect_ip <IP ADDRESS>   #向当前RS哪个IP地址发起健康状态检测请求
connect_port <PORT>       #向当前RS的哪个PORT发起健康状态检测请求
bindto <IP ADDRESS>       #向当前RS发出健康状态检测请求时使用的源地址
bind_port <PORT>          #向当前RS发出健康状态检测请求时使用的源端口
}

4.1.5 TCP监测

传输层检测:TCP_CHECK
TCP_CHECK {
connect_ip <IP ADDRESS>     #向当前RS的哪个IP地址发起健康状态检测请求
connect_port <PORT>         #向当前RS的哪个PORT发起健康状态检测请求
bindto <IP ADDRESS>         #发出健康状态检测请求时使用的源地址
bind_port <PORT>            #发出健康状态检测请求时使用的源端口
connect_timeout <INTEGER>   #客户端请求的超时时长
                            #等于haproxy的timeout server
}

5. 实现单主的 LVS-DR+keepalived 模式

①给realserver1、2配置VIP
[root@realserver1 ~]# ip a a 172.25.254.100/32 dev lo
[root@realserver2 ~]# ip a a 172.25.254.100/32 dev lo

503d4a08d78542cdb41d2befde2f4c52.png

92436388890a48afbc552c3230408353.png

②关闭arp响应

[root@realserver1 ~]# vim /etc/sysctl.d/arp.conf
net.ipv4.conf.all.arp_announce=1
net.ipv4.conf.all.arp_ignore=2
net.ipv4.conf.lo.arp_announce=1
net.ipv4.conf.lo.arp_ignore=2

[root@realserver2 ~]# vim /etc/sysctl.d/arp.conf
net.ipv4.conf.all.arp_announce=1
net.ipv4.conf.all.arp_ignore=2
net.ipv4.conf.lo.arp_announce=1
net.ipv4.conf.lo.arp_ignore=2

#给另一台配置相同的也可以
scp /etc/sysctl.d/arp.conf root@172.25.254.120:/etc/sysctl.d/arp.conf     
#给120的复制过去

ce9c4927f3844b4bb79926b4f2f0dd92.png

③编辑配置keepalived

#KA1上

[root@KA1 ~]# yum install ipvsadm -y        #下载软件观察ipvs

60631010a5364719a3609f006423381c.png

[root@KA1 ~]# systemctl restart keepalived.service 

查看LVS-DR策略

bccae59c11934c8c978b45f5f0e65ca4.png

#KA2上
[root@KA2 ~]# vim /etc/keepalived/keepalived.conf

2ac85a315f8c4ddc80426d5023d845ac.png

[root@KA2 ~]# systemctl restart keepalived.service

④测试:

[root@KA1 ~]# watch -n 1 ipvsadm -Ln        #实时观测ipvsadm策略

6a9868c939904f03a1024adefadf187b.png

8b0ed3a3372748edb1b1e7c71d3a4530.png

[root@realserver1 ~]# systemctl stop httpd.service        #把realserver1(110)的httpd服务停止

这时在KA1上看

5b530736f9004a99a625f4c6fc098515.png
7544bd6e01b64e5ea3a479e8bb8c0730.png
 
[root@realserver1 ~]# systemctl start httpd.service        #我们再给他开启后

这时KA1上看

f4b404f890444f87829398ad660fae13.png

a237de04ea6e4fbb89ac1b1111aa99ae.png

也就是:

a4cfd349e3fe43cfb5b54b48dd2cf37e.png

keepalived开启后,会健康检查:

  • 定期向后端服务器发送探测包(如ICMP、TCP连接请求等),以检查其健康状态。
  • 如果RS1在规定时间内未响应健康检查,则被视为宕机或不可用。
  • 在主调度器能够正常运转时,由主调度器进行节点服务器业务的分配处理,其余备用调度器处于待机状态,不参与当前的集群运转。当主调度器出现故障无法运转时,此时备用调度器会由优先级最高的调度承担主调度器的工作,而出现故障的主调调度器便会退出当前工作,由人工维修后返回集群。(就是KA1出问题后,同时会自动切换到KA2备用机上来完成客户相应。很很好理解,这就不做过多演示)

6. 实现其它应用的高可用性 VRRP Script

keepalived利用 VRRP Script 技术,可以调用外部的辅助脚本进行资源监控,并根据监控的结果实现优先动态调整,从而实现其它应用的高可用性功能
 
参考配置文件:/usr/share/doc/keepalived/keepalived.conf.vrrp.localcheck
 
6.1  VRRP Script 配置
分两步实现:
  • 定义脚本
        vrrp_script:自定义资源监控脚本,vrrp实例根据脚本返回值,公共定义,可被多个实例调用,定 义在vrrp实例之外的独立配置块,一般放在global_defs设置块之后。
        通常此脚本用于监控指定应用的状态。一旦发现应用的状态异常,则触发对MASTER节点的权重减至低于SLAVE节点,从而实现 VIP 切换到 SLAVE 节点。
​​​​vrrp_script <SCRIPT_NAME> {
  script <STRING>|<QUOTED-STRING>         #此脚本返回值为非0时,会触发下面执行        OPTIONS
}
  • 调用脚本
track_script:调用vrrp_script定义的脚本去监控资源,定义在VRRP实例之内,调用事先定义的
vrrp_script
​​​​​​track_script {
  SCRIPT_NAME_1
  SCRIPT_NAME_2
}
[root@KA1 ~]# vim /etc/keepalived/test.sh
[root@KA1 ~]# cat /etc/keepalived/test.sh
#!/bin/bash
[ ! -f /mnt/hzr ]

[root@KA1 ~]# chmod +x /etc/keepalived/test.sh
[root@KA1 ~]# vim /etc/keepalived/keepalived.conf

9ee7085175da4869aa8506076b1c5c70.png

KA1上重启服务

[root@KA1 ~]# sh /etc/keepalived/test.sh
[root@KA1 ~]# echo $?
0
[root@KA1 ~]# echo $?
0
#返回值为0时,就不会降低该节点的权重,也就是按照权重正常的VIP分布;如下图

ea906a6706ab4d68980c654cdc244675.png

136bbd5c1a0744638f8fd92afe0dba8e.png

[root@KA1 ~]# touch /mnt/hzr    #创建一个文件
[root@KA1 ~]# ll /mnt/hzr
-rw-r--r-- 1 root root 0 8月  18 20:28 /mnt/hzr

[root@KA1 ~]# sh /etc/keepalived/test.sh    #执行脚本
[root@KA1 ~]# echo $?                       #返回值为1
1

#当返回值非0时,就会根据test.sh脚本调整权重

当返回值非0时:

54dc678e59574639ba70d1ab455d38c6.png

9903af97486e44e09e8883abfe6d71ba.png

7. 实现HAProxy + Kepalived高可用

6e7dcaa0030449cca75c142f1bf02280.png

①在KA1\2上下载安装haproxy

[root@KA1 ~]# yum install haproxy -y

[root@KA2 ~]# yum install haproxy -y

②在两个KA1、2两个节点启用内核参数
[root@KA1 ~]# vim /etc/haproxy/haproxy.cfg

addd883e3ef0420d9275081ded8babba.png
[root@KA1 ~]# vim /etc/sysctl.conf

04a27beaede84d81b0e81668a986d2ca.png

[root@KA1 ~]# systemctl --system
  UNIT                       LOAD   ACTIVE SUB       DESCRIPTION
  proc-sys-fs-binfmt_misc.automount loaded active waiting   Arbitrary Executable
  sys-devices-pci0000:00-0000:00:10.0-host0-target0:0:0-0:0:0:0-block-sda-sda1.d
  sys-devices-pci0000:00-0000:00:10.0-host0-target0:0:0-0:0:0:0-block-sda-sda2.d
  sys-devices-pci0000:00-0000:00:10.0-host0-target0:0:0-0:0:0:0-block-sda.device
  sys-devices-pci0000:00-0000:00:11.0-0000:02:00.0-usb2-2\x2d2-2\x2d2.1-2\x2d2.1
  sys-devices-pci0000:00-0000:00:11.0-0000:02:00.0-usb2-2\x2d2-2\x2d2.1-2\x2d2.1
  sys-devices-pci0000:00-0000:00:11.0-0000:02:01.0-net-eth0.device loaded active
  sys-devices-pci0000:00-0000:00:11.0-0000:02:02.0-sound-card0.device loaded act
  sys-devices-pci0000:00-0000:00:11.0-0000:02:04.0-ata4-host4-target4:0:0-4:0:0:
  sys-devices-platform-serial8250-tty-ttyS0.device loaded active plugged   /sys/
  sys-devices-platform-serial8250-tty-ttyS1.device loaded active plugged   /sys/
  sys-devices-platform-serial8250-tty-ttyS2.device loaded active plugged   /sys/
  sys-devices-platform-serial8250-tty-ttyS3.device loaded active plugged   /sys/
  sys-devices-virtual-block-dm\x2d0.device loaded active plugged   /sys/devices/
  sys-devices-virtual-block-dm\x2d1.device loaded active plugged   /sys/devices/
  sys-devices-virtual-net-virbr0.device loaded active plugged   /sys/devices/vir
  sys-devices-virtual-net-virbr0\x2dnic.device loaded active plugged   /sys/devi
  sys-module-configfs.device loaded active plugged   /sys/module/configfs
  sys-module-fuse.device     loaded active plugged   /sys/module/fuse
  sys-subsystem-bluetooth-devices-hci0.device loaded active plugged   Virtual_Bl
  sys-subsystem-net-devices-eth0.device loaded active plugged   82545EM Gigabit
  sys-subsystem-net-devices-virbr0.device loaded active plugged   /sys/subsystem
  sys-subsystem-net-devices-virbr0\x2dnic.device loaded active plugged   /sys/su

[root@KA1 ~]# sysctl -p
net.ipv4.ip_nonlocal_bind = 1

KA2上和KA1 一样重复上述操作。

③检查realserver1、2不能有VIP,之前配置的删了

00164d1076c044a98ea3e47d687cee1a.png

88795fc710014f8380eb9d3a5b72e378.png

④关闭arp

realserver1、realserver2上

[root@realserver1 ~]# vim /etc/sysctl.d/arp.conf

577ad07ab70a42bfb7fe1ddc580ea0e0.png
[root@realserver1 ~]# sysctl --system

[root@realserver2 ~]# vim /etc/sysctl.d/arp.conf0

072fbfca034e493bba4c7d7c8b90187b.png

[root@realserver2 ~]# sysctl --system

⑤注释LVS部分避免影响haproxy

KA1上

f80d7a03c27644b6b3fb00fa4f96e08b.png

KA2上

371dcb9a1dab4d07ac0f1630f44034b1.png

⑥测试

86fc84d9f27a49aab866bc02ea21f848.png

31a9548870ed4fecaa045685da3e9bdb.png

⑦给haproxy编写检测脚本(我这里就是把前面那个实验脚本改了名)

#KA1上

ffceda6320544242894be9bb7df64768.png

#KA2上

8c8ac77d429c412b82e5369de3e40526.png

测试

94ba80b8fdf54f9490f7878dac68f92d.png

[root@KA1 ~]# systemctl stop keepalived.service        #这时我们关闭KA1的服务

877753c27b1f4cfabf7830ce900efbba.png

03887fd78482444a86a72d9e63f00ddd.png

但是我们的访问依旧正常

9c9cab129a834503a683137880804137.png

通过控制VIP的漂移来实现故障转移;

 

  • 15
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值