keepalived高可用

于 2024-06-21 14:31:55 发布
阅读量774 收藏 25
点赞数 18
文章标签： 智能路由器 网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_67497257/article/details/139860389
版权

Keepalive

1 Keepalive基础

1.1 vrrp技术

VRRP 相关术语

  • 虚拟路由器：Virtual Router 不是真实存在 ，虚构出来的

  • 虚拟路由器标识：VRID(0-255)，唯一标识虚拟路由器

  • VIP：Virtual IP 对外提供服务的地址

  • VMAC：Virutal MAC (00-00-5e-00-01-VRID)

  • 物理路由器：

  • master：主设备

  • backup：备用设备

  • priority：优先级

网络vrrp那章已详细说明，
状态机     心跳线：  1s
虚拟路由器的主备是由priority：优先级决定的

1.2 VRRP相关技术

通告：心跳线，优先级等；周期性， vrrp 协议报文 单播 组播 224.0.0.18 广播

工作方式：抢占式，非抢占式，延迟抢占模式，

主挂了 备接管 主又恢复了 主立即称为主，

主挂了 备接管 主又恢复了 主机变成备了， 一直是备了

主挂了 备接管 主又恢复了 主过一段时间再把 主抢回来

安全认证：

  • 无认证

  • 简单字符认证：预共享密钥

  • MD5

工作模式：

  • 主/备：单虚拟路径器

  • 主/主：主/备（虚拟路由器1），备/主（虚拟路由器2）

#通告：
是宣告自己的主权，不要妄想抢班夺权，不停的向外
​
#抢占式：
主服务器宕机，过了一段时间修好了，再把主权抢过来
​
#非抢占式：
主服务器宕机，过了一段时间修好了，原来的主就作为备了
​
#延迟抢占：
主修好后，等待一定的时间（300s）后再次成为主
​
#抢占式好还是非抢占式好？
​
#安全认证：
如没有安全认证，不在集群中的keeplive服务器设置超高的优先级，会造成事故
​
#主/主：主/备（虚拟路由器1），备/主（虚拟路由器2）见下图：
环境：
有两台服务器
虚拟出两台虚拟路由器
第一台虚拟路由器中服务器1为主，服务器2为备，那么虚拟IP1就飘在服务器1上，真正工作的只有服务器1
第二台虚拟路由器中服务器2为主，服务器1为备，那么虚拟IP2就飘在服务器2上，真正工作的只有服务器2
优点：
#提高了资源利用率：
这样主，备服务器同时干活，可以同时运行两个项目
#同样有备份功能：
如果服务器1坏了，服务器2 将同时拥有虚拟IP1和虚拟IP2
​
​
缺点：
虽然有备份冗余功能但是对机器的性能要求非常高，当其中一台出现故障，本来一台运行一个任务，现在所有的业务全部压在了一台上，有十分大的风险

2.1 keepalived介绍

官网：http://keepalived.org/

功能：

  • 基于vrrp协议完成地址流动

  • 为vip地址所在的节点生成ipvs规则(在配置文件中预先定义)

  • 为ipvs集群的各RS做健康状态检测

  • 基于脚本调用接口完成脚本中定义的功能，进而影响集群事务，以此支持nginx、haproxy等服务

2.2 Keepalived 架构

官方文档：

https://keepalived.org/doc/
http://keepalived.org/documentation.html

  • 用户空间核心组件：

  1. vrrp stack：VIP消息通告 虚拟ip

  2. checkers：监测real server（简单来说 就是监控后端真实服务器的服务）是否存活

  3. system call：实现 vrrp 协议状态转换时调用脚本的功能

  4. SMTP：邮件组件（报警邮件）

  5. IPVS wrapper：生成IPVS规则（直接生成ipvsadm）

  6. Netlink Reflector：网络接口（将虚拟地址ip（vip）地址飘动）

WatchDog：监控进程（整个架构是否有问题）

  • 控制组件：提供keepalived.conf 的解析器，完成Keepalived配置

  • IO复用器：针对网络目的而优化的自己的线程抽象

  • 内存管理组件：为某些通用的内存管理功能（例如分配，重新分配，发布等）提供访问权限

keeplive可以配合ngnix等软件，反向代理

2.3安装keepalive

yum install keepalived -y

2.3.1 编译安装 keepalived

yum install gcc curl openssl-devel libnl3-devel net-snmp-devel  -y
# 安装依赖包环境
​
https://keepalived.org/download.html
# 官网下载安装包
wget https://keepalived.org/software/keepalived-2.2.2.tar.gz
​
​
tar  xf   keepalived-2.2.2.tar.gz
cd   keepalived-2.2.2/
​
​
./configure --prefix=/usr/local/keepalived
make   &&  make  install
​
自动生成service文件
​
​
#编译  好后起不来  没有配置文件  /etc/keepalived/keepalived.conf
​
mkdir    /etc/keepalived 
cp /usr/local/keepalived/etc/keepalived/keepalived.conf  /etc/keepalived/keepalived.conf 
​
需要修改配置文件的21行  网卡名称， 否则起不来
​
sed  -i   's/eth0/ens33/'      

2.4 Keepalived 相关文件

  • 软件包名：keepalived

  • 主程序文件：/usr/sbin/keepalived

  • 主配置文件：/etc/keepalived/keepalived.conf

  • 配置文件示例：/usr/share/doc/keepalived/

  • Unit File：/lib/systemd/system/keepalived.service

  • Unit File的环境配置文件：

  • /etc/sysconfig/keepalived CentOS

2.4.1配置组成

/etc/keepalived/keepalived.conf 配置组成

  • GLOBAL CONFIGURATION

Global definitions（全局配置）：定义邮件配置，route_id ，vrrp配置，组播地址 等

  • VRRP CONFIGURATION

VRRP instance(s)：定义vrrp协议中的每个vrrp虚拟路由器的规则，基本信息

  • LVS CONFIGURATION（lvs调度服务器的规则设置）

Virtual server group(s)

Virtual server(s)：LVS集群的VS和RS

2.4.2全局配置

#/etc/keepalived/keepalived.conf 
global_defs {
 notification_email {
 root@localhost
 #keepalived 发生故障切换时邮件发送的目标邮箱，可以按行区分写多个
 root@localhost
  360601212@qq.com 
 }
 notification_email_from keepalived@localhost  
 #发邮件的地址
 smtp_server 127.0.0.1     
 #邮件服务器地址
 smtp_connect_timeout 30   
 #邮件服务器连接timeout
 router_id   LVS01
 #每个keepalived主机唯一标识，建议使用当前主机名，但多节点重名不影响
 vrrp_skip_check_adv_addr  
 #对所有通告报文都检查，会比较消耗性能，启用此配置后，如果收到的通告报文和上一个报文是同一个路由器，则跳过检查，默认值为全检查
vrrp_strict 
#严格遵守VRRP协议,启用此项后以下状况将无法启动服务:1.无VIP地址 2.配置了单播邻居 3.在VRRP版本2中有IPv6地址，开启动此项并且没有配置vrrp_iptables时会自动开启iptables防火墙规则，默认导致VIP无法访问,建议不加此项配置。
 vrrp_garp_interval 0 
 #gratuitous ARP messages 免费ARP报文发送延迟，0表示不延迟
 vrrp_gna_interval 0 
 #unsolicited NA messages （不请自来）消息发送延迟
 vrrp_mcast_group4 225.0.0.18
 #指定组播IP地址范围：224.0.0.0到239.255.255.255,默认值：224.0.0.18 
 vrrp_iptables        
 #此项和vrrp_strict同时开启时，则不会添加防火墙规则,如果无配置vrrp_strict项,则无需启用此项配置
}

地址分类：

自定义组播，一般都有规划，不能瞎配
主和备要一样
A类：1-126
B   128-191
C   192-223
D   224-239
E   240-
​
​
#修改组播
默认keepalived主机之间利用多播相互通告消息，会造成网络拥塞，可以替换成单播，减少网络流量
注意：启用 vrrp_strict 时，不能启用单播
#在所有节点vrrp_instance语句块中设置对方主机的IP，建议设置为专用于对应心跳线网络的地址，而非使用业务网络

2.4.3 配置虚拟路由器

vrrp_instance <STRING> {
#<String>为vrrp的实例名,一般为业务名称
 配置参数
 ......
 }
#配置参数：
state MASTER|BACKUP
#当前节点在此虚拟路由器上的初始状态，状态为MASTER或者BACKUP
interface IFACE_NAME 
#绑定为当前虚拟路由器使用的物理接口，如：eth0,bond0,br0,可以和VIP不在一个网卡
virtual_router_id VRID 
#每个虚拟路由器惟一标识，范围：0-255，每个虚拟路由器此值必须唯一，否则服务无法启动，同属一个虚拟路由器的多个keepalived节点必须相同,务必要确认在同一网络中此值必须唯一
priority 100 
#当前物理节点在此虚拟路由器的优先级，范围：1-254，值越大优先级越高,每个keepalived主机节点此值不同
​
advert_int 1
#vrrp通告的时间间隔，默认1s
​
​
authentication { 
#认证机制
 auth_type AH|PASS   
 #AH为IPSEC认证(不推荐),PASS为简单密码(建议使用)
 auth_pass <PASSWORD> 
 #预共享密钥，仅前8位有效，同一个虚拟路由器的多个keepalived节点必须一样
}
include    /etc/keealived/conf.d/*.conf
virtual_ipaddress { 
#虚拟IP,生产环境可能指定上百个IP地址
 <IPADDR>/<MASK> brd <IPADDR> dev <STRING> scope <SCOPE> label <LABEL>
 192.168.200.100 
 #指定VIP，不指定网卡，默认为,注意：不指定/prefix,默认为/32
 192.168.200.101/24 dev eth1   
 #指定VIP的网卡，建议和interface指令指定的岗卡不在一个网卡
 192.168.200.102/24 dev eth2 label eth2:1 
 #指定VIP的网卡label   ifconfig eth2:1   192.168.200.102/24
}
track_interface { 
#配置监控网络接口，一旦出现故障，则转为FAULT状态实现地址转移
 eth0
 eth1
 …
}

范例：

[root@localhost keepalived]#vim keepalived.conf
global_defs {
   notification_email {
     sysadmin@firewall.loc
   }
   notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server 127.0.0.1  #邮箱地址写成自己
   smtp_connect_timeout 30
   router_id lvs_01   #修改成主机名
   vrrp_skip_check_adv_addr
   #vrrp_strict   注释严格模式
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}
include   /etc/keepalived/conf.d/*.conf  #添加子配置文件
​
​
[root@localhost keepalived]#mkdir  conf.d
[root@localhost conf.d]# vim  conf.d/test.conf
vrrp_instance VI_1 {
    state MASTER
    interface ens33   #修改网卡
    virtual_router_id 51  #路由器id 需要主从保持一致
    priority 100   
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
    192.168.91.188/24   #设置虚拟ip
    }
}
​
​
将配置文件复制到从节点
scp  keepalived.conf    192.168.91.11:/etc/keepalived/
scp  keepalived.conf    192.168.91.11:/etc/conf.d/test.conf
​
​
修改配置文件
global_defs {
   notification_email {
     sysadmin@firewall.loc
   }
   notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server 127.0.0.1  
   smtp_connect_timeout 30
   router_id lvs_02  #修改成主机名
   vrrp_skip_check_adv_addr
   #vrrp_strict   注释严格模式
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}
include   /etc/keepalived/conf.d/*.conf  #添加子配置文件
​
​
vrrp_instance VI_1 {
    state BACKUP       #修改类型为备节点
    interface ens33  
    virtual_router_id 51  #路由器id 需要主从保持一致   不用修改
    priority 80           #优先级调小
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
    192.168.91.188/24   #设置虚拟ip
    }
}
​

2.4.3.1各种模式实验（依托于大实验成功后）

抢占模式，非抢占模式，延迟抢占模式

[root@localhost keepalived]#tcpdump -i ens33 -nn host 224.0.0.18
#启动服务可以抓包查看 
[root@localhost ~]#ping 192.168.91.10
#真实服务器ping是可以通的
可以做实验 一直抓包
​
#非抢占模式
默认模式 使用的 抢占式
主节点会抢占回来，会造成 两次网络动荡。
#注意：要关闭 VIP抢占，必须将各 keepalived 服务器state配置为BACKUP
#非抢占式
#1主机配置
vrrp_instance VI_1 {
 state BACKUP     #都为BACKUP
 interface ens33
 virtual_router_id 66
 priority 100   #优先级高
 advert_int 1
 nopreempt         #添加此行，都为nopreempt
#2主机配置
vrrp_instance VI_1 {
 state BACKUP         #都为BACKUP
 interface ens33
 virtual_router_id 66
 priority 80       #优先级低
 advert_int 1
 nopreempt   #添加此行，都为nopreempt
 
#延迟抢占
preempt_delay #     #指定抢占延迟时间为#s，默认延迟300s
#注意：需要各keepalived服务器state为BACKUP,并且不要启用 vrrp_strict
#1主机配置
vrrp_instance VI_1 {
 state BACKUP     #都为BACKUP
 interface eth0
 virtual_router_id 66
 
 priority 100     #优先级高
 advert_int 1 
 preempt_delay 30  #抢占延迟模式，默认延迟300s
 
 #2主机配置
vrrp_instance VI_1 {
 state BACKUP       #都为BACKUP
 interface eth0
 virtual_router_id 66：
 priority 80     #优先级低
 advert_int 1 
 
 priority 80   #优先级高
 advert_int 1 
 preempt_delay 30    #抢占延迟模式，默认延迟300s
2.4.3.2 单播多播地址

修改多播:

#两边都要加主从
​
global_defs {
   notification_email {
     acassen@firewall.loc
     failover@firewall.loc
     sysadmin@firewall.loc
   }
   notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_R1
   vrrp_mcast_group4 234.6.6.6
   #添加此行
   
   
}
[root@localhost ~]# tcpdump -i ens33 -nn host 234.6.6.6
#抓包查看查看
[root@localhost keepalived]#systemctl stop keepalived.service
#模拟故障，可以正常切换

修改单播:

#在所有节点vrrp_instance语句块中设置对方主机的IP，建议设置为专用于对应心跳线网络的地址，而非
使用业务网络
unicast_src_ip <IPADDR>  #指定发送单播的源IP
unicast_peer {
   <IPADDR>     #指定接收单播的对方目标主机IP
   ......
}
​
#主服务器
vrrp_instance VI_1 {
   state MASRER
   interface eth0
   virtual_router_id 66
   priority 100
   advert_int 1
   authentication {
       auth_type PASS
       auth_pass 123456
   }
   virtual_ipaddress {
        10.0.0.10/24 dev eth0 label eth0:1
   }
   unicast_src_ip 192.168.91.100     #本机IP     master 100   backup101
   unicast_peer{
   192.168.91.101 #指向对方主机IP 如果有多个keepalived,再下面加其它节点的I
   }
}
​
​
vrrp_instance VI_2 {
   state BACKUP
   interface eth0
   virtual_router_id 66
   priority 80
   advert_int 1
   authentication {
       auth_type PASS
       auth_pass 123456
   }
   virtual_ipaddress {
        10.0.0.11/24 dev eth0 label eth0:1
   }
   unicast_src_ip 192.168.91.100     #本机IP
   unicast_peer {
   192.168.91.101 #指向对方主机IP 如果有多个keepalived,再下面加其它节点的IP
   }
}
​
​
备服务器
vrrp_instance VI_1 {
   state BACKUP
   interface eth0
   virtual_router_id 66
   priority 100
   advert_int 1
   authentication {
       auth_type PASS
       auth_pass 123456
   }
   virtual_ipaddress {
        10.0.0.10/24 dev eth0 label eth0:1
   }
}
​
​
vrrp_instance VI_2 {
   state MASTER
   interface eth0
   virtual_router_id 66
   priority 80
   advert_int 1
   authentication {
       auth_type PASS
       auth_pass 123456
   }
   virtual_ipaddress {
        10.0.0.11/24 dev eth0 label eth0:1
   }
   
}
​
​
​
​
​
​
​
​
​
​
​
​
​
​
#复制段
unicast_src_ip 192.168.91.100     
   unicast_peer {
   192.168.91.101
 }
​
unicast_src_ip 192.168.91.101     
   unicast_peer {
   192.168.91.100  
 }
 
[root@localhost ~]#tcpdump -i ens33 host -nn 192.168.91.100
#在从节点抓包验证
​
#复制有问题试试这段
unicast_src_ip 192.168.91.100
    unicast_peer {
    192.168.91.101
    }
​
2.4.3.3 通知脚本

当前节点成为主节点时触发的脚本

notify_master <STRING>|<QUOTED-STRING>

当前节点转为备节点时触发的脚本

notify_backup <STRING>|<QUOTED-STRING>

当前节点转为“失败”状态时触发的脚本

notify_fault <STRING>|<QUOTED-STRING>

通用格式的通知触发机制，一个脚本可完成以上三种状态的转换时的通知

notify <STRING>|<QUOTED-STRING>

当停止VRRP时触发的脚本

notify_stop <STRING>|<QUOTED-STRING>

#配置邮箱
[root@localhost opt]#vim /etc/mail.rc 
set from=940132245@qq.com
set smtp=smtp.qq.com
set smtp-auth-user=940132245@qq.com
set smtp-auth-password=
[root@localhost opt]#vim keepalive.sh 
#!/bin/bash
#
contact='940132245@qq.com'
notify() {
 mailsubject="$(hostname) to be $1, vip floating"
 mailbody="$(date +'%F %T'): vrrp transition, $(hostname) changed to be $1"
 echo "$mailbody" | mail -s "$mailsubject" $contact：
}
case $1 in
​
master)
 notify master
 ;;
backup)
 notify backup
 ;;
fault)
 notify fault
 ;;
*)
 echo "Usage: $(basename $0) {master|backup|fault}"
 exit 1
 ;;
esac
​
[root@localhost opt]#vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {
    state BACKUP
    interface ens33
    virtual_router_id 51
    priority 100
    preempt_delay 30
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.91.16
    }
   notify_master "/opt/keepalive.sh master"
   notify_backup "/opt/keepalive.sh backup"
   notify_fault "/opt/keepalive.sh fault"
}
​
​
[root@ka1-centos7 ~]#chmod +x   /etc/keepalived/keepalived.conf
#模拟master故障
[root@ka1-centos7 ~]#killall keepalived  
2.4.3.4 日志功能

开启单独日志功能

[root@localhost opt]#keepalived --help
#查看帮助
[root@localhost opt]#ps aux |grep keep
root      25326  0.0  0.0 118616  1372 ?        Ss   11月20   0:00 /usr/sbin/keepalived -D
root      25327  0.0  0.1 127480  3336 ?        S    11月20   0:01 /usr/sbin/keepalived -D
root      25328  0.0  0.1 129500  2852 ?        S    11月20   0:01 /usr/sbin/keepalived -D
root      26877  0.0  0.0 112676   980 pts/0    S+   00:37   0:00 grep --color=auto keep
[root@localhost opt]#vim /lib/systemd/system/keepalived.service 
EnvironmentFile=-/etc/sysconfig/keepalived
ExecStart=/usr/sbin/keepalived $KEEPALIVED_OPTIONS
[root@localhost opt]#vim /etc/sysconfig/keepalived
KEEPALIVED_OPTIONS="-D -S 6"
​
[root@localhost opt]#vim /etc/rsyslog.conf 
# Save boot messages also to boot.log
local7.*                                                /var/log/boot.log
local6.*                                                /var/log/keepalived.log
​
[root@localhost opt]#systemctl restart keepalived.service rsyslog.service 
[root@localhost opt]#cat /var/log/keepalived.log
#查看日志文件

3LVS高可用实际操作：

LVS + Keepalived 高可用群集

环境

主keepalived：192.168.91.100     lvs
备keepalived：192.168.91.101     lvs
web1：192.168.91.102
web2：192.168.91.103    
vip：192.168.91.188
客户机访问

systemctl stop firewalld.service 
setenforce 0
[root@localhost ~]#systemctl stop firewalld.service 
[root@localhost ~]#setenforce 0
[root@localhost ~]#yum install ipvsadm keepalived -y
[root@localhost ~]#modprobe ip_vs
[root@localhost ~]#cat /proc/net/ip_vs
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port Forward Weight ActiveConn InActConn
[root@localhost keepalived]#ipvsadm-save > /etc/sysconfig/ipvsadm
[root@localhost keepalived]#systemctl start ipvsadm.service
[root@localhost keepalived]#cd /etc/keepalived/
[root@localhost keepalived]#cp keepalived.conf keepalived.conf.bak
#复制一份
​
[root@localhost keepalived]#vim keepalived.conf
global_defs {
   router_id HA_TEST_R2                  ####本路由器的服务器名称 HA_TEST_R2
}
vrrp_instance VI_1 {                     ####定义VRRP热备实列
   state BACKUP                          ####热备状态，backup表示辅服务器
   interface ens33                       ####表示承载VIP地址的物理接口
   virtual_router_id 1                   ####虚拟路由器的ID号，每个热备组保持一致
   priority 99                           ####优先级，优先级越大优先级越高
   advert_int 1                          ####通告间隔秒数（心跳频率）
   authentication {                      ####认证信息，每个热备组保持一致
      auth_type PASS                     ####认证类型
      auth_pass 123456                   ####认证密码
   }
   virtual_ipaddress {                   ####漂移地址（VIP），可以是多个
      192.168.100.10
   }
}
​
​
​
​
#需要修改项
​
global_defs {
   notification_email {
     acassen@firewall.loc
     failover@firewall.loc
     sysadmin@firewall.loc
   }
   notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server 127.0.0.1
   #修改邮箱指向自己（10行）
   smtp_connect_timeout 30
   router_id LVS_01
   #指定服务器名称主备需要不一样（12行）
   vrrp_skip_check_adv_addr
   #vrrp_strict
   #14行需要注释否则服务启动有问题
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}
​
vrrp_instance VI_1 {
    state MASTER
    #指定服务器类型MASTER为主 BACKUP为备（20行）
    interface ens33
    #修改网卡名称为ens33（21）
    virtual_router_id 10
    #指定虚拟路由器的ID号主备需要一致
    #nopreempt 
    #非抢占模式两个节点都需要配置去掉注释
    priority 100
    #设定优先级数字越大优先级越高，准备需要不一样
    advert_int 1
    #通告间隔（查看是否存活）
    authentication {
        auth_type PASS
        #认证类型
        auth_pass 123456
        #修改验证密码，主备需要一样（27行）
    }
    virtual_ipaddress {
        192.168.91.188
        #指定群集vip地址
    }
}
virtual_server 192.168.91.188 80 {
    delay_loop 6
    #健康间隔时间6秒
    lb_algo rr
    #调度算法轮询
    lb_kind DR
    #lvs模式为DR 
    persistence_timeout 0
    #连接保持时间改为0 否则 无法体现效果
    protocol TCP
    #采用协议
    
 real_server 192.168.91.103 80 {
 #43行修改地址为真实主机地址
        weight 1
        #45行删除
        #节点权重
        TCP_CHECK {
            connect_port 80
            #检查目标端口
            connect_timeout 3
            #连接超时 
            nb_get_retry 3
            #重试次数
            delay_before_retry 3
            #重试间隔时间
        }
    }
 real_server 192.168.91.105 80 {
 #第二个
        weight 1
        TCP_CHECK{
            connect_port 80
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
​
​
​
#从服务器配置
systemctl stop firewalld.service 
setenforce 0
[root@localhost ~]#systemctl stop firewalld.service 
[root@localhost ~]#setenforce 0
[root@localhost ~]#yum install ipvsadm keepalived -y
[root@localhost keepalived]#scp keepalived.conf root@192.168.91.101:/etc/keepalived/
#将配置文件拷入 从服务器
[root@localhost keepalived]#systemctl start keepalived.service 
[root@localhost keepalived]#ip a
[root@localhost keepalived]#vim /etc/sysctl.conf 
[root@localhost keepalived]#sysctl -p
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0 
​
​
​
​
[root@localhost keepalived]#vim keepalived.conf
#备份keepalive
12    router_id LVS_02
20     state BACKUP
23     priority 99
[root@localhost keepalived]#systemctl start keepalived.service 
[root@localhost keepalived]#ipvsadm
[root@localhost keepalived]#ipvsadm -ln
[root@localhost keepalived]#vim /etc/sysctl.conf 
[root@localhost keepalived]#sysctl -p
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
​

节点模式

[root@localhost ~]#systemctl stop firewalld
​
[root@localhost ~]#systemctl start httpd
[root@localhost ~]#yum install httpd -y
[root@localhost html]#ifconfig lo:0 192.168.91.188 netmask 255.255.255.255
[root@localhost html]#vim /etc/sysctl.conf 
[root@localhost html]#sysctl -p
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
[root@localhost network-scripts]#route add -host 192.168.91.188 dev lo:0
#设置路由

4  keepalived 脑裂

#模拟脑裂
[root@localhost keepalived]#iptables -A INPUT -s 192.168.91.100 -j REJECT 
#在备份主机中加入此项
[root@localhost keepalived]#ip a
#可以在主备上都发现vip地址

脑裂解释

什么是脑裂？
在高可用（HA）系统中，当联系2个节点的“心跳线”断开时，本来为一整体、动作协调的HA系统，就分裂成为2个独立的个体。
由于相互失去了联系，都以为是对方出了故障。两个节点上的HA软件像“裂脑人”一样，争抢“共享
资源”、争起“应用服务”，就会发生严重后果。共享资源被瓜分、两边“服务”都起不来了；或者两边
“服务”都起来了，但同时读写“共享存储”，导致数据损坏
​
​
都有哪些原因导致脑裂？
高可用服务器对之间心跳线链路发生故障，导致无法正常通信。
因心跳线坏了（包括断了，老化）。
因网卡及相关驱动坏了，ip配置及冲突问题（网卡直连）
因心跳线间连接的设备故障（网卡及交换机）
高可用服务器上开启了 iptables防火墙阻挡了心跳消息传输。
高可用服务器上心跳网卡地址等信息配置不正确，导致发送心跳失败
其他服务配置不当等原因，如心跳方式不同，心跳广插冲突、软件Bug等。
多组keepalive服务器造成   组播冲突    1.换组播地址   2.改成单播          
默认： 
单播：
组播： 
广播：
A   1 -127
B   128-191
C   192-223
D   224-239          224.0.0.18    
​
​
20. 如何解决keepalived脑裂问题？
在实际生产环境中，我们从以下方面防止脑裂：
#同时使用串行电缆和以太网电缆连接、同时使用两条心跳线路，这样一条线路断了，另外一条还是好的，依然能传送心跳消息
#当检查脑裂时强行关闭一个心跳节点（这个功能需要特殊设备支持，如stonith、fence）相当于备节点接收不到心跳消息，通过单独的线路发送关机命令关闭主节点的电源
​
rsyslog   分割日志
​
#做好对脑裂的监控报警解决常见方案：
如果开启防火墙，一定要让心跳消息通过，一般通过允许IP段的形式解决
可以拉一条以太网网线或者串口线作为主被节点心跳线路的冗余
开发检测程序通过监控软件检测脑裂
​
​
​

5. 实现其它应用的高可用性 VRRP Script

keepalived利用 VRRP Script 技术，可以调用外部的辅助脚本进行资源监控，并根据监控的结果实现优先动态调整，从而实现其它应用的高可用性功能

任何软件组合 形成 高科用的 架构

vrrp script

手动编写脚本 ， 来实现 故障的切换

参考配置文件：

/usr/share/doc/keepalived/keepalived.conf.vrrp.localcheck

5.1VRRP Script 配置

分两步实现：

  • 定义脚本

vrrp_script：自定义资源监控脚本，vrrp实例根据脚本返回值，公共定义，可被多个实例调用，定义在vrrp实例之外的独立配置块，一般放在global_defs设置块之后。通常此脚本用于监控指定应用的状态。一旦发现应用的状态异常，则触发对MASTER节点的权重减至低于SLAVE节点，从而实现 VIP 切换到 SLAVE 节点

vrrp_script <SCRIPT_NAME> {
 script <STRING>|<QUOTED-STRING>   #此脚本返回值为非0时，会触发下面OPTIONS执行
 OPTIONS 
}
​
​
​
vrrp_script   cxk   {
 script   "/opt/nginx.sh"
 interval  5    每个5s  执行上面的脚本 测试  nginx  是否存活 
  weight   -30   自动减优先级  30 
  fall     2    nginx 测试失败了   1次失败不算 需要2次失败 才认定你真的死了
  rise     2    ngnix  恢复了  测试2次都是正常 才让你变回主
}
​
​
if  systemctl   status  nginx   
then 
else  
​
​

  • 调用脚本

track_script：调用vrrp_script定义的脚本去监控资源，定义在VRRP实例之内，调用事先定义的vrrp_script

track_script {
 SCRIPT_NAME_1
 SCRIPT_NAME_2
}

5.2定义 VRRP script

vrrp_script <SCRIPT_NAME> {                 #定义一个检测脚本，在global_defs 之外配置
     script <STRING>|<QUOTED-STRING>        #shell命令或脚本路径(注意执行权限)   0 不会执行以下操作，   1 就会执行以下操作
     interval <INTEGER>                     #间隔时间，单位为秒，默认1秒
     timeout <INTEGER>                      #超时时间
     weight  <INTEGER:-254..254>            #默认为0,如果设置此值为负数，当上面脚本返回值为非0时，会将此值与本节点权重相加可以降低本节点权重，即表示fall. 如果是正数，当脚本返回值为0，会将此值与本节点权重相加可以提高本节点权重，即表示 rise.通常使用负值
     fall <INTEGER>                             #执行脚本连续几次都失败,则转换为失败，建议设为2以上
     rise <INTEGER>                     #执行脚本连续几次都成功，把服务器从失败标记为成功
     user USERNAME [GROUPNAME]              #执行监测脚本的用户或组      
     init_fail                              #设置默认标记为失败状态，监测成功之后再转换为成功状态
}

实际操作：

[root@localhost keepalived]#vim /etc/keepalived/ng.sh 
#编写脚本
#!/bin/bash
ng=$(ps -elf |grep nginx |egrep -cv "grep|$$")
​
if [ $ng -eq 0 ]
then
systemctl stop keealived
fi
​
​
​
killall  -0   nginx
killall  -0   mysql  
​
[root@localhost keepalived]#chmod +x /etc/keepalived/ng.sh
#权限  
​
[root@localhost keepalived]#vim /etc/keepalived/keepalived.conf
# 全局配置下配置     
#脚本不要忘记加执行权限
global{
​
​
}
​
vrrp_script check_down {
        script  "/etc/keepalived/ng.sh"   
        interval 1
        weight -30
        fall  3
        rise 2
        timeout 2
}
​
vrrp_script check_down {
        script  "/etc/keepalived/ng.sh"   #指明脚本的位置   
        interval 1            #每隔1s 执行一次检测
        weight -30             #如果 脚本执行失败自动减少优先级30
        fall  3                # 3次不成功才标注为失败 
        rise 2                 #nginx  重新起来后检测两次成功 才真的成功  
        timeout 2               #超时时间  2s 
}
​
​
​
vrrp_instance VI_1 {
    state MASTER
    interface ens33
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.91.188
    }
    track_script {
     check_down
 }
}
​
​
反向代理模块
​
upstream  反向代理模块 在  http模块下
upstream w1 {
#定义反向代理 组名  w1    
        server 192.168.91.102:80;
        #第一台代理服务器 
        server 192.168.91.103:80;
        #第二台代理服务器
        }
        
        
server 模块下        
        location / {
        proxy_pass http://w1;
        #调用  upstream  模块
 }
​
​
​

5.3nginx高可用实际操作

后端服务器

7-3
7-4
systemctl stop firewalld
setenforce 0
yum  install httpd  -y
echo  7-3 > /var/www/html/index.html
systemctl start httpd
​
​
​
systemctl stop firewalld
setenforce 0
yum  install httpd  -y
echo  7-4 > /var/www/html/index.html
systemctl start httpd

代理服务器

7-1
7-2
systemctl stop firewalld
setenforce 0
yum install  epel-release.noarch -y 
yum install  -y  nginx
systemctl start nginx
​
vim   /etc/nginx/nginx.conf
​
 upstream web  {
    server 192.168.10.20;
    server 192.168.10.30;
    }
​
​
 location /  {
         proxy_pass  http://web;
        }
​
​
scp   /etc/nginx/nginx.conf    192.168.10.101:/etc/nginx/nginx.conf
​
systemctl stop firewalld
setenforce 0
yum install  epel-release.noarch -y 
yum install  -y   nginx
systemctl start nginx
​
​
​

安装keepalived 7-1 7-2

7-1   7-2 都要操作
yum install keepalived   -y
​
7-1
vim /etc/keepalived/keepalived.conf
​
​
! Configuration File for keepalived
​
global_defs {
   notification_email {
     acassen@firewall.loc
     failover@firewall.loc
     sysadmin@firewall.loc
   }
   notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server 127.0.0.1      # 修改邮箱地址
   smtp_connect_timeout 30  
   router_id LVS01            # 修改名称
   vrrp_skip_check_adv_addr  
   #vrrp_strict              #关闭严格模式
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}
​
vrrp_script check_down {
        script  "/etc/keepalived/ng.sh"   
        interval 1
        weight -30
        fall  3
        rise 2
        timeout 2
}
​
vrrp_script check_down {
        script  "/etc/keepalived/ng.sh"   #指明脚本的位置   
        interval 1            #每隔1s 执行一次检测
        weight -30             #如果 脚本执行失败自动减少优先级30
        fall  3                # 3次不成功才标注为失败 
        rise 2                 #nginx  重新起来后检测两次成功 才真的成功  
        timeout 2               #超时时间  2s 
}
​
​
​
vrrp_instance VI_1 {
    state MASTER
    interface ens33    #修改网卡的名称
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
         auth_type PASS
         auth_pass 1111
    }
    virtual_ipaddress {
        192.168.91.188   #修改vip 
    }
     track_script {
     check_down
 }
    
}
​
​
​
​
vim    /etc/keepalived/ng.sh
killall   -0    nginx
​
chmod +x    /etc/keepalived/ng.sh
scp  /etc/keepalived/keepalived.conf   192.168.10.101://etc/keepalived/
   
​
​
7-2  上操作
从节点做修改   192.168.91.101
 /etc/keepalived/keepalived.conf
 
 global_defs {
   notification_email {
     acassen@firewall.loc
     failover@firewall.loc
     sysadmin@firewall.loc
   }
   notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server 127.0.0.1     
   smtp_connect_timeout 30  
   router_id LVS01          
   vrrp_skip_check_adv_addr  
   #vrrp_strict             
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}
​
vrrp_script check_down {
        script  "/etc/keepalived/ng.sh"   
        interval 1
        weight -30
        fall  3
        rise 2
        timeout 2
}
​
​
​
​
vrrp_instance VI_1 {
    state BACKUP    #变成backup
    interface ens33    
    virtual_router_id 51
    priority 80   #调整优先级 
    advert_int 1
    authentication {
         auth_type PASS
         auth_pass 1111
    }
    virtual_ipaddress {
        192.168.91.188   #修改vip 
    }
     track_script {
     check_down
 }
    
}
​
vim    /etc/keepalived/ng.sh
killall   -0    nginx
​
chmod +x    /etc/keepalived/ng.sh
​

123

运维不屈的一生
关注
  • 18
    点赞
  • 踩
  • 25
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
高可用(keepalived)部署方案
北城青的博客
10-18 1万+
高可用说起来感觉很高大上,我刚接触的时候也是一头雾水,但是需求的时候很容易理解的,当一台服务器挂了另一台能够马上顶上去继续提供服务,这就叫做高可用,需求其实不难理解,只是需要自身根据项目的实际需求还有环境进行搭建环境,每一步还有整体的安装方法都需要自己去踩坑的,而且这个坑非常多,要不停的复现各种问题,然后尝试各种思路来解决碰到的问题,而且我们的客户大部分都是离线环境,也就是不接触外网的,所以安装起来就会有很多问题,我所需要达到的目的就是,根据我的文档步骤安装就能实现需求,所以工作量是可想而知的,你需要下各种
keepalive高可用软件配置及详解
热门推荐
weixin_45625174的博客
09-16 1万+
Keepalived高可用软件简介： 目前互联网主流的实现WEB网站及数据库服务高可用软件包括：keepalived、heartbeat等。Heartbeat是比较早期的实现高可用软件，而keepalived是目前轻量级的管理方便、易用的高可用软件解决方案，得到互联网公司IT人的青睐。 Keepalived是一个类似于工作在layer 3, 4 & 7交换机制的软件，Keepalived软件有两种功能，分别是健康检查、VRRP冗余协议，keepalived是模块化设计，不同模块负责不同的功能，ke
KeepAlived高可用环境搭建
渣
04-30 1317
解压sslgcc_离线包.7z，将gcc、和openssl 放到服务器/home目录下，分别在进入其根目录，执行安装命令。解压sslgcc_离线包.7z，将gcc、和openssl 放到服务器/home目录下，分别在进入其根目录，执行安装命令。文件目录位置：\home\keepalived-2.0.19.tar.gz（可自行外网下载或使用yum进行安装）文件目录位置：\home\keepalived-2.0.19.tar.gz（可自行外网下载或使用yum进行安装）2、安装openssl包。
Keepalived实现高可用
weixin_53150440的博客
10-13 1594
keepalived的工作原理，实现负载均衡高可用的搭建，高可用的验证
Keepalived 深度解析：高可用性的精髓及实践指南
『愚』的博客
01-27 770
虚拟路由冗余协议（VRRP）是 Keepalived 实现高可用性的核心协议。通过创建一个虚拟路由器组，VRRP 允许多个节点合作，实现负载均衡和冗余备份的效果。在 VRRP 中，节点通过协商选举一个主节点，该节点负责处理传入流量，其他节点则处于备份状态。主节点定期发送 VRRP 心跳包，备份节点则监测主节点的状态。当主节点失联时，备份节点会接管虚拟 IP 地址，确保服务的持续可用。Keepalived 通过实现 VRRP 协议，为系统提供了一种强大而灵活的方式，以确保服务的连续可用性。
keepalived高可用.zip
07-27
【标题】"keepalived高可用.zip"是一个包含有关如何设置和配置keepalived以实现高可用性的资源包。Keepalived是一款开源软件，主要用于在Linux系统中提供高可用性(HA)解决方案，特别是用于保持网络服务的持续可用性...
Mysql+keepalived高可用
07-11
MySQL 高可用架构实现 Keepalived MySQL 高可用架构实现 Keepalived 是一种常见的解决方案，旨在提高 MySQL 数据库的可用性和可靠性。该解决方案通过使用 Keepalived 实现虚拟 IP（VIP），并结合 MySQL 主从复制...
linux下keepalived高可用
05-23
文档中介绍了基于nginx与tomcat使用keepalived来做高可用配置，实现nginx的高可用
keepalived+虚IP（VIP）实现高可用配置
myshare2022的专栏
11-22 4463
keepalived+虚IP（VIP）实现高可用配置
干货 Keepalived高可用服务配置实例_keepalived 启动指定实例
最新发布
04-12 291
在前面的章节中，我们学习了Keepalived简介、原理、以及Keepalived 配置文件的详细解读；今天我们通过几个配置实例来帮助大家掌握Keepalived的高可用性。
Keepalived实现主备高可用部署
qq_36306519的博客
05-25 752
Keepalived实现主备高可用部署
部署LVS+Keepalived高可用群集（抢占模式，非抢占模式，延迟模式）
zk584715834的博客
03-10 1013
-开启主服务器后，主服务器会抢占，因为主服务器优先级高，又会变成主服务器，192.168.80.100。#注意：要关闭 VIP抢占，必须将各 keepalived 服务器state配置为BACKUP。主keepalived：192.168.80.100 lvs。默认模式使用的 抢占式，上面的实验使用的就是抢占模式。--关闭主服务器时，是192.168.80.101。此时虚拟VIP在备用服务器，且依旧可以访问网站。主节点会抢占回来，会造成两次网络动荡。关闭主服务器，我们也可以抓包来看变化。
keepalived实现双vip部署
我的博客
05-11 3105
2.安装keepalived通过 yum源进行安装通过源码安装官方keepalived源码包修改配置配置文件在/usr/local/keepalived目录下主机2的配置文件，只需修改参数启动keepalived另一台是没有vip停掉主机查看备机。
高可用集群 Keepalived 所有内容讲解
cp_dvd的博客
10-27 3896
vrrp 协议的软件实现，原生设计目的为了高可用 ipvs服务官网：http://keepalived.org/基于vrrp协议完成地址流动为vip地址所在的节点生成ipvs规则(在配置文件中预先定义)为ipvs集群的各RS做健康状态检测基于脚本调用接口完成脚本中定义的功能，进而影响集群事务，以此支持nginx、haproxy 等vrrp_script { #定义一个检测脚本，在global_defs 之外配置。
Keepalived+nginx实现高可用apiserver
aifeier的博客
12-27 416
基于 keepalived 与 nginx 实现高可用 apiserver 用于高可用 k8s 集群
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值