实操keepalived（高可用）+Nginx（四层代理+七层代理），实现高可用、负载均衡以及动静分离

一 vrrp技术

VRRP 相关术语

VRRP能够在不改变组网的情况下，将多台路由器虚拟成一个虚拟路由器，通过配置虚拟路由器的

IP地址为默认网关，实现网关的备份。

协议版本: VRRPv2 (常用) 和VRRPv3:0

VRRPv2仅适用于IPv4网络，VRRPv3适用于IPv4和IPv6两种网络

VRRP协议报文:

其目的IP地址是224.0.0.18，目的MAC地址是只有一种报文: Advertisement报文;01-00-5e-00-00-

12，协议号是112.

• 虚拟路由器：Virtual Router 不是真实存在 ，虚构出来的

• 虚拟路由器标识：VRID(0-255)，唯一标识虚拟路由器

• VIP：Virtual IP 192.168.91.100 路由1 路由2

• VMAC：Virutal MAC (00-00-5e-00-01-VRID)

• 物理路由器：

• master：主设备

• backup：备用设备

• priority：优先级

状态机：决定什么时间是主，什么时间是备

心跳线：  1s

虚拟路由器的主备 是由priority：优先级决定的

1.2 VRRP相关技术

通告：心跳，优先级等；周期性

工作方式：抢占式，非抢占式，延迟抢占模式，

安全认证：

• 无认证

• 简单字符认证：预共享密钥

• MD5

工作模式：

• 主/备：单虚拟路径器

• 主/主：主/备（虚拟路由器1），备/主（虚拟路由器2）

#通告：
是宣告自己的主权，不要妄想抢班夺权，不停的向外

#抢占式：
主服务器宕机，过了一段时间修好了，再把主权抢过来

#非抢占式：
主服务器宕机，过了一段时间修好了，原来的主就作为备了

#延迟抢占：
主修好后，等待一定的时间（300s）后再次成为主

#抢占式好还是非抢占式好？

#安全认证：
如没有安全认证，不在集群中的keeplive服务器设置超高的优先级，会造成事故

#主/主：主/备（虚拟路由器1），备/主（虚拟路由器2）见下图：
环境：
有两台服务器
虚拟出两台虚拟路由器
第一台虚拟路由器中服务器1为主，服务器2为备，那么虚拟IP1就飘在服务器1上，真正工作的只有服务器1
第二台虚拟路由器中服务器2为主，服务器1为备，那么虚拟IP2就飘在服务器2上，真正工作的只有服务器2

优点：

提高了资源利用率：

这样主，备服务器同时干活，可以同时运行两个项目

同样有备份功能：

如果服务器1坏了，服务器2 将同时拥有虚拟IP1和虚拟IP2

缺点：

虽然有备份冗余功能但是对机器的性能要求非常高，当其中一台出现故障，本来一台运行一个任

务，现在所有的业务全部压在了一台上，有十分大的风险

真实环境

二 keepalived工具介绍

专为LVS和HA设计的一款健康检查工具支持故障自动切换 (Failover)支持节点健康状态检查(Health

checking)判断 LVS 负载调度器、节点服务器的可用性，当 master 主机出现故障及时切换到

backup 节点保证业务正常，当 master故障主机恢复后将其重新加入群集并目业务重新切换回

master 节点。

官网：http://keepalived.org/

lvs 调度   虚拟ip     手动配置

keepalived    会lvs

ipvsadm

功能：

• 基于vrrp协议完成地址流动

• 为vip地址所在的节点生成ipvs规则(在配置文件中预先定义)

• 为ipvs集群的各RS做健康状态检测

• 基于脚本调用接口完成脚本中定义的功能，进而影响集群事务，以此支持nginx、haproxy等服务

2.2 Keepalived 架构

官方文档：

https://keepalived.org/doc/

http://keepalived.org/documentation.html

VRRP工作过程

选举Master，比较优先级，高的为Master，若优先级相同无Master时，比较接口IP地址，大的为

Master，Master设备发送ARP报文，承担报文转发工作；

状态维持，Master设备周期发送通告报文，公布配置信息和工作状态；

Backup设备根据收到的通告报文判断Master设备是否工作正常，如果Master设备主动放弃Master

地位时，会发送优先级为0的通告报文，Backup设备收到后会快速切换成Master设备或者定时器超

时后Backup设备认为Master设备无法正常工作，会切换状态为Master。

用户空间核心组件：

1. vrrp stack：VIP消息通告 虚拟ip

2. checkers：监测real server（简单来说 就是监控后端真实服务器的服务）是否存活

3. system call：实现 vrrp 协议状态转换时调用脚本的功能

4. SMTP：邮件组件（报警邮件）

5. IPVS wrapper：生成IPVS规则（直接生成ipvsadm）

6. Netlink Reflector：网络接口（将虚拟地址ip（vip）地址飘动）

WatchDog：监控进程（整个架构是否有问题）

• 控制组件：提供keepalived.conf 的解析器，完成Keepalived配置

• IO复用器：针对网络目的而优化的自己的线程抽象

• 内存管理组件：为某些通用的内存管理功能（例如分配，重新分配，发布等）提供访问权限

注意：keeplive可以配合ngnix等软件，反向代理

2.3安装keepalive

yum install keepalived -y

2.4 Keepalived 相关文件

• 软件包名：keepalived

• 主程序文件：/usr/sbin/keepalived

• 主配置文件：/etc/keepalived/keepalived.conf

• 配置文件示例：/usr/share/doc/keepalived/

• Unit File：/lib/systemd/system/keepalived.service

• Unit File的环境配置文件：

• /etc/sysconfig/keepalived CentOS

keepalived体系架构中主要有三个模块，分别是core、check和vrrp。

core模块：为keepalived的核心，负责主进程的启动、维护及全局配置文件的加载和解析。

vrrp模块：是来实现VRRP协议的。

check模块：负责健康检查，常见的方式有端口检查及URL检查

keeplive可以配合ngnix等软件，反向代理

2.4.1配置组成

/etc/keepalived/keepalived.conf 配置组成

• GLOBAL CONFIGURATION

Global definitions（全局配置）：定义邮件配置，route_id，vrrp配置，组播地址 等

• VRRP CONFIGURATION

VRRP instance(s)：定义vrrp协议中的每个vrrp虚拟路由器的规则，基本信息

• LVS CONFIGURATION（lvs调度服务器的规则设置）

Virtual server group(s)

Virtual server(s)：LVS集群的VS和RS

2.4.2全局配置

#/etc/keepalived/keepalived.conf 
global_defs {
 notification_email {
 root@localhost
 #keepalived 发生故障切换时邮件发送的目标邮箱，可以按行区分写多个
 root@localhost
  360601212@qq.com 
 }
 notification_email_from keepalived@localhost  
 #发邮件的地址
 smtp_server 127.0.0.1     
 #邮件服务器地址
 smtp_connect_timeout 30   
 #邮件服务器连接timeout
 router_id R1
 #每个keepalived主机唯一标识，建议使用当前主机名，但多节点重名不影响
 vrrp_skip_check_adv_addr  
 #对所有通告报文都检查，会比较消耗性能，启用此配置后，如果收到的通告报文和上一个报文是同一个路由器，则跳过检查，默认值为全检查
vrrp_strict 
#严格遵守VRRP协议,启用此项后以下状况将无法启动服务:1.无VIP地址 2.配置了单播邻居 3.在VRRP版本2中有IPv6地址，开启动此项并且没有配置vrrp_iptables时会自动开启iptables防火墙规则，默认导致VIP无法访问,建议不加此项配置。
 vrrp_garp_interval 0 
 #gratuitous ARP messages 免费ARP报文发送延迟，0表示不延迟
 vrrp_gna_interval 0 
 #unsolicited NA messages （不请自来）消息发送延迟
 vrrp_mcast_group4 224.0.0.18 
 #指定组播IP地址范围：224.0.0.0到239.255.255.255,默认值：224.0.0.18 
 vrrp_iptables        
 #此项和vrrp_strict同时开启时，则不会添加防火墙规则,如果无配置vrrp_strict项,则无需启用此项配置
}

地址分类：

自定义组播，一般都有规划，不能瞎配
主和备要一样
A类：1-126
B   128-191
C   192-223
D   224-239
E   240-


#修改组播
默认keepalived主机之间利用多播相互通告消息，会造成网络拥塞，可以替换成单播，减少网络流量
注意：启用 vrrp_strict 时，不能启用单播
#在所有节点vrrp_instance语句块中设置对方主机的IP，建议设置为专用于对应心跳线网络的地址，而非使用业务网络

第二种：官网：http://keepalived.org/

 

五 实际操作：LVS + Keepalived 高可用群集

主：11-4；备：11-7

后端服务器：11-4；11-11

①关闭防火墙防护

 

 

用户空间核心组件:

1.vrrp stack:VIP消息通告虚拟ip

2.checkers:监测real server (简单来说就是监控后端真实服务器的服务)是否存活

3.system call:实现vrrp 协议状态转换时调用脚本的功能

4.SMTP:邮件组件(报警邮件)

5.IPVS wrapper: 生成IPVS规则 (直接生成ipvsadm)

②[root@mcb-11-4 keepalived]# vim keepalived.conf

[root@mcb-11-7 keepalived]#  vim keepalived.conf

③ 对后端服务器进行配置

④两台真机开启长连接

⑤去浏览器访问一下  

非抢占模式

抢迟抢占

[root@mcb-11-4 keepalived]# vim keepalived.conf 

延迟抢占

六 实操：单播多播地址

修改多播:

修改单播

通知脚本

前言：主备切换肯定有大的事故

#!/bin/bash
#
contact='1839088509@qq.com'
notify() {
 mailsubject="$(hostname) to be $1, vip floating"
 mailbody="$(date +'%F %T'): vrrp transition, $(hostname) changed to be $1"
 echo "$mailbody" | mail -s "$mailsubject" $contact
}
case $1 in
master)
 notify master
 ;;
backup)
 notify backup
 ;;
fault)
 notify fault
 ;;
*)
 echo "Usage: $(basename $0) {master|backup|fault}"
 exit 1
 ;;
esac

 去邮箱看结果

日志功能

开启单独日志功能

[root@mcb-11-4 opt]# vim /etc/rsyslog.conf 

[root@mcb-11-4 opt]# ls /data/
ls: 无法访问/data/: 没有那个文件或目录
[root@mcb-11-4 opt]# mkdir /data
[root@mcb-11-4 opt]# ls /data/

脑裂解释

什么是脑裂？
在高可用（HA）系统中，当联系2个节点的“心跳线”断开时，本来为一整体、动作协调的HA系统，
就分裂成为2个独立的个体。
由于相互失去了联系，都以为是对方出了故障。两个节点上的HA软件像“裂脑人”一样，争抢“共享
资源”、争起“应用服务”，就会发生严重后果。共享资源被瓜分、两边“服务”都起不来了；或者两边
“服务”都起来了，但同时读写“共享存储”，导致数据损坏


都有哪些原因导致脑裂？
高可用服务器对之间心跳线链路发生故障，导致无法正常通信。
因心跳线坏了（包括断了，老化）。
因网卡及相关驱动坏了，ip配置及冲突问题（网卡直连）
因心跳线间连接的设备故障（网卡及交换机）
高可用服务器上开启了 iptables防火墙阻挡了心跳消息传输。
高可用服务器上心跳网卡地址等信息配置不正确，导致发送心跳失败
其他服务配置不当等原因，如心跳方式不同，心跳广插冲突、软件Bug等。
多组keepalive服务器造成   组播冲突    1.换组播地址   2.改成单播          
默认： 
单播：
组播： 
广播：
A   1 -127
B   128-191
C   192-223
D   224-239          224.0.0.18    


20. 如何解决keepalived脑裂问题？
在实际生产环境中，我们从以下方面防止脑裂：
#同时使用串行电缆和以太网电缆连接、同时使用两条心跳线路，这样一条线路断了，另外一条还是好的，依然能传送心跳消息
#当检查脑裂时强行关闭一个心跳节点（这个功能需要特殊设备支持，如stonith、fence）相当于备节点接收不到心跳消息，通过单独的线路发送关机命令关闭主节点的电源

rsyslog   分割日志

#做好对脑裂的监控报警解决常见方案：
如果开启防火墙，一定要让心跳消息通过，一般通过允许IP段的形式解决
可以拉一条以太网网线或者串口线作为主被节点心跳线路的冗余
开发检测程序通过监控软件检测脑裂



keepalived      lvs      负载均衡  反向代理
lvs   高可用
后端服务器的 健康性检查问题


正向代理作用：    加快访问速度     可以绕过防火墙
代理的客户端
我要访问   google       正向代理服务器             google 服务器



反向代理：   负载均衡     优化资源    
代理的服务端的

客户端 不需要知道服务端到底是什么样子的，只要能访问就行


keepalived  脑裂
vrrp  协议  心跳线收不到

脑裂项目，只能停留在实验室里很难进入企业

七 实验： keepalived解决nginx的高可用

利用脚本解决（VRRP Script ）是否启用nginx

keepalived利用 VRRP Script 技术，可以调用外部的辅助脚本进行资源监控，并根据监控的结果实

现优先动态调整，从而实现其它应用的高可用性功能，（例如：nginx、mysql、redis)

参考配置文件：

/usr/share/doc/keepalived/keepalived.conf.vrrp.localcheck

VRRP Script 配置,分两步实现：

keepalived利用 VRRP Script 技术，从而实现nginx高可用性功能

①定义脚本

vrrp_script：自定义资源监控脚本，vrrp实例根据脚本返回值，公共定义，可被多个实例调用，定

义在vrrp实例之外的独立配置块，一般放在global_defs设置块之后。通常此脚本用于监控指定应用

的状态。一旦发现应用的状态异常，则触发对MASTER节点的权重减至低于SLAVE节点，从而实

现 VIP 切换到 SLAVE 节点

vrrp_script <SCRIPT_NAME> {
 script <STRING>|<QUOTED-STRING>   #此脚本返回值为非0时，会触发下面OPTIONS执行
 OPTIONS 
}

②调用脚本

track_script：调用vrrp_script定义的脚本去监控资源，定义在VRRP实例之内，调用事先定义的vrrp_script


track_script {
 SCRIPT_NAME_1
 SCRIPT_NAME_2
}

此时同样能检测 11-5  11-4文本信息 

 

把主机负载均衡脚本拷到备机去 

 

编辑文本 

把主机文件再烤到备机

 

浏览器检测一下

 

若主机nginx关掉，备用就是主机了 

此时两台真机就无法显示了

去备用机检测192.168.11.188又回来了

两台真机仍能检测出来文本内容