简介
官网:http://www.keepalived.org/
核心组件:
core:是keepalived的核心,复杂主进程的启动和维护,全局配置文件的加载解析等
check:负责healthchecker(健康检查),包括了各种健康检查方式,以及对应的配置的解析包括LVS的配置解析
vrrp:VRRPD子进程,VRRPD子进程就是来实现VRRP协议的
libipfwc:iptables(ipchains)库,配置LVS会用到
libipvs*:配置LVS会用到
注意,keepalived和LVS完全是两码事,只不过他们各负其责相互配合而已
keepalived启动后会有三个进程
父进程:内存管理,子进程管理等等
子进程:VRRP子进程
子进程:healthchecker子进程
两个子进程都被系统WatchDog看管,两个子进程各自复杂自己的事,healthchecker子进程复杂检查各自服务器的健康程度,例如HTTP,LVS等等,如果healthchecker子进程检查到MASTER上服务不可用了,就会通知本机上的兄弟VRRP子进程,让他删除通告,并且去掉虚拟IP,转换为BACKUP状态
工作原理
以下内容来自网络
keepalived工作在 Layer3,4,7;工作在TCP/IP协议栈的IP层,TCP层,及应用层,原理分别如下:
Layer3:Keepalived使用Layer3的方式工作式时,Keepalived会定期向服务器群中的服务器发送一个ICMP的数据包(既我们平时用的Ping程序),如果发现某台服务的IP地址没有激活,Keepalived便报告这台服务器失效,并将它从服务器群中剔除,这种情况的典型例子是某台服务器被非法关机。Layer3的方式是以服务器的IP地址是否有效作为服务器工作正常与否的标准。
Layer4:如果您理解了Layer3的方式,Layer4就容易了。Layer4主要以TCP端口的状态来决定服务器工作正常与否。如web server的服务端口一般是80,如果Keepalived检测到80端口没有启动,则Keepalived将把这台服务器从服务器群中剔除。
Layer7:Layer7就是工作在具体的应用层了,比Layer3,Layer4要复杂一点,在网络上占用的带宽也要大一些。Keepalived将根据用户的设定检查服务器程序的运行是否正常,如果与用户的设定不相符,则Keepalived将把服务器从服务器群中剔除。
环境
- os: centos 6.4 x86_64
- keepalived version: 1.2.7-3
部署
centos 6.4之后官方的yum里已经提供了keepalived的RPM包,所以直接yum安装即可
yum install -y keepalived
cd /etc/keepalived/
cp keepalived.conf keepalived.conf.bak
配置文件
主要包括三部分:
花括号“{}”。用来分隔定义块,因此必须成对出现。如果写漏了,keepalived运行时,不会得到预期的结果。由于定义块内存在嵌套关系,因此很容易遗漏结尾处的花括号,这点要特别注意。
- 全局定义块
global_defs {
notification_email { #指定keepalived在发生切换时需要发送email到的对象,一行一个,建议不用,用其他监控方案代替
liutiansi@gmail.com
}
notification_email_from Alexandre.Cassen@firewall.loc #指定发件人
smtp_server 127.0.0.1 #指定smtp服务器地址
smtp_connect_timeout 3 #指定smtp连接超时时间
router_id LVS_DEVEL #运行keepalived机器的一个标识,在一个网络内,它应该是唯一的
}
#监控haproxy 进程
vrrp_script chk_haproxy { # Requires keepalived-1.1.13
script "killall -0 haproxy" # widely used idiom
interval 2 # check every 2 seconds
weight 2 # add 2 points of prio if OK weight -2 #经测试keepalived 1.17版本加这个配置不能切换,最新版本1.21加上这个则可以
}
- VRRP实例定义块
vrrp_sync_group VG_1{ #监控多个网段的实例group,每个实例group必须包含一个vrrp实例
group {
inside_network #实例名,确定失败切换(FailOver)包含的路由实例个数。即在有2个负载均衡器的场景,
#一旦某个负载均衡器失效,需要自动 切换到另外一个负载均衡器的实例是哪些
outside_network
}
notify_master /path/xx.sh #指定当切换到master时,执行的脚本
netify_backup /path/xx.sh #指定当切换到backup时,执行的脚本
notify_fault "path/xx.sh VG_1" #故障时执行的脚本
notify /path/xx.sh
smtp_alert #使用global_defs中提供的邮件地址和smtp服务器发送邮件通知
}
#Vrrp实例vrrp_instance.实例名出自实例组group所包含的那些名字
vrrp_instance inside_network {
state BACKUP #实例状态state.只有MASTER和BACKUP两种状态,并且需要大写这些单词。其中MASTER为工作状态,BACKUP为备用状态。
#当MASTER所在的服务器失效时,BACKUP所在的系统会自动把它的状态有BACKUP变换成MASTER;
#当失效的MASTER所在的系统恢复时,BACKUP从MASTER恢复到BACKUP状态。
#主备的靠priority决定
#nopreempt #设置为不抢占 注:这个配置只能设置在backup主机上,而且这个主机优先级要比另外一台高
interface eth0 #设置实例绑定的网卡,即VIP所在的网卡,因为在配置虚拟IP的时候必须是在已有的网卡上添加的
dont_track_primary #忽略vrrp的interface错误(默认不设置)
track_interface{ #设置额外的监控,里面那个网卡出现问题都会切换,一般都会对内外网卡同时进行监控
eth0
eth1
}
mcast_src_ip #发送多播包的地址,如果不设置默认使用绑定网卡的primary ip
garp_master_delay #在切换到master状态后,延迟进行gratuitous ARP请求
virtual_router_id 50 #虚拟路由标识 ,可通过 #tcpdump vrrp 查看.这个标识是一个数字,并且同一个vrrp实例使用唯一的标识。
#即同一个vrrp_instance,MASTER和BACKUP的virtual_router_id是一致的,同时在整个vrrp内是唯一的。
priority 99 #优先级:这是一个数字,数值愈大,优先级越高。在同一个vrrp_instance里,MASTER的优先级高于BACKUP
advert_int 1 #同步通知间隔:MASTER与BACKUP负载均衡器之间同步检查的时间间隔,单位为秒。
preempt_delay #抢占延时,默认5分钟,通过这种方式防止意外的切换导致角色的切换
debug #开启debug,默认可以不开启
authentication { #设置认证
auth_type PASS #类型主要有PASS、AH两种,通常使用的类型为PASS
auth_pass 111111 #验证密码为明文,同一vrrp实例MASTER与BACKUP 使用相同的密码才能正常通信。
}
virtual_ipaddress { #虚拟IP,即VIP,可以有多个地址,每个地址占一行,不需要指定子网掩码
#注意:如果lvs+keepalived场景中,这个ip必须与我们在lvs客户端设定的vip相一致
192.168.202.200
}
virtual_routes { #设置默认路由
# src <IPADDR> [to] <IPADDR>/<MASK> via|gw <IPADDR> dev <STRING> scope <SCOPE> tab
src 192.168.100.1 to 192.168.109.0/24 via 192.168.200.254 dev eth1
192.168.110.0/24 via 192.168.200.254 dev eth1
192.168.111.0/24 dev eth2 192.168.112.0/24 via 192.168.100.254
}
preempt delay #抢占延迟
}
- 虚拟服务器定义块
virtual_server 192.168.202.200 23 { # 这个ip后面一个空格,然后加上端口号。定义一个vip,可以实现多个tcp端口的负载均衡功能
delay_loop 6 #健康检查时间间隔,单位是秒
lb_algo rr #负载均衡调度算法(rr|wrr|lc|wlc|lblc|sh|dh),比较常见的是rr和nlc
lb_kind DR #负载均衡转发规则(NAT|DR|TUN)
persistence_timeout 50 #会话保持时间,单位是s,此选项用来提供保持会话功能
protocol TCP #使用的协议,TCP和UDP
persistence_granularity <NETMASK> #lvs会话保持粒度
virtualhost <string> #检查的web服务器的虚拟主机(host:头)
sorry_server<IPADDR> <port> #备用机,所有realserver失效后启用,利用这个sorry server提供一个优雅的维护页面
real_server 192.168.200.5 23 { #也即服务器池。Real_server的值包括ip地址和端口号。多个连续的真实ip
weight 1 #权重值是一个数字,数值越大,权重越高。
#使用不同的权重值的目的在于为不同性能的机器分配不同的负载,性能较好的机器,负载分担大些;
#反之,性能差的机器,则分担较少的负载,这样就可以合理的利用不同性能的机器资源。
inhibit_on_failure #在服务器健康检查失效时,将其设为0,而不是直接从ipvs中删除
notify_up <string> | <quoted-string> #在检测到server up后执行脚本
notify_down <string> | <quoted-string> #在检测到server down后执行脚本
TCP_CHECK {
connect_timeout 3 #连接超时时间
nb_get_retry 3 #重连次数
delay_before_retry 3 #重连间隔时间
connect_port 23 #健康检查的端口的端口
bindto <ip>
}
HTTP_GET | SSL_GET{
url{ #检查url,可以指定多个
path /
digest <string> #检查后的摘要信息
status_code 200 #检查的返回状态码
}
connect_port <port>
bindto <IPADD>
connect_timeout 5
nb_get_retry 3
delay_before_retry 2
}
SMTP_CHECK{
host{
connect_ip <IP ADDRESS>
connect_port <port> #默认检查25端口
bindto <IP ADDRESS>
}
connect_timeout 5
retry 3
delay_before_retry 2
helo_name <string> | <quoted-string> #smtp helo请求命令参数,可选
}
MISC_CHECK{
misc_path <string> | <quoted-string> #外部脚本路径
misc_timeout #脚本执行超时时间
misc_dynamic #如设置该项,则退出状态码会用来动态调整服务器的权重
#返回0 正常,不修改;返回1,检查失败,权重改为0;返回2-255,正常,权重设置为:返回状态码-2
}
}
启动
通过RPM安装的直接利用脚本
/etc/init.d/keepalived start
keepalived启动信息可以从日志中看到
tail -f /var/log/message
实例:
1、角色自动切换以及事件通知
角色的自动切换,原理是在global选项中定义一段脚本,在vrrp_instance中进行引用,触发了脚本,自动调整priority达到选举变更角色的目的
#global选项中加上如下的判定条件
vrrp_script change_role {
script "[[ -e /tmp/ChangeRole ]] && exit 1 || exit 0" #这里紧紧是一条shell命令,也可以是一个脚本
interval 1
weight -5 #自动调整优先级-5
}
#vrrp_instance实例中引用
track_script {
change_role
}
#只要当/tmp/ChangeRole出现的时候,优先级自动-5,小于backup,选举的时候就会更换角色
#要监控某项服务例如nginx
vrrp_script chk_nginx {
script "killall -0 nginx"
interval 1
weight -2
}
#vrrp_instance中进行引用
track_script {
chk_maintainace chk_nginx
}
2、角色转换进行通知,使用keepalived自带的邮件功能
角色转换的时候进行通知,结合上面进行角色更替时候发送邮件,这里仍旧不推荐,可以使用zabbix或者是nagios进行报警
#vrrp_instance实例块中定义
notify_master "/etc/keepalived/notify.sh master"
notify_backup "/etc/keepalived/notify.sh backup"
notify_fault "/etc/keepalived/notify.sh fault"
#发送邮件的前提是global中关于smtp的定义已经定义好
以下为一个简易通知脚本
#!/bin/bash
VIP=172.16.1.10
contact='root@localhost'
notify() {
mailsubject="`hostname` to be $1: $VIP floating"
mailbody="`date '+%F %H:%M:%S'`: vrrp transition, `hostname` changed to be $1"
echo $mailbody | mail -s "$mailsubject" $contact
}
case "$1" in
master)
notify master exit 0
;;
backup)
notify backup exit 0
;;
fault)
notify fault exit 0
;;
*)
echo 'Usage: `basename $0` {master | backup | fault}'
exit 1
;;
esac
3、keepalived实现ipvs
virtual_server 172.16.100.1 80 {
delay_loop 5
lb_algo rr
lb_kind NAT
nat_mask 255.255.255.0
protocol TCP
real_server 172.16.100.10 80 {
weight 1
HTTP_GET {
url {
path /
state_code 200
}
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 172.16.100.20 80 {
weight 1
HTTP_GET {
url {
path /
state_code 200
}
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
4、多虚拟路由的master/master双主模型
实现master/master双主,原理其实就是只要定义不同的vrrp_instance来实现
#部分配置文件如下
vrrp_instance VI_1 {
state MASTER
interface eth1
virtual_router_id 51
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 123456
}
virtual_ipaddress {
172.16.1.10/24 dev eth1
}
}
vrrp_instance VI_2 {
state BACKUP
interface eth1
virtual_router_id 52
priority 99
advert_int 1
authentication {
auth_type PASS
auth_pass 123456
}
virtual_ipaddress {
172.16.100.10/24 dev eth1
}
}
同样在另一个keepalived节点上两者vrrp_instance的实例角色恰好相反,这样即可实现master/master模型