Linux下安装配置使用 Keepalived

最新推荐文章于 2024-07-23 20:20:38 发布

瑞雪骄阳

最新推荐文章于 2024-07-23 20:20:38 发布

阅读量1.4k

点赞数

分类专栏： .net 知识积累

.net 知识积累专栏收录该内容

67 篇文章 0 订阅

订阅专栏

1.下载
http://www.keepalived.org/download.html
或
wget http://www.keepalived.org/software/keepalived-1.2.2.tar.gz

2.安装
tar -zxvf keepalived-1.2.2.tar.gz
cd keepalived-1.2.2
./configure --prefix=/home/wangpl/mine/soft/keepalived-1.2.2
make && make install

3.方式，以下两种方式可选其一
3.1安装到系统，默认的启动脚本里写的是系统路径，所以需要拷贝一些文件到系统目录下
   $ cp /home/wangpl/mine/soft/keepalived-1.2.2/etc/rc.d/init.d/keepalived /etc/init.d/
   $ cp /home/wangpl/mine/soft/keepalived-1.2.2/sbin/keepalived /usr/sbin/
   $ cp /home/wangpl/mine/soft/keepalived-1.2.2/etc/sysconfig/keepalived /etc/sysconfig/
   $ mkdir -p /etc/keepalived/
   $ cp /home/wangpl/mine/soft/keepalived-1.2.2/etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf
3.2绿色方式（推荐学习使用）

不用拷贝到系统文件，只需要修改下启动脚本即可，将原来的写死的系统路径改为相对路径就好了，我的配置如下：

a.将二进制的keepalived放到了bin目录

b.将keepalived.conf放到了conf目录

c.将脚本（启动停止等）放到了根目录

结构如下图：

4.试用

启动：sh keepalived start

停止：sh keepalived stop

重启：sh keepalived restart

5.其实真正起作用的是那个keepalived二进制文件，它可以通过 -f 参数指定配置文件参数，停止的时候直接 kill 或 pkill 或killall掉就可以，如果直接使用keepalived二进制文件启动和停止的话可以方便地更换配置文件。

PS：需要 Root权限运行keepalived。

6.（主从模式）配置keepalived.conf

[javascript] view plain copy print ?

global_defs {
notification_email {
root@localhost
}
notification_email_from root@localhost
smtp_server localhost
smtp_connect_timeout 30
router_id NodeA
}

global_defs {
   notification_email {
     root@localhost
   }
   notification_email_from root@localhost
   smtp_server localhost
   smtp_connect_timeout 30
   router_id  NodeA
}

默认的配置文件中，使用第三方smtp服务器，但这在现实中几乎没有意义（需要验证的原因），我们将其指定为localhost, 将通知信息的发送交给本地sendmail服务处理。查阅说明文档得知route_id配置是为了标识当前节点，我将其设置为NodeA。当然两个节点的此项设置可相同，也可不相同。

[javascript] view plain copy print ?

vrrp_instance VI_1 {
state MASTER #指定A节点为主节点备用节点上设置为BACKUP即可
interface eth0 #绑定虚拟IP的网络接口
virtual_router_id 51 #VRRP组名，两个节点的设置必须一样，以指明各个节点属于同一VRRP组
priority 100 #主节点的优先级（1-254之间），备用节点必须比主节点优先级低
advert_int 1 #组播信息发送间隔，两个节点设置必须一样
authentication { #设置验证信息，两个节点必须一致
auth_type PASS
auth_pass 1111
}
virtual_ipaddress { #指定虚拟IP, 两个节点设置必须一样
192.168.200.16/24
192.168.200.17 /24
192.168.200.18 /24
}
}

vrrp_instance VI_1 {
    state MASTER   #指定A节点为主节点 备用节点上设置为BACKUP即可
    interface eth0   #绑定虚拟IP的网络接口
    virtual_router_id 51  #VRRP组名，两个节点的设置必须一样，以指明各个节点属于同一VRRP组
    priority 100   #主节点的优先级（1-254之间），备用节点必须比主节点优先级低
    advert_int 1   #组播信息发送间隔，两个节点设置必须一样
    authentication {   #设置验证信息，两个节点必须一致
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {   #指定虚拟IP, 两个节点设置必须一样
        192.168.200.16/24
        192.168.200.17 /24
        192.168.200.18 /24
    }
}

按同样的方法配置节点B并修改配置文件，可将A节点的配置文件复制到B节点，并修改以下几项：
router_id NodeB

state BACKUP

priority 99

其它项不必修改。

测试及验证：

执行命令 ip a （注意ifconfig命令无法查看到配置的虚拟IP），可以看到节点A已经绑定了16/17/18的ip，此时，拔掉节点A的网线，在节点B上上执行ip a就发现虚拟IP已经绑定到节点B上，再恢复A节点的网线，虚拟IP又绑定回节点A之上。

7.（主从模式）脑裂问题

上述主从配置方式存在脑裂的可能，即两个节点实际都处于正常工作状态，但是无法接收到彼此的组播通知，这时两个节点均强行绑定虚拟IP，导致不可预料的后果。
这时就需要设置仲裁，即每个节点必须判断自身的状态（应用服务状态及自身网络状态），要实现这两点可使用自定义shell脚本实现，通过周期性地检查自身应用服务状态，并不断ping网关（或其它可靠的参考IP）均可。当自身服务异常、或无法ping通网关，则认为自身出现故障，就应该移除掉虚拟IP(停止keepalived服务即可）。主要借助keepalived提供的vrrp_script及track_script实现：

在keepalived的配置文件最前面加入以下代码，定义一个跟踪脚本：

[javascript] view plain copy print ?

vrrp_script check_local { #定义一个名称为check_local的检查脚本
script "/usr/local/keepalived/bin/check_local.sh" #shell脚本的路径
interval 5 #运行间隔
}

vrrp_script check_local { #定义一个名称为check_local的检查脚本
    script "/usr/local/keepalived/bin/check_local.sh" #shell脚本的路径
    interval 5  #运行间隔
}

再在 vrrp_instance配置中加入以下代码使用上面定义的检测脚本：

[javascript] view plain copy print ?

track_script {
check_local
}

track_script {
  check_local
}

我们在/usr/local/keepalived/bin/check_local.sh定义的检测规则可以是：

a.自身web服务故障（超时，http返回状态不是200）

b.无法ping通网关

c.产生以上任何一个问题，均应该移除本机的虚拟IP(停止keepalived实例即可)

但这里有个小问题，如果本机或是网关偶尔出现一次故障，那么我们不能认为是服务故障。更好的做法是如果连续N次检测本机服务不正常或连接N次无法ping通网关，才认为是故障产生，才需要进行故障转移。另一方面，如果脚本检测到故障产生，并停止掉了keepalived服务，那么当故障恢复后，keepalived是无法自动恢复的。我觉得利用独立的脚本以秒级的间隔检查自身服务及网关连接性，再根据故障情况控制keepalived的运行或是停止。

这里提供一个思路，具体脚本内容请大家根据自己的需要编写即可。

8.（示例）nginx + keepalived 实现HA 主从模式

vi /etc/keepalived/keepalived.conf

编辑文件（主）：

[javascript] view plain copy print ?

global_defs {
router_id nginx_master
}
#监控服务.NGINX mysql等
vrrp_script chk_nginx {
script "/usr/local/nginx/check_nginx.sh"
interval 2
weight 2
}
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 51
priority 101
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.1.254
}
track_script {
chk_nginx #检测脚本上面配置的
}
}

global_defs {
   router_id nginx_master
}
#监控服务.NGINX mysql等
vrrp_script chk_nginx {
    script "/usr/local/nginx/check_nginx.sh"
    interval 2
    weight 2
}

vrrp_instance VI_1 {
    state MASTER
    interface eth0
    virtual_router_id 51
    priority 101
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.1.254
    }
    track_script {
        chk_nginx  #检测脚本 上面配置的
    }
}

vi /etc/keepalived/keepalived.conf

编辑文件（从）：

[javascript] view plain copy print ?

global_defs {
router_id nginx_backup
}
#监控服务.NGINX mysql等
vrrp_script chk_nginx {
script "/usr/local/nginx/check_nginx.sh"
interval 2
weight 2
}
vrrp_instance VI_1 {
state BACKUP
interface eth0
virtual_router_id 51
priority 99
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.1.254
}
track_script {
chk_nginx #检测脚本上面配置的
}
}

global_defs {
   router_id nginx_backup
}
#监控服务.NGINX mysql等
vrrp_script chk_nginx {
    script "/usr/local/nginx/check_nginx.sh"
    interval 2
    weight 2
}

vrrp_instance VI_1 {
    state BACKUP
    interface eth0
    virtual_router_id 51
    priority 99
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.1.254
    }
    track_script {
        chk_nginx  #检测脚本 上面配置的
    }
}

脚本/usr/local/nginx/check_nginx.sh"内容：

[javascript] view plain copy print ?

#!/bin/bash
if [ "$(ps -ef | grep "nginx: master process"| grep -v grep )" == "" ]
then
/usr/local/nginx/sbin/nginx
sleep 5
if [ "$(ps -ef | grep "nginx: master process"| grep -v grep )" == "" ]
then
killall keepalived
fi
fi

#!/bin/bash
if [ "$(ps -ef | grep "nginx: master process"| grep -v grep )" == "" ]
then
/usr/local/nginx/sbin/nginx
sleep 5
if [ "$(ps -ef | grep "nginx: master process"| grep -v grep )" == "" ]
then
killall keepalived
fi
fi

启动并测试：

1.启动两台机器上的nginx

2.启动两台机器上的keepalived

此时使用命令 ip addr 查看虚拟IP绑定可以看到主有，从没有，将主机的keepalived关掉，可以看到vip绑定到了从的上面

使用其他机器访问使用wget进行访问：vip:xx/wget ?userid=20003829

查看是否能够访问，然后让本机的nginx关掉，继续使用wget看是否能够访问，如果能够访问则HA配置成功。

http://www.linuxidc.com/Linux/2012-08/69383.htm

http://www.68idc.cn/help/buildlang/ask/20150616370229.html

三、安装和设置keepalived
1、安装keepalived
> yum install keepalived
> chkconfig --add keepalived
> chkconfig --level 35 keepalived on

2、修改配置文件
配置keepalived
/etc/keepalived/keepalived.conf
内容：
=====================================================================
! Configuration File for keepalived
# 全局配置，demo中配置了邮件信息，此处因为调试中，暂时没有添加
global_defs {

}

# 集群资源监控，组合track_script进行
vrrp_script check_haproxy {
script "killall -0 haproxy"
interval 2
}

vrrp_instance HAPROXY_HA {
# 设置当前主机为主节点，如果是备用节点，则设置为BACKUP
# 备用节点时，设置为：
# state BACKUP
state MASTER

# 指定HA监测网络接口，可以用ifconfig查看来决定设置哪一个
interface eth1

# 虚拟路由标识，同一个VRRP实例要使用同一个标识，主备机
virtual_router_id 80

# 因为当前环境中VRRP组播有问题，改为使用单播发送VRRP报文
# 这个地方需要关注，之前未做此设置，结果主备节点互相不能发现，因此主备节点都升级成了MASTER，并且绑定了VIP
# 备用节点时，内容为：
# unicast_src_ip 192.168.200.199
# unicast_peer {
# 192.168.200.200
# }
unicast_src_ip 192.168.200.200
unicast_peer {
192.168.200.199
}

# 设置优先级，确保主节点的优先级高过备用节点
# 备用节点时，设置为：
# priority 80
priority 100

# 用于设定主备节点间同步检查时间间隔
advert_int 2

# 设置高可用集群中不抢占功能，在主机down后，从机接管，当主机重新恢复后，设置此功能，备机将继续提供服务，从而避免因切换导致的隐患
nopreempt

# 设置主备节点间的通信验证类型及密码，同一个VRRP实例中需一致
authentication {
auth_type PASS
auth_pass 1234
}

# 当keepalived切换状态到MASTER时，执行脚本
notify_master "/etc/keepalived/master.sh"
# 当keepalived切换状态到BACKUP时，执行脚本
notify_backup "/etc/keepalived/backup.sh"
# 当keepalived切换状态到FAULT时，执行脚本
notify_fault "/etc/keepalived/fault.sh"
# 当keepalived切换状态到STOP时，执行脚本
notify_fault "/etc/keepalived/stop.sh"

# 集群资源监控，组合vrrp_script进行
track_script {
check_haproxy
}
# 设置虚拟IP地址，当keepalived状态切换为MASTER时，此IP会自动添加到系统中
# 当状态切换到BACKUP时，此IP会自动从系统中删除
# 可以通过命令ip add查看切换后的状态
virtual_ipaddress {
192.168.200.240/24 dev eth1
}
}
====================================================================

3、启动服务
因为是为了实现haproxy的高可用，启动时需要顺序启动：
(1) 启动haproxy：
> haproxy -f /etc/haproxy/haproxy.cfg
(2) 启动keeepalived：先启动master节点，后启动BACKUP节点
> /etc/init.d/keepalived start

4、停止keeepalived服务
> /etc/init.d/keepalived stop

5、检查keeepalived的运行日志，默认keepalived的日志位于/var/log/message
> tail -n100 /var/log/message