使用Keepalived搭建Nginx主备机高可用服务

需求概述

结合keepalived搭建一主一备的高可用nginx集群，让keepalived完成故障转移和自动重启脚本（如果主机挂掉将会自动访问备机，主机修复后再自动访问主机）

准备好两台安装了nginx的主机，安装教程参考Nginx在Linux下的安装(详细)，
本文使用的http://192.168.5.135/为主机，http://192.168.5.137/为备机。

1. Keepalived介绍

Keepalived是一个免费开源的，用C编写的类似于layer3, 4 & 7交换机制软件，具备我们平时说的第3层、第4层和第7层交换机的功能。主要提供loadbalancing（负载均衡）和 high-availability（高可用）功能，负载均衡实现需要依赖Linux的虚拟服务内核模块（ipvs），而高可用是通过VRRP协议实现多台机器之间的故障转移服务。

上图是Keepalived的功能体系结构，大致分两层：用户空间（user space）和内核空间（kernel space）。

内核空间：主要包括IPVS（IP虚拟服务器，用于实现网络服务的负载均衡）和NETLINK（提供高级路由及其他相关的网络功能）两个部份。

用户空间：

• WatchDog：负载监控checkers和VRRP进程的状况
• VRRP Stack：负载负载均衡器之间的失败切换FailOver，如果只用一个负载均稀器，则VRRP不是必须的。
• Checkers：负责真实服务器的健康检查healthchecking，是keepalived最主要的功能。换言之，可以没有VRRP
  Stack，但健康检查healthchecking是一定要有的。
• IPVS wrapper：用户发送设定的规则到内核ipvs代码
• Netlink Reflector：用来设定vrrp的vip地址等。

Keepalived的所有功能是配置keepalived.conf文件来实现的。

2. 安装keepalived

注：主机和备机都需要安装keepalived

下载keepalived地址：http://www.keepalived.org/download.html
解压安装：

tar -zxvf keepalived-1.2.18.tar.gz -C /usr/local/

需要安装一个软件包:

yum install -y openssl openssl-devel

cd /usr/local

cd keepalived-1.2.18/ && ./configure --prefix=/usr/local/keepalived

make && make install

keepalived安装成Linux系统服务

将keepalived安装成Linux系统服务，因为没有使用keepalived的默认安装路径（默认路径：/usr/local）,安装完成之后，需要做一些修改工作：
首先创建文件夹，将keepalived配置文件进行复制：

mkdir /etc/keepalived

cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/

然后复制keepalived脚本文件：

cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/

cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/

ln -s /usr/local/sbin/keepalived /usr/sbin/

下面的这行命令可能因为文件已经存在无法创建，但并不影响

ln -s /usr/local/keepalived/sbin/keepalived /sbin/

可以设置开机启动：

chkconfig keepalived on

到此我们安装完毕!

keepalived 常用命令

service keepalived start
service keepalived stop

至此完成了主备机的安装下面进行配置

3. 配置

3.1 创建执行脚本（主备机）

进入文件夹：

 cd /etc/keepalived/

创建脚本文件：nginx_check.sh，注意其中的nginx启动命令

#!/bin/bash
A=`ps -C nginx –no-header |wc -l`
if [ $A -eq 0 ];then
    /usr/local/nginx/sbin/nginx
    sleep 2
    if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then
        killall keepalived
    fi
fi

3.2 Master(主机)

依然在/etc/keepalived/文件夹下，修改keepalived.conf配置文件：

! Configuration File for keepalived

vrrp_script chk_nginx {
    script "/etc/keepalived/nginx_check.sh" #运行脚本，脚本内容下面有，就是起到一个nginx宕机以后，自动开启服务
    interval 2 #检测时间间隔
    weight -20 #如果条件成立的话，则权重 -20
}
# 定义虚拟路由，VI_1 为虚拟路由的标示符，自己定义名称
vrrp_instance VI_1 {
    state MASTER #来决定主从
    interface ens33 # 绑定虚拟 IP 的网络接口，根据自己的机器填写
    virtual_router_id 121 # 虚拟路由的 ID 号， 两个节点设置必须一样
    mcast_src_ip 192.168.5.135 #填写本机ip
    priority 100 # 节点优先级,主要比从节点优先级高
    nopreempt # 优先级高的设置 nopreempt 解决异常恢复后再次抢占的问题
    advert_int 1 # 组播信息发送间隔，两个节点设置必须一样，默认 1s
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    # 将 track_script 块加入 instance 配置块
    track_script {
        chk_nginx #执行 Nginx 监控的服务
    }

    virtual_ipaddress {
        192.168.5.110 # 虚拟ip(vip),也就是解决写死程序的ip怎么能切换的ip,也可扩展，用途广泛。可配置多个。
    }
}

需要更改的地方：

1. 配置网络接口，使用命令ip a进行查看。
   
2. 本机ip
3. 虚拟ip(vip)

配置完成后启动

service keepalived start

本人启动时出现了错误，查看详细信息发现是keepalived command not found，
原因就是 keepalived命令没有在/usr/sbin目录下，解决方法为：cp /usr/local/keepalived/sbin/keepalived /usr/sbin，如果没有办法cp成功，就先rm -rf /usr/sbin/keepalived
另外MASTER主机message日志中如果看到不断有Received lower prio advert, forcing new election记录，就是防火墙导致的，可以关闭防火墙，或者开放目标主机中的数据包。

如下则成功：

再使用ip a,可以看到增加了vip

使用上面配置的vip进行访问nginx：

3.3 Backup(备机)

! Configuration File for keepalived

vrrp_script chk_nginx {
    script "/etc/keepalived/nginx_check.sh" #运行脚本，脚本内容下面有，就是起到一个nginx宕机以后，自动开启服务
    interval 2 #检测时间间隔
    weight -20 #如果条件成立的话，则权重 -20
}
# 定义虚拟路由，VI_1 为虚拟路由的标示符，自己定义名称
vrrp_instance VI_1 {
    state BACKUP #来决定主从
    interface ens33 # 绑定虚拟 IP 的网络接口，根据自己的机器填写
    virtual_router_id 121 # 虚拟路由的 ID 号， 两个节点设置必须一样
    mcast_src_ip 192.168.5.137 #填写本机ip
    priority 100 # 节点优先级,主要比从节点优先级高
    nopreempt # 优先级高的设置 nopreempt 解决异常恢复后再次抢占的问题
    advert_int 1 # 组播信息发送间隔，两个节点设置必须一样，默认 1s
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    # 将 track_script 块加入 instance 配置块
    track_script {
        chk_nginx #执行 Nginx 监控的服务
    }

    virtual_ipaddress {
        192.168.5.110 # 虚拟ip,也就是解决写死程序的ip怎么能切换的ip,也可扩展，用途广泛。可配置多个。
    }
}

需要修改的地方除了上面的三处还需将state 改成 BACKUP 表示备机

配置完后，使用service keepalived start判断是否配置成功

3.4 配置权限

查看脚本是否有运行的权限
如果你是root登陆的话（不是的话，切换到root用户，对*.sh赋可执行的权限）

chmod 777 *.sh          赋予权限
 or
chmod +x  *.sh

这里对nginx_check.sh脚本赋予可执行权限：

chmod +x /etc/keepalived/nginx_check.sh

然后运行就OK了，即有权限对文件进行删除等操作。

4. 实验

启动2台机器的nginx之后。我们启动两台机器的keepalived

/usr/local/nginx/sbin/nginx
service keepalived start
ps -ef | grep nginx 
ps -ef | grep keepalived

首先使用ip a命令，会发现虚拟ip在主机没有挂的情况下存在于主机上，如果主机挂了则虚拟ip存在于备机上。
访问虚拟iphttp://192.168.5.110/，会访问到主机上

使用pkill nignx 关闭主机nginx,会发现nginx会立刻自动重启，所以先关闭keepalivedservice keepalived stop，再关闭nginx,会发现将自动访问到 137备机上。

启动主机的keepalivedservice keepalived start，会发现主机的nginx会被自动启动，访问回到主机的nginx。