通过keepalived配置nginx高可用集群负载均衡

关键字：keepalived 配置nginx高可用， nginx负载均衡 ，mysql集群使用nginx配置负载均衡

一. 组件概览

• Nginx (“engine x”) 是一个开源的，支持高性能、高并发的 Web 服务和代理服务软件。
• Keepalived的作用是检测服务器的状态，如果有一台web服务器宕机，或工作出现故障，Keepalived将检测到(本教程通过定时检测nginx服务是否正常运行来判断web服务器是否宕机)，并将有故障的服务器从系统中剔除，同时使用其他服务器代替该服务器的工作，当服务器工作正常后Keepalived自动将服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的服务器。

二. 组件安装

• nginx安装

yum  -y install gcc   #C++
yum  -y install pcre-devel
yum  -y install  zlib-devel
tar -zxvf nginx-1.18.0.tar.gz
cd nginx-1.18.0
./configure --prefix /usr/local/nginx
make && make install

• keepalived 安装

yum install -y popt-devel     
yum install  -y ipvsadm
yum install -y libnl*
yum install -y libnf*
yum install -y openssl-devel
tar -zxvf keepalived-2.1.4.tar.gz
cd keepalived-2.1.4
./configure --prefix /usr/local/keepalived
make && make install
mkdir /etc/keepalived
cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/
cp /usr/local/keepalived/etc/sysconfig/keepalived  /etc/sysconfig/
ln -s /usr/local/keepalived/sbin/keepalived  /usr/sbin/

三. 部署方案

1. 规划和部署建模
   

keepalived是如何监控多台nginx服务器的健康状态并进行主备切换，原理如下(keepalived配置高可用集群)：

2. 环境准备

准备三台机器 10.0.11.54 10.0.11.56 10.0.11.57

3. 配置服务组件

• nginx配置

  将Nginx 配置为代理和负载均衡服务器，具体配置信息如下
  Nginx 端口为：80
  负载均衡 54,56,57三台节点，并通过配置代理动态访问

  

  两台主机配置完成之后，依次启动Nginx 服务（参考命令：./nginx ）
  通过浏览器访问Nginx 服务，实际显示效果如图，可以看到访问10.54主机已经通过Nginx 代理和负载均衡服务动态地访问到了10.56主机上的服务。(注意：这里之所以能够访问到ip信息页面，是在tomcat服务器中配置的jsp页面，8081便是tomcat监听的端口，)

  

• keepalived配置

  分别修改三台节点的keepalived配置文件，master节点11.54配置信息如下,backup节点(11.56,11.57)配置信息只需修改state参数即可(MASTER|BACKUP)

  

  注：当前Keepalived配置了检测Nginx 服务是否正常的脚本（该脚本需要赋予执行权限，参考命令 chmod +x check_nginx.sh），当检测nginx 服务异常时，会触发keepalived 虚拟IP 自动漂移的功能，脚本内容如下

  #!/bin/bash
  #时间变量,用于记录日志
  d=`date --date today +%Y%m%d_%H:%M:%S`
  #计算nginx进程数量
  n=`ps -C nginx --no-heading|wc -l`
  #如果进程为0,则启动nginx,并且再次检测nginx进程数量,
  #如果还为0,说明nginx无法启动,此时需要关闭keepalived
  if [ $n -eq "0" ]; then
  #       /opt/one2data/3.0/CentralManage/o2d_nginx/sbin/nginx.sh start
          n2=`ps -C nginx --no-heading|wc -l`
          if [ $n2 -eq "0" ]; then
                  echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log
                  /opt/one2data/3.0/CentralManage/tools/o2d_keepalived/sbin/keepalived.sh stop
          fi
  fi
  

4. nginx高可用验证

• nginx高可用验证的思路

keepalived本质是通过check模块来检查nginx服务运行状态，当master节点nginx服务挂掉，，master 就不会再通过组播的形式向各个 backup 发送 VRRP 协议的数据包，当 backup 收不到 master 发来的 VRRP 数据包时，就会认为 master 宕机了，此时就需要根据各个 backup 的优先级来决定谁成为新的 master，所以验证思路如下
1 确保每个节点Tomcat,Nginx 服务已正常启动，Keepalived 配置已完成；
2 启动Master（10.0.11.54） 节点的 Keepalived 服务；
3 启动Backup（10.0.11.56）节点的Keepalived 服务；
4 启动Backup（10.0.11.57）节点的Keepalived 服务；
5 查看VIP是否成功绑定到master节点(IP)，并通过VIP访问nginx服务，验证服务是否正常；(VIP就是虚拟ip，会在节点之间漂移)
6 关闭Master 节点Nginx 服务，再次通过VIP 验证服务是否正常；(正常则说明keepalived主备切换成功)
7 查看VIP 绑定的实际节点（IP）；(如果实际节点IP是某一个backup节点的ip,则证明VIP已经漂移成功)
8 恢复Master（10.0.11.54）节点的Nginx 服务，并启动Keepalived 服务；
9 验证VIP 服务绑定的实际节点（IP）；(如果实际节点IP是master节点的ip,则证明VIP已经被master抢回,这对应着keepalived的抢占模式，与之对应还有非抢占模式)

注: 以下master节点为11.54 截图可能有点问题，但是整个流程是清晰的
（1）查看VIP是否成功绑定到master节点(IP)，并通过VIP访问nginx服务，验证服务是否正常；(VIP就是虚拟ip，会在节点之间漂移)


（2） 关闭Master 节点Nginx 服务，再次通过VIP 验证服务是否正常；(正常则说明keepalived主备切换成功)

（3） 恢复Master（10.0.11.57）节点的Nginx 服务，并启动Keepalived 服务； 验证VIP 服务绑定的实际节点IP

四. 至此，nginx高可用部署并验证完成