Nginx构建高可用集群

最新推荐文章于 2024-07-21 12:45:55 发布

BUG弄潮儿

最新推荐文章于 2024-07-21 12:45:55 发布

阅读量97

点赞数

文章标签： nginx linux 运维服务器

原文链接：https://mp.weixin.qq.com/s?__biz=MzA4MTk3MjI0Mw==&mid=2247502714&idx=1&sn=d53539e23388ea9562cbb0bfa0644458&chksm=9ecbb564b9fc0ec49d3638bc9b1ed88c133e29cd08b6ec69f28c2f948bfccb9fa65ce9794078&scene=126&sessionid=0

版权

具体实现技术：keepalived

keepalived介绍

keepalived是使用C语言编写的路由热备软件，其主要目标是为linux系统提供简单高效的负载均衡及高可用解决方案。keepalived由一组检查器，根据服务器的健康状况动态的维护和管理服务器池。在存在主备部署的节点上，当主节点发生故障，keepalived可以自动将备用调度器升级为主调度器，从而实现整个集群系统的高负载，高可用。另外keepalived通过vrrp协议实现高可用架构，vrrp是路由灾备的实现基础。

vrrp介绍

vrrp协议是为了静态路由环境下防止单点故障而设计的主从灾备协议，在主设备发生故障时业务自动切换至从设备，而这一切对于用户而言是透明的。vrrp将两台或多台设备虚拟成一个设备，对外仅提供一个虚拟的IP地址，这些设备在同一时刻仅有一台设备可有拥有该IP地址，而拥有该IP地址的设备就是主设备,其它的就是备用设备。主设备会不断发送自己的状态信息给备用设备，当备用设备接收不到主设备的状态信息时，多个备用设备会根据自身的优先级选择出新的主设备，并拥有所有的业务功能。vrrp协议需要为每个路由设备定义一个虚拟路由ID（VRID）以及优先，所有主备路由设备的VRID必须一样，这样才会被视为同一组设备，而优先级最高的设备就是主路由设备，VRID和优先级的范围为0-255之间的整数，数值越大优先级越高，如果优先级相等，则会对比IP地址，地址越大优先级越高。

安装keepalvied

[root@nginx ~]# dnf install keepalived -y

keepalived配置文件说明

[root@nginx ~]# vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived
 
global_defs {     #全局配置
 notification_email {  #指定keepalived在发生切换时需要发送email到的对象，一行一个
  acassen@firewall.loc #指定收件人邮箱
  failover@firewall.loc
  sysadmin@firewall.loc
 }
 notification_email_from Alexandre.Cassen@firewall.loc #指定发件人
 smtp_server 192.168.200.1 #指定smtp服务器地址
 smtp_connect_timeout 30  #指定smtp连接超时时间
 router_id LVS_DEVEL   #此处注意router_id为负载均衡标识，在局域网内应该是唯一的。
 vrrp_skip_check_adv_addr
 vrrp_strict
 vrrp_garp_interval 0
 vrrp_gna_interval 0
}
vrrp_instance VI_1 {  #虚拟路由的标识符
 state MASTER   #状态只有MASTER和BACKUP两种，并且要大写，MASTER为工作状态，BACKUP是备用状态
 interface eth0   #通信所使用的网络接口
  virtual_router_id 51 #虚拟路由的ID号，是虚拟路由MAC的最后一位地址
  priority 100   #此节点的优先级，主节点的优先级需要比其他节点高
  advert_int 1   #通告的间隔时间
  authentication {  #认证配置
    auth_type PASS  #认证方式
        auth_pass 1111  #认证密码
    }
    virtual_ipaddress {  #虚拟ip地址,可以有多个地址，每个地址占一行，不需要子网掩码，同时这个ip 必须与我们在lvs 客户端设定的vip 相一致！
        192.168.200.16
        192.168.200.17
        192.168.200.18
    }
}
 
virtual_server 192.168.200.100 443 { #集群所使用的VIP和端口
    delay_loop 6     #健康检查间隔，单位为秒
    lb_algo rr      #lvs调度算法rr|wrr|lc|wlc|lblc|sh|dh
    nat_mask 255.255.255.0   #VIP掩码
    lb_kind NAT      #负载均衡转发规则。一般包括DR,NAT,TUN 3种
    persistence_timeout 50   #会话保持时间，会话保持，就是把用户请求转发给同一个服务器，不然刚在1上提交完帐号密码，就跳转到另一台服务器2上了
    protocol TCP     #转发协议，有TCP和UDP两种，一般用TCP，没用过UDP
    real_server 192.168.200.100 443 { #真实服务器，包括IP和端口号
        weight 1     #权重
  TCP_CHECK {     #通过tcpcheck判断RealServer的健康状态
            connect_timeout 3  #连接超时时间
            nb_get_retry 3   #重连次数
            delay_before_retry 3 #重连间隔时间
            connect_port 23   #健康检查的端口的端口
            bindto <ip>  
        }
           
        HTTP_GET  {  #健康检测方式，可选有 SSL_GET、TCP_CHECK、HTTP_GET
            url {     #检查url，可以指定多个
              path /  #检查的url路径
              digest ff20ad2481f97b1754ef3e12ecd3a9cc  #需要检查到的内容。检查后的摘要信息。
            }
            url {
              path /mrtg
              digest 9b3a0c85a887a256d6939da88aabd8cd
            }
            url {
              path /testurl3/test.jsp
              digest 640205b7b0fc66c1ea91c463fac6334d
            }

            connect_timeout 3  #连接超时时间
            nb_get_retry 3   #检测尝试几次
            delay_before_retry 3 #检测的时间间隔
        }
    }
}

构建并维护基于 Nginx 分发器的高可用 Web 集群

实现分发器故障切换，数据服务器自动容错，保证 Web 服务器在宕机情况下业务的连续性

拓补图如下

配置步骤

1、配置nginx集群

master & backup 安装 nginx 和 keepalived

修改nginx配置文件

[root@master ~]# vim /usr/local/nginx/conf/nginx.conf
worker_processes  1;
events {
    worker_connections  1024;
}
http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
         upstream web {
                server 192.168.0.42 max_fails=2 fail_timeout=3;#3秒内失败2次，则认为此节点失效
                server 192.168.0.43 max_fails=2 fail_timeout=3;
        }
server {
        listen  80;
        server_name     localhost;
        location / {
        proxy_pass http://web;
        }
}
}

2、配置keepalived

主分发器

[root@master ~]# vim /etc/keepalived/keepalived.conf 
! Configuration File for keepalived
global_defs {
    router_id NGINX_DEVEL
}
vrrp_script check_nginx { #定义脚本的名称为check_nginx
    script "/etc/keepalived/nginx_pid.sh" #检查对应位置的文件是否存在
    interval 2 #定义执行间隔为2秒
    fall 1 #失败次数为1次
}
vrrp_instance nginx { #定义实例名称为nginx
    state MASTER #定义主机状态
    interface ens33 #定义通信接口，VIP绑定的接口
    mcast_src_ip 192.168.0.40 #定义发送vrrp广播的源地址，模式使用VIP绑定网卡的主IP地址
    virtual_router_id 51#定义VRID，主从设备vrid要抑制
    priority 100#定义优先级
    advert_int 1 #定义检查间隔，默认1秒
    authentication { #设置认证，同一vrid的设备要抑制
        auth_type PASS #认证方式为PASS
        auth_pass 1111 #认证密码为1111
    }
    track_script {
        check_nginx #调用在vrrp_script中定义的内容
    }
    virtual_ipaddress {
        192.168.0.150/24
    }
}

备分发器

[root@backup ~]# vim /etc/keepalived/keepalived.conf 
! Configuration File for keepalived
global_defs {
    router_id NGINX_DEVEL
}
vrrp_script check_nginx {
    script "/etc/keepalived/nginx_pid.sh"
    interval 2
    fall 1
}
vrrp_instance nginx {
    state BACKUP
    interface ens33
    mcast_src_ip 192.168.0.41
    virtual_router_id 51
    priority 90
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    track_script {
        check_nginx
    }
    virtual_ipaddress {
        192.168.0.150/24
    }
}

3、编写主备分发器自动切换脚本