keepalived+lvs-dr+nginx双主模型

最新推荐文章于 2022-11-09 10:50:04 发布
最新推荐文章于 2022-11-09 10:50:04 发布
阅读量111 收藏
点赞数
文章标签： 后端 前端 网络 ViewUI
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_33971130/article/details/85071886
版权

前言

    本文主要介绍，使用keepalived+lvs实现负载均衡及高可用功能，后端webserver使用nginx，keepalived使用双主模型。

    keepalived基于VRRP实现：

        VRRP的工作过程为：

        (1)  虚拟路由器中的路由器根据优先级选举出 Master。Master 路由器通过发送免费 ARP 报文，将自己的虚拟 MAC 地址通知给与它连接的设备或者主机，从而承担报文转发任务；

        (2)  Master 路由器周期性发送 VRRP 报文，以公布其配置信息（优先级等）和工作状况；

        (3)  如果 Master 路由器出现故障，虚拟路由器中的 Backup 路由器将根据优先级重新选举新的 Master；

        (4)  虚拟路由器状态切换时，Master 路由器由一台设备切换为另外一台设备，新的 Master 路由器只是简单地发送一个携带虚拟路由器的 MAC 地址和虚拟 IP地址信息的免费 ARP 报文，这样就可以更新与它连接的主机或设备中的ARP 相关信息。网络中的主机感不到 Master 路由器已经切换为另外一台设备。

        (5)  Backup 路由器的优先级高于 Master 路由器时，由 Backup 路由器的工作方式（抢占方式和非抢占方式）决定是否重新选举 Master。

        由此可见，为了保证Master路由器和Backup路由器能够协调工作，VRRP需要实现以下功能：

        1、Master 路由器的选举；

        2、Master 路由器状态的通告；

        3、同时，为了提高安全性，VRRP 还提供了认证功能；

    keepalived分为抢占式和非抢占式：

        抢占示：当一个优先级较大的Server重新上线后，将VIP直接抢回，自己响应请求

        非抢占式：优先级较大的Server上线后，看到VIP已经在其他节点工作，虽然自己的优先级高，但也不会强VIP，只会等待VIP所在节点down掉之后，才会重新上线

关于VRRP的内容可以参照VRRP白皮书
      LVS-DR模型：

        LVS-DR模型，是通过为请求报文重新封装一个MAC首部，源MAC为Director的MAC地址，目标MAC是被选中后端RS的MAC地址，IP首部不会变。

    (1)确保前端路由器将目标IP为VIP的请求报文发往Director:

    解决方案：

     在路由器上静态绑定VIP和Director的MAC地址；

     禁止RS响应VIP的ARP请求，禁止RS的VIP进行通告

      (a) arptables

      b) 修改RS的内核参数，并把VIP绑定lo的别名上；

       arp_ignore, arp_announce

显然，第一种方案不可行，我们不可能去运营商修改，所以只能使用后者，通过修改后端RS，关闭arp请求，来实现

    (2）RS的RIP可以使用私有地址，也可以使用公网地址；

    (3) RS跟Director必须在同一物理网络；RS的网关必须不能指向DIP；

    (4) 请求报文必须由Directory调度，但响应报文必须不能经由Director；

    (5) 不支持端口映射；

    (6) RS可以使用大多的OS；


环境介绍

Director1Director2WebServer_Nginx1WebServer_Nginx2
DIP：192.168.0.108DIP：192.168.0.109RIP：192.168.0.10RIP：192.168.020

VIP：192.168.0.111:M

VIP：192.168.0.222:B

VIP：192.168.0.111:B

VIP：192.168.0.222:M

VIP：192.168.0.111

VIP：192.168.0.222

VIP：192.168.0.111

VIP：192.168.0.222

M：表示为Master B：表示为BACKUP


实验拓扑图

wKioL1c2hUnwzdjzAAFHSd0XHko018.png

配置前端Director

Director1配置

安装程序包：

# yum install keepalived ipvsadm -y

修改配置文件：

! Configuration File for keepalived

global_defs {
   notification_email {
     root@localhost
   }
   notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
   vrrp_mcast_group4 224.0.4.223
}
vrrp_instance VI_1 {
    state MASTER
    interface eno16777736
    virtual_router_id 108
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.0.111
    }
}

virtual_server 192.168.0.111 80 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    nat_mask 255.255.255.0
    protocol TCP

    real_server 192.168.0.10 80 {
        weight 1
        HTTP_GET {
            url {
              path /
	      status_code 200
            }
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }

    real_server 192.168.0.20 80 {
        weight 1
        HTTP_GET {
            url {
              path /
	      status_code 200
            }
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
}

vrrp_instance VI_2 {
    state BACKUP
    interface eno16777736
    virtual_router_id 109
    priority 80
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.0.222
    }
}

virtual_server 192.168.0.222 80 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    nat_mask 255.255.255.0
    protocol TCP

    real_server 192.168.0.10 80 {
        weight 1
        HTTP_GET {
            url {
              path /
	      status_code 200
            }
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }

    real_server 192.168.0.20 80 {
        weight 1
        HTTP_GET {
            url {
              path /
	      status_code 200
            }
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
 }

Director2配置

安装程序包：

# yum install keepalived ipvsadm -y

修改配置文件：

! Configuration File for keepalived

global_defs {
   notification_email {
     root@localhost
   }
   notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
   vrrp_mcast_group4 224.0.4.223
}
vrrp_instance VI_1 {
    state BACKUP
    interface eno16777736
    virtual_router_id 108
    priority 80
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.0.111
    }

virtual_server 192.168.0.111 80 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    nat_mask 255.255.255.0
    protocol TCP

    real_server 192.168.0.10 80 {
        weight 1
        HTTP_GET {
            url {
              path /
	      status_code 200
            }
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }

    real_server 192.168.0.20 80 {
        weight 1
        HTTP_GET {
            url {
              path /
	      status_code 200
            }
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
}

vrrp_instance VI_2 {
    state MASTER
    interface eno16777736
    virtual_router_id 109
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.0.222
    }
}

virtual_server 192.168.0.222 80 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    nat_mask 255.255.255.0
    protocol TCP

    real_server 192.168.0.10 80 {
        weight 1
        HTTP_GET {
            url {
              path /
	      status_code 200
            }
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }

    real_server 192.168.0.20 80 {
        weight 1
        HTTP_GET {
            url {
              path /
	      status_code 200
            }
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
}


# 此处暂时不启动服务，在配置好nginx之后启动服务


配置后端WebServer

禁止RS响应arp请求和通告脚本

#!/bin/bash
vip1=192.168.0.111
vip2=192.168.0.222
interface1="lo:0"
interface2="lo:1"

case $1 in
start)
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
	ifconfig $interface1 $vip1 broadcast $vip1 netmask 255.255.255.255 up
	route add -host $vip1 dev $interface1
	ifconfig $interface2 $vip2 broadcast $vip2 netmask 255.255.255.255 up
	route add -host $vip2 dev $interface2
;;
stop)
echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce
	ifconfig $interface1 down
	ifconfig $interface2 down
;;
*)
echo "Usage: `basename $0` {start|stop|status}"
    exit 1
esac

RS1执行脚本并查看

# bash arp.sh start
# ip add show
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN 
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet 192.168.0.111/32 brd 192.168.0.111 scope global lo:0
       valid_lft forever preferred_lft forever
    inet 192.168.0.222/32 brd 192.168.0.222 scope global lo:1
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: eno16777736: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:a7:a7:33 brd ff:ff:ff:ff:ff:ff
    inet 192.168.0.10/24 brd 192.168.0.255 scope global eno16777736
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:fea7:a733/64 scope link 
       valid_lft forever preferred_lft forever
# cat /proc/sys/net/ipv4/conf/all/arp_ignore
1
# cat /proc/sys/net/ipv4/conf/all/arp_announce 
2

RS2执行脚本并查看

# bash arp.sh start
# ip add show
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN 
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet 192.168.0.111/32 brd 192.168.0.111 scope global lo:0
       valid_lft forever preferred_lft forever
    inet 192.168.0.222/32 brd 192.168.0.222 scope global lo:1
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: eno16777736: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:ec:85:42 brd ff:ff:ff:ff:ff:ff
    inet 192.168.0.20/24 brd 192.168.0.255 scope global eno16777736
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:feec:8542/64 scope link 
       valid_lft forever preferred_lft forever
# cat /proc/sys/net/ipv4/conf/all/arp_ignore
1
# cat /proc/sys/net/ipv4/conf/all/arp_announce 
2

配置Nginx,提供测试页面

WebServer1

# 安装Nginx
# yum install nginx -y
# rpm -q nginx
nginx-1.6.3-8.el7.x86_64
# vim /usr/share/nginx/html/index/html
<h1>Server1</h1>
# nginx #启动nginx

WebServer2

# 安装Nginx
# yum install nginx -y
# rpm -q nginx
nginx-1.6.3-8.el7.x86_64
# vim /usr/share/nginx/html/index/html
<h1>Server2</h1>
# nginx #启动nginx

启动前端调度器并测试

Director1:启动服务

# systemctl start keepalived

Director2:启动服务

# systemctl start keepalived

Director1:查看虚拟ip及RS是否添加

# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.0.111:80 rr
  -> 192.168.0.10:80              Route   1      0          0         
  -> 192.168.0.20:80              Route   1      0          0         
TCP  192.168.0.222:80 rr
  -> 192.168.0.10:80              Route   1      0          0         
  -> 192.168.0.20:80              Route   1      0          0       
# ip addr show
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN 
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: eno16777736: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:43:ad:7b brd ff:ff:ff:ff:ff:ff
    inet 192.168.0.108/24 brd 192.168.0.255 scope global eno16777736
       valid_lft forever preferred_lft forever
    inet 192.168.0.111/32 scope global eno16777736
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:fe43:ad7b/64 scope link 
       valid_lft forever preferred_lft forever  
# 此处可以看到VIP：192.168.0.111

Director2:查看虚拟ip及RS是否添加

# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.0.111:80 rr
  -> 192.168.0.10:80              Route   1      0          0         
  -> 192.168.0.20:80              Route   1      0          0         
TCP  192.168.0.222:80 rr
  -> 192.168.0.10:80              Route   1      0          0         
  -> 192.168.0.20:80              Route   1      0          0         
# ip addr show
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN 
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: eno16777736: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:dd:c1:9c brd ff:ff:ff:ff:ff:ff
    inet 192.168.0.109/24 brd 192.168.0.255 scope global eno16777736
       valid_lft forever preferred_lft forever
    inet 192.168.0.222/32 scope global eno16777736
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:fedd:c19c/64 scope link 
       valid_lft forever preferred_lft forever
# 此处可以看到VIP：192.168.0.222

正常测试：

wKiom1c2oHHDrfUhAAIxZuBH8AE587.gif

关闭后端Webserver1，再进行测试

    步骤：

        1、WebServer1关闭Nginx

        2、测试机请求，可以看到 只能请求道Server2

        3、在调度器查看，可以看到，其中一台webserver已经被移除，说明健康状态检查是有效的

wKioL1c2ohayo-muAAk7GUntkms981.gif


关闭Director2，再进行测试

    步骤：

        1、WebServer1启动ginx

        2、关闭Director2

        3、在调度器查看，可以看到，此时有两个VIP

        4、在测试测试，可以正常访问


wKiom1c2ol6TBVY2AAsTOYplWx4563.gif


文章就写到这里了，后续还会写一篇关于LNAMMP的文章，文章中会介绍session等信息。 
 作者：Ace QQ1257465991 Linux运维攻城狮一只 
 Q/A：如有问题请慷慨提出

weixin_33971130
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
史上最全LVS+keepalived+nginx基于DR模式高可用安装部署
qq_35403875的博客
06-13 2010
使用lvs+keepalived+nginx实现高可用部署，以及详细的keepalived配置文件
Keepalived+LVS-DR+Nginx高可用故障切换模式
weixin_30326745的博客
07-02 416
LVS架构中，不管是NAT模式还是DR模式，当后端的RS宕掉后，调度器依然会把请求转发到宕掉的RS上，这样的结果并不是我们想要的。其实，keepalived就可以解决问题，它不仅仅有高可用的功能，还有负载均衡。也就是说keepalived已经嵌入了LVS功能，完整的keepalived+LVS架构需要有两台调度器实现高可用，提供调度器的只需要一台，另...
keepalived+LVS+nginx搭建高可用负载均衡（二）
爱做梦的锤子
07-06 2318
本篇将把这keepalived、LVS和nginx进行结合做一个演示，帮助大家在学习高可用负载均衡时提供一个思路
Keepalived+LVS+Nginx负载均衡之高可用
java小强的博客
10-08 1193
上一篇写了nginx负载均衡，此篇实现高可用（HA）。系统整体设计是采用Nginx做负载均衡，若出现Nginx单机故障，则导致整个系统无法正常运行。针对系统架构设计的高可用要求，我们需要解决Nginx负载均衡出现单机故障时，系统正常运行的需求。所以系统架构引入Keepalived组件，实现系统高可用。 　　一、Keepalived介绍  　　Keepalived是分布式部署系统解决系统高可用的
L4+L7 负载均衡 Keepalived+LVS+nginx搭建nginx高可用集群
最新发布
04-16
### L4+L7 负载均衡 Keepalived+LVS+nginx搭建nginx高可用集群 #### 一、概述 随着互联网应用的不断发展，如何高效地处理大规模并发请求成为了现代Web架构设计的重要议题之一。在众多解决方案中，构建一个高可用、...
keepalived-1.2.18+nginx-1.6.2
03-30
【标题】"keepalived-1.2.18+nginx-1.6.2" 指的是一项集成解决方案，结合了Keepalived的高可用性和Nginx的高性能Web服务器特性。这个版本组合是特定时间点的稳定版本，确保了在那个时期内两者的兼容性和稳定性。 ...
nginx+lvs+keepalived安装文档
01-10
### Nginx + LVS + Keepalived 安装与配置详解 #### 一、概述 本文档将详细介绍如何在 Linux 系统上部署 nginx、LVS 以及 Keepalived，构建一个高可用且负载均衡的服务集群。通过这种方式，不仅可以提高服务的稳定...
nginx+keepalived.zip
12-30
- Keepalived是为LVS（Linux Virtual Server）设计的一个网络守护进程，但同样适用于其他需要高可用性的服务，如Nginx。 - Keepalived通过VRRP（Virtual Router Redundancy Protocol）协议实现主备切换，监控...
linux服务器之LVS、Nginx和HAProxy负载均衡器对比总结
09-15
2. 稳定性和可靠性：LVS支持与Keepalived结合，实现热备份方案，保证服务不间断。 3. 应用广泛：LVS可以为各种应用提供负载均衡。 4. 缺点：LVS不支持正则表达式处理，无法做到动静分离。它常用的负载均衡算法包括：...
【LVS+DR+Nginx+keepalived】高可用方案
Yohann17的博客
11-09 1003
【LVS+DR+Nginx+keepalived】双机热备高可用方案测试demo
lvs DR模式+keepalived+nginx实现高可用负载
LeeZbug的博客
04-26 419
注意： 1.某个keepalived服务所在的机器作为当前master时，是无法访问VIP的(crul VIP) 2.出现脑裂会导致无法ping通VIP，脑裂是一种主被互相不能通信导致各自为政的情况 1.环境配置： keepalived-master：192.168.8.8 keepalived-backup：192.168.8.9 nginx1：192.168.8.10 nginx2：19...
LVS+Keepalived+Nginx高可用负载均衡
友人A的博客
06-08 4737
介绍： 1、lvs简介 LVS主要用来做四层负载均衡。 2、keepalived简介 Keepalived是分布式部署系统解决系统高可用的软件，结合LVS（Linux Virtual Server）使用，其功能类似于heartbeat，解决单机宕机的问题。 Keepalived是以VRRP协议为实现基础的，VRRP全称Virtual Router Redundancy Protocol，即虚拟路由冗余协议。通过VRRP协议结合LVS，对组群服务器监控情况，若master出现宕机情况，则将...
基于云端虚拟机的LVS/DR+Keepalived+nginx的高可用集群架构配置（更新nginx代理功能）...
weixin_33813128的博客
12-02 217
基于云端虚拟机的LVS/DR+Keepalived+nginx的高可用集群架构配置 最近，公司要我部署一个集群架构，选来选取还是选择了大家都很熟悉的基于DR的LVS+Keepalived做负载分发，然后使用轻量级的nginx做中间代理层，这里呢先暂时实现一个简单web应用功能，对于代理功能和后续的web层部署、数据层安排将择机更新！ 首先看一下集群...
nginx的DR模式
wonderful10的博客
01-07 1570
LVS负载均衡： DR模式：负载均衡（DR把MAC地址改为RS的MAC） 一.实验环境的搭建： 1.在server1: 2.在服务端server2和server3的操作： 下载和开启httpd 在两台服务端的httpd默认的发布目录上修改，用来方便看实验结果 测试与优化： 在21主机上访问vip100没有相应，但在server1上的调度器上有调度记录 原因： 当访问100时，server1把请求调度到server2和server3，但2和3没有100这个ip ...
keepalived+LVS+nginx搭建高可用负载均衡(一)
爱做梦的锤子
07-05 7054
介绍keepalived和LVS的基本概念和基本操作，会进行演示帮助你快速搭建一个高可用和负载均衡集群
实验：基于keepalived实现两台realserver服务器中的nginx和php-fpm服务互为主从
weixin_34238633的博客
11-07 285
基于keepalived实现两台realserver服务器中的nginx和php-fpm服务互为主从 思路：利用两个VIP，一个定位nginx，一个定位php-fpm 步骤： 1、准备两台基于LNMP架构的服务器（能够提供正常的web服务） 2、在nginx为主php-fpm为备的机器上操作： ①编辑keepalived的配置文件（文件内容...
keepalived+lvs（DR）高可用集群的作用
05-30
Keepalived+lvs（DR）高可用集群的主要作用是提高服务的可用性和负载均衡能力。 在一个高可用集群中，如果Master节点出现故障，Keepalived会自动将Backup节点中的一台升级为Master节点，以保证服务的持续可用性。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值