使用keepalived实现nginx七层负载均衡高可用

最新推荐文章于 2021-10-31 21:42:37 发布
最新推荐文章于 2021-10-31 21:42:37 发布
阅读量329 收藏 1
点赞数
分类专栏： nginx linux服务配置 文章标签： linux 运维 nginx
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/supahero/article/details/108502327
版权
原文链接：https://www.cpweb.top/676

一、架构

在这里插入图片描述

二、基础概念

  高可用，通俗的来说就是一台服务器宕机了，另一台马上接替，对于用户而言毫无感知的。专业的来说，就是尽可能减少服务的宕机时间。
  keepalived作为这么一种高可用解决方案的软件，主要就是通过VRRP协议（虚拟路由器冗余协议）来实现高可用功能的，VRRP协议的主要目的就是为了解决路由单点故障问题的。
  这么说keepalived其实就是将一组服务器组成一个热备组，这个组通过共享一个虚拟IP地址和MAC地址，来维护一个虚拟路由器。在任一时刻，该组中只有一个服务器是活跃的，这个虚拟IP也是处在活跃服务器上，其他处于备用模式。如果活跃服务器发生故障，那么这个虚拟IP会立刻漂移到备用服务器，备用服务器将会立刻接替其工作，这个接替对于访问的用户来说无感知的，因为虚拟IP是始终没有改变，所以仍能保持连接，不受故障影响。
  keepalived是利用优先级来决定那个服务器成为活跃服务器，那个服务器的优先级高，则那个为活跃服务器。如果活跃服务器发生故障，备用服务器没有收到活跃服务器发出的VRRP 广播报文，则备用服务器就会成为新的活跃服务器。

 

三、配置keepalived服实现高可用

  环境搭建：一台nginx四层负载均衡，两台nginx七层负载均衡，两个后端web节点，都提前部署好，这里不再赘述如何搭建。

（1）抢占模式

[root@lb02 ~]# yum install -y keepalived
[root@lb02 ~]# vim /etc/keepalived/keepalived.conf
global_defs {				# 全局配置段
   router_id lb02			# 路由标识，同一个局域网内唯一的。
}

vrrp_instance VI_1 {		# VRRP协议配置端，这里定义一个名为VI_1的VRRP实例，用于配置一个VRRP服务。
    state MASTER			# 当前实例VI_1的角色状态，这个状态分MASTER和BACKUP两种状态。
    interface ens33			# 绑定的对外提供服务的网络接口，虚拟机IP会配置到这个网卡上。
    virtual_router_id 50	# 虚拟路由标识，同一个VRRP实例使用相同的唯一标识。
    priority 100			# 优先级
    advert_int 1			# 发送VRRP广播报文的时间间隔，单位为秒。
    authentication {		# 验证相关
        auth_type PASS		# 验证类型为密码，类型主要有PASS和AH两种。
        auth_pass 0000		# 验证密码，其为明文，同一VRRP实例MASTER与BACKUP使用相同的密码才能正常通信。
    }
    virtual_ipaddress {		#虚拟IP地址，即VIP
        10.0.0.3
    }   
}

[root@lb03 ~]# yum install -y keepalived
[root@lb03 ~]# vim /etc/keepalived/keepalived.conf
global_defs {
    router_id lb03
}

vrrp_instance VI_1 {
    state BACKUP
    interface ens33
    virtual_router_id 50
    priority 90
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 0000
    }
    virtual_ipaddress {
        10.0.0.3
    }
}

测试：

[root@lb02 ~]# systemctl start keepalived       //我们启动keepalived主节点
[root@lb02 ~]# ip a show ens33                  //可以发现在ens33网卡下，多了一个VIP地址
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 00:0c:29:72:d9:a3 brd ff:ff:ff:ff:ff:ff
    inet 10.0.0.5/24 brd 10.0.0.255 scope global noprefixroute ens33
       valid_lft forever preferred_lft forever
    inet 10.0.0.3/32 scope global ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::3bc6:290a:7d47:706/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever

[root@lb03 ~]# systemctl start keepalived       //我们启动keepalived备节点
[root@lb03 ~]# ip a show ens33                  //没有变化
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 00:0c:29:27:27:71 brd ff:ff:ff:ff:ff:ff
    inet 10.0.0.6/24 brd 10.0.0.255 scope global noprefixroute ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::aef:b68a:d2e7:4e3f/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever

此时我们模拟lb02服务器宕机，可以发现VIP立即从lb02服务器漂移到了lb03服务器上。

[root@lb02 ~]# systemctl stop keepalived
[root@lb02 ~]# ip a show ens33
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 00:0c:29:72:d9:a3 brd ff:ff:ff:ff:ff:ff
    inet 10.0.0.5/24 brd 10.0.0.255 scope global noprefixroute ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::3bc6:290a:7d47:706/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever

[root@lb03 ~]# ip a show ens33
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 00:0c:29:27:27:71 brd ff:ff:ff:ff:ff:ff
    inet 10.0.0.6/24 brd 10.0.0.255 scope global noprefixroute ens33
       valid_lft forever preferred_lft forever
    inet 10.0.0.3/32 scope global ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::aef:b68a:d2e7:4e3f/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever

 

（2）非抢占模式

  通过上面我们可以发现，当主节点重新恢复正常，那么因为优先级会抢占VIP，VIP又会重新漂移到主节点，这样就发生了两次VIP地址漂移，其中第二次其实是不必要的VIP地址漂移。
  为了避免这个情况，我们可以配置非抢占模式，即主节点故障，备节点接管，但主节点恢复了不会抢占VIP，除非备节点故障，主节点才会再次接管VIP。
  配置非抢占模式主要有两个点：一是两个节点的状态都必须配置为BACKUP；二就是两个节点都在vrrp_instance中添加nopreempt参数即可。

[root@lb02 ~]# vim /etc/keepalived/keepalived.conf      //修改添加以下参数
...
vrrp_instance VI_1 {
    state BACKUP
    nopreempt
    ...
}
[root@lb02 ~]# systemctl restart  keepalived


[root@lb03 ~]# vim /etc/keepalived/keepalived.conf      //修改添加以下参数
... ...
vrrp_instance VI_1 {
    state BACKUP
    nopreempt
    ......
}
[root@lb03 ~]# systemctl restart  keepalived

  测试：模拟lb02宕机，可以发现VIP立即从lb02漂移到了lb03上。重新恢复lb02服务，发现VIP没有发生漂移，还在lb03上。

[root@lb02 ~]# ip a show ens33
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 00:0c:29:72:d9:a3 brd ff:ff:ff:ff:ff:ff
    inet 10.0.0.5/24 brd 10.0.0.255 scope global noprefixroute ens33
       valid_lft forever preferred_lft forever
    inet 10.0.0.3/32 scope global ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::3bc6:290a:7d47:706/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever
[root@lb02 ~]# systemctl stop keepalived

[root@lb03 ~]# ip a show ens33
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 00:0c:29:27:27:71 brd ff:ff:ff:ff:ff:ff
    inet 10.0.0.6/24 brd 10.0.0.255 scope global noprefixroute ens33
       valid_lft forever preferred_lft forever
    inet 10.0.0.3/32 scope global ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::aef:b68a:d2e7:4e3f/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever

[root@lb02 ~]# systemctl restart keepalived
[root@lb02 ~]# ip a show ens33
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 00:0c:29:72:d9:a3 brd ff:ff:ff:ff:ff:ff
    inet 10.0.0.5/24 brd 10.0.0.255 scope global noprefixroute ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::3bc6:290a:7d47:706/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever

[root@lb03 ~]# ip a show ens33
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 00:0c:29:27:27:71 brd ff:ff:ff:ff:ff:ff
    inet 10.0.0.6/24 brd 10.0.0.255 scope global noprefixroute ens33
       valid_lft forever preferred_lft forever
    inet 10.0.0.3/32 scope global ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::aef:b68a:d2e7:4e3f/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever

 

四、扩展

（1）定义keepalived服务日志路径

keepalived服务日志默认会记录在/var/log/message下，观测起来不直观。

[root@lb02 ~]# vim /etc/sysconfig/keepalived        //参数含义，配置文件中有解释
KEEPALIVED_OPTIONS="-D -d -S 0"

[root@lb02 ~]# vim /etc/rsyslog.conf        // 配置rsyslog，定义服务日志存放路径
local0.*               /var/log/keepalived.log

[root@lb02 ~]# systemctl restart keepalived rsyslog
[root@lb02 ~]# tailf /var/log/keepalived.log 
...
Sep  9 07:02:19 lb02 Keepalived_vrrp[7619]: VRRP_Instance(VI_1) Sending/queueing gratuitous ARPs on ens33 for 10.0.0.3
Sep  9 07:02:19 lb02 Keepalived_vrrp[7619]: Sending gratuitous ARP on ens33 for 10.0.0.3
Sep  9 07:02:19 lb02 Keepalived_vrrp[7619]: Sending gratuitous ARP on ens33 for 10.0.0.3
...

 

（2）地址漂移问题

  我们有没有想过VIP是什么时候才会漂移呢，一是 keepalived服务停止了，二就是服务器出问题了关机或者重启了。
  那么问题来了，作为提供负载均衡的nginx服务如果出现故障了，而VIP却没有漂移，这就会导致网站服务访问失败。所以我们就需要编写一个脚本，用来探测Nginx是否存活，如果不存活则尝试启动，如果还没有存活，则强制停止keepalived服务，让VIP地址漂移。

#!/bin/bash

# 检测nginx进程是否存在，-C按名称匹配进程，--no-headers不显示列名。
nginx_pid=$(ps -C nginx --no-headers|wc -l)

# 判断Nginx是否存活,如果不存活则尝试启动Nginx。
if [ $nginx_pid -eq 0 ];then
    systemctl start nginx
    sleep 2
    
    # 等待2秒后再次获取一次Nginx状态。
    nginx_pid=$(ps -C nginx --no-header|wc -l) 
    
    # 再次进行判断, 如果Nginx还不存活则停止Keepalived服务,让地址进行漂移。 
    if [ $nginx_pid -eq 0 ];then
        systemctl stop keepalived
   fi
fi

keepalived调用脚本

[root@lb02 ~]# cat /etc/keepalived/keepalived.conf
global_defs {
    router_id lb02
}

vrrp_script check_web {              #定义脚本路径，定义脚本多久执行一次，定义名称check_web
	script "/root/check.sh"
	interval 5
}

vrrp_instance VI_1 {
    state BACKUP
    nopreempt
    interface ens33
    virtual_router_id 50
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 0000
    }
    virtual_ipaddress {
        10.0.0.3
    }   
	track_script {      #调用脚本
		check_web
	}
}

测试：

[root@lb02 ~]# systemctl stop nginx
[root@lb02 ~]# netstat -ntlp | grep nginx
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      6890/sshd           
tcp        0      0 127.0.0.1:25            0.0.0.0:*               LISTEN      6976/master         
tcp6       0      0 :::22                   :::*                    LISTEN      6890/sshd           
tcp6       0      0 ::1:25                  :::*                    LISTEN      6976/master         
[root@lb02 ~]# netstat -ntlp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
tcp        0      0 0.0.0.0:80              0.0.0.0:*               LISTEN      8064/nginx: master  
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      6890/sshd           
tcp        0      0 127.0.0.1:25            0.0.0.0:*               LISTEN      6976/master         
tcp6       0      0 :::22                   :::*                    LISTEN      6890/sshd           
tcp6       0      0 ::1:25                  :::*                    LISTEN      6976/master

 

（3）脑裂问题

  当两个节点同时认为自己是唯一处于活动状态的时候，从而出现了VIP抢占，双方都在抢占资源的情况下，称为脑裂。
  出现脑裂问题原因，主要就是VRRP广播报文因为某些原因导致发送或者接收问题（例如网络原因、防火墙原因等），导致双方接收不到报文，都认为对方故障，自身是唯一存活的，从而出现脑裂。

啊哈？？
关注
专栏目录
openEuler系统之使用Keepalived+Nginx部署高可用Web集群
jks212454的博客
07-05 1179
openEuler系统之使用Keepalived+Nginx部署高可用Web集群
使用Nginx -HAproxy实现七层负载均衡
10-30 517
使用Nginx实现动静分离的负载均衡集群 LB负载均衡集群分两类：LVS（四层）Nginx或HAproxy（七层） 客户端通过访问分发器的VIP来访问网站。 现在应用更复杂，比如现在网站页面有：php html png jpeg jsp等，有动态页面有静态页面。静态页面是不变的，想访问的更快些，要学习SQUID。 但是前面的LVS是四层的，基于IP的。现在需要在应用层基于不同的应用进行分发。 七层LB ，Nginx/ Haproxy都可以支持7层LB。 现在实现nginx动静分离，拓扑图。
Nginx + Keepalived实现高可用的ISO七层负载均衡
weixin_42465125的博客
04-01 269
IP规划 192.168.174.221 Tomcat01（部署前台项目的8080） 192.168.174.222 Tomcat02（部署前台项目的8080） 192.168.174.223 Nginx01主+Keepalived 192.168.174.224 Nginx02备+Keepalived 安装环境： 查看是否安装（其他软件包的查看方式都是这样）...
LVS#Nginx+Keepalived七层负载均衡
kakaops_qing的博客
10-17 480
Nginx+keepalived七层负载均衡
高可用与负载均衡（3）之七层负载均衡的概念
weixin_33816300的博客
11-13 94
preface 在蓝厂上班不但接触LVS四层均衡负载，也天天捣鼓haproxy对七层负载。七层负载均衡其实也称为内容交换，指LB分析应用层的请求数据特征，匹配相关规则后，运算某个算法后再进行调度。 七层负载均衡时序图 在七层负载均衡中，调度器或者调度软件通过请求方法，请求的uri，请求的Host等作为调度的依据，结合后端服务器的压力，进行转发。 时序图如图所示： 通过上图可得出七层负载的特点是：...
架构设计：负载均衡层设计方案（7）——LVS + Keepalived + Nginx安装及配置
08-30 367
1、概述 上篇文章《架构设计：负载均衡层设计方案（6）——Nginx + Keepalived构建高可用的负载层》(htt...
lvs+keepalived+nginx+tomcat实现高性能负载均衡集群.rar
03-20
Nginx是一款高性能的HTTP和反向代理服务器，常用于七层负载均衡。在LVS作为四层负载均衡器的基础上，Nginx可以在应用层进一步进行负载均衡和内容缓存，提高系统的响应速度。Nginx可以通过设置不同的路由规则，根据...
Keepalived+HAProxy实现MySQL高可用负载均衡的配置
09-10
HAProxy则是一个高性能的七层负载均衡器，它可以对HTTP和TCP流量进行分发。在MySQL场景中，HAProxy接收来自客户端的连接请求，然后按照预设策略（如轮询、最少连接数等）将这些请求转发到后台的MySQL服务器。这样，...
L4+L7 负载均衡 Keepalived+LVS+nginx搭建nginx高可用集群
最新发布
04-16
Nginx则作为七层负载均衡器，负责更复杂的请求处理和路由决策；Keepalived则保障了整个系统的高可用性，确保即使在某个组件出现故障时，服务也不会中断。这种组合不仅适用于中小型网站，即使是面对特大型网站的流量...
lvs+keepalived+nginx实现高性能负载均衡集群
小尾寒羊的博客
07-25 437
一、LVS作用 LVS是一个开源的软件，可以实现传输层四层负载均衡。LVS是Linux Virtual Server的缩写，意思是Linux虚拟服务器。目前有三种IP负载均衡技术（VS/NAT、VS/TUN和VS/DR）；八种调度算法（rr,wrr,lc,wlc,lblc,lblcr,dh,sh）。 二、Keepalived作用 LVS可以实现负载均衡，但是不能够进行健康检查，比如一个rs出...
企业 keepalived 高可用项目实战 Nginx+keepalived实现七层的负载均衡
晨光运维之路
04-20 208
1、Keepalived VRRP 介绍 keepalived是什么 keepalived是集群管理中保证集群高可用的一个服务软件，用来防止单点故障。 keepalived工作原理 keepalived是以VRRP协议为实现基础的，VRRP全称Virtual Router Redundancy Protocol，即虚拟路由冗余协议。 虚拟路由冗余协议，可以认为是实现高可...
基于keepalived+nginx部署强健的高可用7层负载均衡方案20151214
xuyaqun的专栏
12-14 5700
高可用是个老生常谈的问题了，开源的高可用软件已经做的相当成熟了，之前也在debian下做过lvs+heartbeat的4层LB，一直很稳定（可惜流量不大啊），现在由于业务的需要，做一个基于keepalived+nginx的高可用7层负载均衡。拓扑结构也比较简单，就不画拓扑图了：2个节点上分别安装配置keepalived和nginx，配置nginx反向代理后端的real server比较关键的几个点
浅谈公有云7层、4层负载产品，配置，原理
中华鲟的博客
12-01 1152
先给大家简单介绍一下基础知识7层和4层的区别和负载均衡的意义。 7层和4层是指不同的网络模型，网络传输协议的划分方式不同，具体的划分和内容这里不做过多讲述。 负载均衡有两个方面的意义： 第一， 大量的并发访问或数据流量分担到多台节点设备上分别处理，减少用户等待响应的时间； 第二，单个重负载的运单分担到堕胎节点设备上并行处理，每个节点设备处理结束后汇总返回，提高系统的处理能力。 这两点都使得我们产品在用户使用和体验上有着巨大的良性作用。 下面开始我们的正题： 所谓的四层负载均衡原理是基于IP+端口，通过虚拟
keepalived&Nginx负载配置说明
Prison_的博客
04-16 184
1. Nginx 安装配置 1.1. 安装 查询是否已经安装 rpm –qa|grep ngixn 删除已安装的 nignx 库 rpm –e –-nodeps nginx 库名称 安装 nginx rpm –ivh nginx-1.14.0-1.el6.ngx.x86_64.rpm 1.2. 配置 以上图为例，配置负载需新增 stream 节点，如果配置多个负载，...
Nginx-+-keepalived实现七层的负载均衡(同类服务)
Forgetfanhua的博客
04-17 241
Nginx通过 Upstream 模块实现负载均衡 upstream 支持的负载均衡算法： 轮询（默认）:可以通过weight指定轮询的权重，权重越大，被调度的次数越多 ip_hash：可以实现会话保持，将同一客户的IP调度到同一样后端服务器，可以解决session的问题，不能使用weight fair：可以根据请求页面的大小和加载时间长短进行调度，使用第三方的upstream_fair模块 ...
2.企业运维-----haproxy实现7层的负载均衡+pacemaker高可用
qq_44060147的博客
07-13 806
haproxy实现7层的负载均衡[haproxy+pacemaker]一、haproxy1.框架搭建及测试（1）安装及配置（2）测试：浏览器访问（3）负载均衡2.default_backend和use_backend的使用3.不同的app 负载均衡算法（1）整体负载均衡（2）server2负载两次（3）备机设置server14.设置日志信息的存放和访问密码5.设置黑名单及自动跳转网址（1）设置黑名单，屏蔽172.25.15.250（2）跳转成功6.读写分离（1）配置完成（2）测试二、haproxy+pace
linux项目实战---lamp架构（六）haproxy负载均衡及高可用（7层）
qq_42003848的博客
07-12 663
haproxy负载均衡及高可用一.haproxy基本概念二.haproxy负载均衡及相关配置1.负载均衡三.pacemaker管理hapoxy集群四.fence实现haproxy故障重启 一.haproxy基本概念 二.haproxy负载均衡及相关配置 1.负载均衡 在server1上安装haproxy： yum install -y haproxy 编辑内核文件，扩展最大文件量（默认1024） cd /etc/security/limits.d/ cd vim /etc/security/limi
LVS+Keepalived+Nginx+ web 四七层负载及高可用集群构建
qq_41490913的博客
06-21 124
LVS+Keepalived+Nginx+ web 四七层负载及高可用集群构建
多层NG代理4层探活转7层
zgn666的博客
10-31 2151
1、前提 nginx已经编译集成Lj2.1 nginx已经编译集成nginx_upstream_check_module 多台nginx转发终端服务只能tcp探活，上游服务需要URL探活 2、4层upstream探活配置--nginx-B upstream lama.member { server 127.0.0.1:8081 max_fails=3 fail_timeout=30s; server 127.0.0.2:8081 max_fails=3 fail_timeout=3
使用Nginx+Keepalived构建高可用负载均衡
我们将重点讲解Keepalived的安装配置以及在Nginx服务器集群中的应用，以实现七层负载均衡。" 在IT行业中，高可用性(High Availability, HA)是关键，它意味着系统能够持续提供服务，即使在部分组件故障时也能正常...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值