基于Keepalived+LVS+Nginx构建高可用高性能负载均衡架构

于 2025-05-11 00:57:13 发布
阅读量943 收藏 6
点赞数 11
分类专栏： Nginx 文章标签： nginx 负载均衡 lvs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liangjiyong/article/details/147521410
版权

引言

在单节点部署的Nginx环境中，节点宕机会导致服务完全中断，同时受限于单节点性能（CPU、内存、网络带宽、连接数）难以支撑高并发场景。为了解决这些问题，本文将从各组件安装到配置以及部署来详细介绍Keepalived+LVS+Nginx的高可用架构是如何实现的。

一、什么是Nginx高可用

Nginx高可用是指通过LVS主从架构+Keepalived、Haproxy+Nginx集群等方案结合健康检查、故障自动转移确保服务持续稳定运行，最大限度减少停机时间。

二、核心术语解释

2.1 LVS(Linux Virtual Server)

  • 定义：Linux 内核级负载均衡器，提供四层（传输层）流量分发能力，支持多种负载均衡模式（如 NAT、DR、TUN）。
  • 作用：将客户端请求分发到多个 Nginx 服务器，提升系统吞吐量。

2.2 Keepalived

  • 定义：基于 VRRP（Virtual Router Redundancy Protocol） 协议的高可用解决方案，用于管理VIP的故障切换。
  • 作用：监控 LVS 节点状态，主节点故障时自动将 VIP 切换到备用节点，实现无缝切换。

2.3 Nginx

  • 定义：高性能的反向代理服务器，支持 HTTP/HTTPS 负载均衡、缓存加速等。
  • 作用：接收 LVS 分发的请求，进一步代理到后端应用服务器。

2.4 VIP（虚拟IP）

  • 定义：一个浮动 IP 地址，绑定到主备 LVS 节点，对外提供统一的访问入口。
  • 作用：当主节点故障时，VIP 会自动漂移到备用节点，对外保持服务可用性。

2.5 ipvsadm

  • 定义：用于配置 IPVS 规则的工具，可定义负载均衡策略、后端服务器组及调度算法。
  • 作用：ipvsadm 是构建高性能负载均衡集群的核心工具，适合需要横向扩展和高可用的大规模服务场景。

2.6 健康检查

  • 定义：通过定期探测后端服务端口或运行状态，判断节点是否存活。
  • 作用：Keepalived 内置对 LVS 和 Nginx 的健康检查机制，自动剔除故障节点。

三、Nginx高可用部署架构图

在这里插入图片描述
服务器规划

角色内网IP用途
Nginx Real Server1192.168.197.130运行Nginx
Nginx Real Server2192.168.197.131运行Nginx
LVS Director Master192.168.197.128运行Keepalived + LVS
LVS Director BackUP192.168.197.129运行Keepalived + LVS
VIP192.168.197.120客户端访问入口

四、Nginx的安装与配置

在linux环境中安装Nginx主要有以下四种方式

  • yum安装
    优点：从官方或第三方仓库获取预编译的包，自动解决包依赖问题，升级方便yum update。
    缺点：仓库中的版本可能滞后于官网最新版，无法灵活增减模块或修改编译参数，需要配置正确的yum源。

  • rpm安装
    优点：版本可控，可从 Nginx 官网下载特定版本的 rpm 包。
    缺点：依赖管理复杂，存在依赖冲突或缺少某些依赖的情况，升级需重新下载rpm包，无法自动更新，与 yum 安装类似，无法自定义模块和编译选项。

  • 源码安装
    优点：自由选择版本、自定义编译参数和快速集成第三方模块，针对服务器 CPU 架构优化，可第一时间使用官方最新版本或开发分支。
    缺点：需手动解决依赖(如安装 gcc、pcre-devel、zlib-devel)，升级需重新编译，配置文件需手动迁移。

  • docker
    优点：容器化运行，避免与宿主机环境冲突，使用docker命令快速部署。
    缺点：需掌握docker和网络等方面的知识。

安装方式安装复杂度版本控制维护成本离线支持适用场景
yum⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐快速部署标准版 Nginx，对版本无特殊要求
rpm⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐需特定版本但不想从源码编译的场景(漏洞修复)
源码编译⭐⭐⭐⭐⭐⭐⭐⭐⭐需要高性能、定制化配置，或对Nginx有深度优化需求的场景(健康检查)
docker⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐开发测试环境、云原生架构或需要快速复制多套 Nginx 实例的场景

本文采用源码进行安装,安装的服务器为192.168.197.130和192.168.197.131。

4.1 下载Nginx安装包
官网：https://nginx.org/en/download.html
选择linux稳定版本下载 在这里插入图片描述
4.2 上传安装包到服务器
在这里插入图片描述

4.3 安装依赖包

yum install -y gcc pcre-devel zlib-devel openssl-devel

❗使用yum命令安装依赖包时，需配置yum源（如阿里云yum源或者本地yum源）。由于Nginx 的某些核心功能依赖这些库的源代码（头文件和静态库）来实现编译和运行，因此在执行Nginx安装命令之前，需要安装这些依赖库，否则在执行./configure命令时会报以下错误。
在这里插入图片描述在这里插入图片描述
4.4 解压安装包

tar -zvxf nginx-1.26.3.tar.gz

4.5 执行configure命令检查Nginx安装环境和依赖关系并生成Makefile文件

./configure \
--prefix=/usr/local/nginx \
--with-http_ssl_module \
--with-http_v2_module \
--with-http_gzip_static_module

  • prefix：指定Nginx安装目录

  • with-http_ssl_module：提供HTTPS协议支持，需要安装OpenSSL library

  • with-http_v2_module：启用 HTTP/2 协议支持

  • with-http_gzip_static_module：支持发送预压缩的静态文件

    详细参数请参照官网配置文档
    https://nginx.org/en/docs/configure.html

4.6 安装Nginx

make && make install

4.7 关闭防火墙并启动Nginx服务

systemctl stop firewalld && systemctl disable firewalld #关闭防火墙（生产环境建议配置安全组规则）

/usr/local/nginx/sbin/nginx #启动Nginx服务

在这里插入图片描述
在这里插入图片描述

五、VIP与路由配置

5.1 配置本地回环接口定义VIP
同时在Nginx服务器192.168.197.130和192.168.197.131进行如下配置。

cd /etc/sysconfig/network-scripts

vi ifcfg-lo:1

将以下内容复制到ifcfg-lo:1文件中。

DEVICE=lo:1
IPADDR=192.168.197.120
NETMASK=255.255.255.255
NETWORK=127.0.0.0
BROADCAST=127.255.255.255
ONBOOT=yes
NAME=loopback

5.2 重启网络服务

systemctl restart network

5.3 配置arp抑制（DR模式必须配置）
同时在Nginx服务器192.168.197.130和192.168.197.131进行如下配置。

vi /etc/sysctl.conf

将以下内容复制到sysctl.conf文件中

net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_announce = 2

刷新配置文件

sysctl -p

5.4 添加路由
同时在Nginx服务器192.168.197.130和192.168.197.131进行如下配置。

echo "route add -host 192.168.197.120 dev lo:1" >> /etc/rc.local

避免每次系统重新启动，命令失效，
强制发往VIP 192.168.197.120 的流量严格通过 lo:1 接口处理。

六、Keepalived与ipvsadm安装与配置

同时在192.168.197.128和192.168.197.129安装Keepalived和ipvsadm。

6.1 下载Keepalived安装包
官网：https://www.keepalived.org/download.html
在这里插入图片描述

6.2 上传安装包到服务器
在这里插入图片描述

6.3 解压安装包

tar -zvxf keepalived-2.3.3.tar.gz

6.4 执行configure命令检查安装环境和依赖关系并生成Makefile文件

cd keepalived-2.3.3		

./configure --prefix=/usr/local/keepalived --sysconf=/etc

执行configure命令时，可能报以下警告信息。
在这里插入图片描述
安装相关依赖包，重新执行configure命令即可。

yum -y install libnl libnl-devel libnfnetlink-devel

6.5 执行make && make install安装Keepalived

make && make install

在这里插入图片描述在执行install时候会报IPV6_FREEBIND未定义错误，IPV6_FREEBIND 是 Linux 内核中用于 IPv6 套接字的选项（允许绑定未配置的 IP），需内核版本 ≥ 4.2 支持。旧版系统（如 CentOS 7 默认内核 3.10）不包含此宏定义，导致编译失败。
解决方案

  • 升级Linux内核
  • 修改keepalived源码兼容旧版本linux内核
    vi /usr/local/keepalived-2.3.3/keepalived/vrrp/vrrp.c
    将vrrp.c文件2717行替换成如下内容，并重新编译安装
    if (setsockopt(fd, IPPROTO_IP, IP_FREEBIND, &on, sizeof on))

6.6 注册Keepalived为系统服务

cp /usr/local/keepalived/keepalived/etc/init.d/keepalived /etc/init.d/

cp /usr/local/keepalived/keepalived/etc/sysconfig/keepalived /etc/sysconfig/

systemctl daemon-reload #重新加载systemd系统管理器配置

6.7 修改Keepalived配置文件
修改主节点192.168.197.128上的配置文件.

vi /etc/keepalived/keepalived.conf

将以下内容复制内文件中（请根据实际情况调整配置文件参数）。

! Configuration File for keepalived

global_defs {
   router_id LVS_128
   lvs_flush 0
}

vrrp_instance VI_1 {
    state MASTER
    interface ens33
    virtual_router_id 41
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.197.120
    }

    # Allow packets addressed to the VIPs above to be received
    accept
}

# 配置集群访问的地址
virtual_server 192.168.197.120 80 {
    # 健康检查时间，单位秒
    delay_loop 6
    # 配置负载均衡算法，默认轮询
    lb_algo wrr
    # 设置LVS的模式，NAT|TUN|DR
    lb_kind DR
    persistence_granularity src_ip+src_port
    # 设置会话持久化时间
    persistence_timeout 5
    # 协议类型
    protocol TCP

    real_server 192.168.197.130 80 {
        weight 1
        TCP_CHECK {
	  connect_port 80
	  connect_timeout 2
	  nb_get_retry 2
	  delay_before_retry 3
        }
    }
    real_server 192.168.197.131 80 {
        weight 1
	TCP_CHECK {
          connect_port 80
          connect_timeout 2
          nb_get_retry 2
          delay_before_retry 3
        }
    }

}

修改备用节点192.168.197.129上的配置文件。

vi /etc/keepalived/keepalived.conf

将以下内容复制内文件中（请根据实际情况调整配置文件参数）。

! Configuration File for keepalived

global_defs {
   router_id LVS_129
   lvs_flush 0
}

vrrp_instance VI_1 {
    state BACKUP
    interface ens33
    virtual_router_id 41
    priority 50
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.197.120
    }

    # Allow packets addressed to the VIPs above to be received
    accept
}

# 配置集群访问的地址
virtual_server 192.168.197.120 80 {
    # 健康检查时间，单位秒
    delay_loop 6
    # 配置负载均衡算法，默认轮询
    lb_algo wrr
    # 设置LVS的模式，NAT|TUN|DR
    lb_kind DR
    persistence_granularity src_ip+src_port
    # 设置会话持久化时间
    persistence_timeout 5
    # 协议类型
    protocol TCP

    real_server 192.168.197.130 80 {
        weight 1
        TCP_CHECK {
	  connect_port 80
	  connect_timeout 2
	  nb_get_retry 2
	  delay_before_retry 3
        }
    }
    real_server 192.168.197.131 80 {
        weight 1
	TCP_CHECK {
          connect_port 80
          connect_timeout 2
          nb_get_retry 2
          delay_before_retry 3
        }
    }

}

6.8 启动与停止

systemctl start keepalived #启动Keepalived

systemctl stop keepalived #停止Keepalived

systemctl restart keepalived #重启Keepalived

systemctl stop firewalld && systemctl disable firewalld #关闭两台LVS服务器防火墙（生产环境建议配置安全组规则）

6.9 安装ipvsadm

yum -y install ipvsadm

ipvsadm -Ln #以数字格式列出当前IPVS负载均衡规则

在这里插入图片描述

ipvsadm -Lnc #查看通过IPVS负载均衡器转发的活跃连接和状态信息

如果发现客户端访问VIP始终转发到某一台Nginx服务器上，可以通过以下命令配置超时时间，并结合keepalived.conf配置文件中的 persistence_timeout参数来解决。

ipvsadm --set 5 5 5 #设置LVS的连接超时参数，单位秒

ipvsadm -Ln --timeout #查看当前IPVS负载均衡器中TCP/UDP连接的超时时间

七、验证

7.1 验证LVS高可用

启动主备Keepalived和两台Nginx服务，浏览器访问http://192.168.197.120，可以正常访问Nginx欢迎界面
在这里插入图片描述

停止主节点Keepalived，浏览器再次访问http://192.168.197.120，也可以正常访问Nginx欢迎界面 在这里插入图片描述
在备用节可以看到VIP已经绑定到了备用节点192.168.197.129上了在这里插入图片描述
再次启动主节点Keepalived，可以看到VIP又重新绑定到了主节点192.168.197.128上了
在这里插入图片描述
7.2 验证Nginx高可用
停止192.168.197.130Nginx服务，无论怎么刷新地址，浏览器始终访问的都是192.168.197.131上的Nginx服务
在这里插入图片描述
使用ipvsadm -Ln命令，发现192.168.197.130这个服务已经被踢掉了
在这里插入图片描述
当再次启动192.168.197.130Nginx服务，发现服务又上线了
在这里插入图片描述

八、总结

利用LVS进行高性能流量分发，结合Keepalived主备切换机制，确保虚拟IP（VIP）始终可用。LVS 负载均衡器通过修改MAC地址将请求转发至Nginx后端服务器，响应直返客户端，规避性能瓶颈；Keepalived监控节点状态并自动切换VIP，实现故障秒级恢复。该方案兼具高并发处理能力与服务零中断可靠性，适用于Web服务、API网关等需横向扩展和高可用的生产场景。

LVS+Keepalived+Nginx
weixin_46886475的博客
11-26 1980
高负载状态下HA
LVS+keepalived+nginx搭建高可用负载均衡集群(详细配置步骤讲解)
weixin_53572775的博客
08-17 5709
一.准备工作 首先我们要准备四台虚拟机如下表所示: 主机 IP MASTER 192.168.204.130 192.168.204.208(VIP) real_server1 192.168.204.135 real_server2 192.168.204.137 BACKUP 192.168.204.138 1.在主机和备机上都要安装LVS和keepalived: 安装LVS:yum install ipvsad...
部署 LVS（nginx）+keepalived高可用负载均衡集群
十七拾的博客
03-08 4627
本文详细介绍keepalived软件的用法，以及如何部署LVS+keepalived高可用集群、nginx+keepalived高可用集群、还有高可用集群的脑裂问题等等，希望对你有帮助！
Keepalived+LVS+nginx高可用架构
最新发布
2201_75423772的博客
04-01 1095
注明：所有软件已经下载好，防火墙和SELinux已经全部关闭。
Keepalived+LVS+nginx搭建nginx高可用集群
d234343zxdvgbh的博客
05-14 1792
nginx接收到的请求可以通过负载均衡策略分发到其下一级的应用服务器，这些服务器 一般是以集群方式部署的，因而在性能不足的情况下，应用服务器可以通过加机器的方式扩 展流量。此时，对于一些特大型的网站，性能的瓶颈就来自于nginx了，因为单机的nginx的 并发能力是有上限的，而nginx本身是不支持集群模式的，因而此时对nginx的横向扩展就显 得尤为重要。lvs是一款用于四层负载均衡的工具。
LVS+Keepalived（主备）+Nginx实现高可用负载均衡
a rookie的博客
01-22 3160
LVS+Keepalived+Nginx实现高可用负载均衡
Lvs+keepalived+nginx搭建高可用负载均衡集群
m0_68858390的博客
03-19 1155
master主机192.168.199.149，虚拟IP192.168.199.148back备机192.168.199.150真实服务器1 192.168.199.155真实服务器2 192.168.199.156关闭防火墙和selinux。
基于nginx+keepalived+lvs的web项目
pending6的博客
09-28 494
模拟企业环境，基于nginx和keepalived+lvs构造了一个高可用的负载均衡的web集群。
keepalived+LVS负载均衡方案详解(Detailed Explanation of Keepalived+LVS Load Balancing solution)
Linux运维老纪的博客
01-10 641
Keepalived和LVS通常一起使用，构成一个高可用的负载均衡系统。Keepalived负责监控LVS调度器的状态，并在故障时进行自动切换。LVS则负责将网络请求分发到多个后端服务器。这种组合适用于需要高可用性和高性能的场景，如互联网服务、网络游戏、数据中心等b本章详细介绍keepalived+LVS负载均衡方案。
keepalived+LVS+nginx搭建高可用负载均衡(一)
爱做梦的锤子
07-05 7216
介绍keepalived和LVS的基本概念和基本操作，会进行演示帮助你快速搭建一个高可用和负载均衡集群
Nginx+Keepalived+LVS高可用集群----相关知识回顾
企业实战系列集 ●●● https://ximenjianxue.blog.csdn.net
09-06 5144
1、原理回顾 1.1、集群知识回顾 集群特点： 1）高性能performance。 一些需要很强的运算处理能力比如天气预报，核试验等。这需要上千台计算器协同来完成这个工作的，共同分担计算任务。 2）价格相对便宜且可集中管理： 通常一套系统集群架构，只需要几台或数十台服务器主机即可，且这些计算机的性能实际使用中也不必太高，甚至可利旧老式的服务器，与动则上百王的专用超级计算机具有更高的性价比。 3）弹...
Net分布式系统之三：Keepalived+LVS+Nginx负载均衡之高可用
iop090q的博客
04-20 3986
一、Keepalived介绍  　　Keepalived是分布式部署系统解决系统高可用的软件，结合LVS（Linux Virtual Server）使用，其功能类似于heartbeat，解决单机宕机的问题。     　　二、Keepalived技术原理  　　keepalived是以VRRP协议为实现基础的，VRRP全称Virtual Router Redunda
LVS+Keepalived+Nginx高可用负载均衡
友人A的博客
06-08 4864
介绍： 1、lvs简介 LVS主要用来做四层负载均衡。 2、keepalived简介 Keepalived是分布式部署系统解决系统高可用的软件，结合LVS（Linux Virtual Server）使用，其功能类似于heartbeat，解决单机宕机的问题。 Keepalived是以VRRP协议为实现基础的，VRRP全称Virtual Router Redundancy Protocol，即虚拟路由冗余协议。通过VRRP协议结合LVS，对组群服务器监控情况，若master出现宕机情况，则将...
Nginx+Lvs+keepAlived实现高可用
萤火光的博客
02-13 1774
Nginx+Lvs+keepAlived实现高可用
LVS+Keepalived+Nginx具体配置步骤
HD243608836的博客
01-10 1011
在同一局域网内，当 Client 与 Server 通信，如果 Client 不知道 Server 的 MAC 地址，Client 就会发送 ARP 广播请求，Server 响应 ARP 广播请求，发送自己的 MAC 地址给 Client。在RS服务器中，执行上述命令配置“静态路由”后，即“目的IP为150”的Response都必须通过lo:1虚拟网卡发送，而lo:1配置的IP（即VIP）也为150，这样就。禁用两台RS的网卡的arp功能，即达到了针对该VIP 的 ARP 广播请求就不会响应。
LVS+Keepalived NGINX+Keepalived 高可用群集实战部署
Vince15dvd的博客
06-12 1755
Keepalived及其工作原理Keepalived 是一个基于VRRP协议来实现的LVS服务高可用方案，可以解决静态路由出现的单点故障问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值