LVS负载均衡DR模式群集部署

已于 2022-06-09 16:13:46 修改
阅读量157 收藏
点赞数
分类专栏： 命令行 Linux centos 文章标签： 负载均衡 网络 运维
于 2022-06-08 20:56:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45547688/article/details/125190529
版权
Linux 同时被 3 个专栏收录
52 篇文章 4 订阅
订阅专栏
命令行
47 篇文章 0 订阅
订阅专栏
centos
21 篇文章 0 订阅
订阅专栏

文章目录

一、LVS-DR工作原理

1、数据包流向分析

在这里插入图片描述

第一步：客户端发送请求到 Director Server (负载均衡器），请求的数据报文到达内核空间

数据报文

  • 源 IP ------客户端的 IP
  • 目标 IP ------ VIP
  • 源 MAC ------客户端的 MAC
  • 目的 MAC ------ Director Server 的 MAC
    第二步：内核空间判断数据包的目标 IP 是本机 VIP ，此时 IPVS（IP 虚拟服务器）比对数据包请求的服务是否是集群服务，是集群服务就重新封装数据包。然后将数据包发送给根据负载均衡算法选择的 Real Server。（Director Server 和 Real Server 在同一个网络中，数据通过二层数据链路层来传输。）
  • 数据报文
  • 源 IP ------ 客户端的 IP
  • 目标 IP ------ VIP
  • 源 MAC ------ Director Server 的 MAC
  • 目的 MAC ------ Real Server 的 MAC

第三步：到达 Real Server 的请求报文的 MAC 地址是自身的 MAC 地址，就接收此报文。数据包重新封装报文，将响应报文通过 lo 接口传送给物理网卡然后向外发出。

  • 数据报文
  • 源 IP ------ VIP
  • 目标 IP ------ 客户端的 IP
  • 源 MAC ------ Real Server 的 MAC
  • 目的 MAC ------ 客户端的 MAC

第四步：通过交换机和路由器将响应报文传送到客户端。客户端收到回复报文，得到想要的服务，但是不会知道是哪台服务器处理的
数据流向

在这里插入图片描述

  1. 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。
    此时报文的源IP为CIP，目标IP为VIP
  2. PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链
  3. IPVS比对数据包请求的服务是否为集群服务，若是，将请求报文中的源MAC地址修改为DIP的MAC地址，将目标MAC地址修改RIP的MAC地址，然后将数据包发至POSTROUTING链。
    此时的源IP和目的IP均未修改，仅修改了源MAC地址为DIP的MAC地址，目标MAC地址为RIP的MAC地址
  4. 由于DS（调度服务器）和RS（节点真实服务器）在同一个网络中，所以是通过二层来传输。POSTROUTING链检查目标MAC地址为RIP的MAC地址，那么此时数据包将会发至Real
    Server。
  5. RS发现请求报文的MAC地址是自己的MAC地址，就接收此报文。处理完成之后，将响应报文通过lo接口传送给eth0网卡然后向外发出。
    此时的源IP地址为VIP，目标IP为CIP
  6. 响应报文最终送达至客户端
    在这里插入图片描述

以客户端与服务端在同一网段为例

CIP：192.168.94.157
VIP：192.168.94.188
DIR: 192.168.94.19
RS ：192.168.94.151（nfs）、192.168.94.152和192.168.94.153（提供http服务）

整个请求过程示意：

这里假设CIP的mac地址为：00-50-56-C0-00-08 ，DIR的ens33的mac地址为：00-50-56-C0-00-01, RIP1的mac地址为: D0-50-99-18-18-15。CIP在请求之前会发一个arp广播包，即请求“谁是VIP”,由于所有的DIR和RIP都在一个物理网络中，而DIR和RIP都有VIP地址，为了让请求发送到DIR上，所以必须让RIP不能响应CIP发出的arp请求（这也是为什么RIP上要把VIP配置在lo口以及要仰制arp查询和响应）这时客户端就会将请求包发送给DIR，接下来就是DIR的事情了：

① client向目标vip发出请求，DIR接收。此时IP包头及数据帧头信息如下：

源mac目标mac源IP目标IP
00-50-56-C0-00-0800-50-56-C0-00-01192.168.94.157192.168.94.188

​② DIR根据负载均衡算法选择一台active的RS（RIP1），将此RIP1所在网卡的mac地址作为目标mac地址，发送到局域网里。此时IP包头及数据帧头信息如下：

源mac目标mac源IP目标IP
00-50-56-C0-00-01D0-50-99-18-18-15192.168.94.157192.168.94.188

③RIP1(192.168.94.152)在局域网中收到这个帧，拆开后发现目标IP(VIP)与本地匹配，于是处理这个报文。随后重新封装报文，发送到局域网。此时IP包头及数据帧头信息如下：

源mac目标mac源IP目标IP
D0-50-99-18-18-1500-50-56-C0-00-08192.168.94.188192.168.94.157

如果client与RS同一网段，那么client(192.168.94.157)将收到这个回复报文。如果跨了网段，那么报文通过gateway/路由器经由Internet返回给用户。在实际情况下，可能只有一个公网，其他都是内网，这时VIP绑定地址应该是公网那个ip，或者利用路由器静态

2、DR模式的特点

Director Server 和 Real Server 必须在同一个物理网络中
Real Server 可以使用私有地址，也可以使用公网地址。如果使用公网地址，可以通过互联网对 RIP 进行直接访问
Director Server 作为群集的访问入口，但不作为网关使用
所有的请求报文经由 Director Server，但回复响应报文不能经过 Director Server。
Real Server的网关不允许指向Director Server IP，即 Real Server 发送的数据包不允许经过 Director Serve
Real Server 上的 lo 接口配置 VIP 的 IP 地址

二、LVS-DR中的ARP问题

问题一

（1）在LVS-DR负载均衡集群中，负载均衡与节点服务器都要配置相同的VIP地址。

（2） 在局域网中具有相同的IP地址，势必会造成各服务器ARP通信的紊乱
解决思路：
1：当ARP广播发送到LVS-DR集群时，因为负载均衡器和节点服务 器都是连接到相同网络上，它们都会接收到ARP广播
2：只有前端的负载均衡器进行响应，其他节点服务器不应该响应ARP广播
（3） 对节点服务器进行处理，使其不响应针对VIP的ARP请求。

  • 解决方法
    （1） 使用虚接口lo:0承载VIP地址
    （2） 设置内核参数arp_ignore=1:系统只响应目的IP为本地IP的ARP请求

问题二：

  • RealServer返回报文（源IP是VIP）经路由器转发，重新封装报文时，需要先获取路由器的MAC地址。
  • 发送ARP请求时，Linux默认使用IP包的源IP地址（即VIP）作为ARP请求包中的源IP地址，而不使用发送接口的IP地址
  • 如：ens33

路由器收到ARP请求后，将更新ARP表项

原有的VIP对应Director的MAC地址会被更新为VIP对应RealServer的MAC地址

路由器根据ARP表项，会将新来的请求报文转发给RealServer，导致Director的VIP失效

  • 解决方法：
  • 对节点服务器进行处理，设置内核参数arp_announce=2：系统不使用IP包的源地址来设置ARP请求的源地址，而选择发送接口的IP地址。

解决ARP的两个问题的设置方法

  • 修改 /etc/sysctl.conf 文件

三、LVS负载均衡DR模式群集部署

ipvsadm工具
在这里插入图片描述
在这里插入图片描述
LVS的负载调度算法
轮询(Round Robin)
● 将收到的访问请求按照顺序轮流分配给群集中的各节点(真实服务器) ,均等地对待每一台服务器 ，而不管服务器实际的连接数和系统负载

加权轮询 (Weighted Round Robin)
● 根据调度器设置的权重值来分发请求，权重值高的节点优先获得任务，分配的请求数越多
● 保证性能强的服务器承担更多的访问流量

最少连接 (Least Connections )
● 根据真实服务器已建立的连接数进行分配，将收到的访问请求优先分配给连接数最少的节点

加权最少连接(Weighted L east Connections )
● 在服务器节点的性能差异较大时，可以为真实服务器自动调整权重
● 性能较高的节点将承担更大比例的活动连接负载

1、准备

主机IP地址所需服务
DR 服务器（负载调度器）ens33:192.168.94.19ens33:0(VIP):192.168.94.188
Web节点服务器1ens33:192.168.94.152 lo:0(VIP):192.168.94.188nfs-utils、rpcbind、httpd
Web节点服务器2ens33:192.168.94.153 lo:0(VIP):192.168.94.188nfs-utils、rpcbind、httpd
NFS服务器192.168.94.151rpcbind、nfs-utils
客户端195.168.94.157

注意：此次搭建在同一局域网内，设置网络时不用网关和DNS，注释即可。如果不在同一网段，需要配置网关。

2、部署共享存储

NFS服务器：192.168.80.10

systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0

在这里插入图片描述

yum -y install nfs-utils rpcbind

在这里插入图片描述

systemctl start rpcbind.service
systemctl start nfs.service
systemctl enable nfs.service
systemctl enable rpcbind.service

在这里插入图片描述

mkdir /opt/test1
mkdir /opt/test2

chmod 777 /opt/pxl
chmod 777 /opt/jingjing

在这里插入图片描述

vim /etc/exports
/opt/test1 192.168.94.0/24(rw,sync)
/opt/test2 192.168.94.0/24(rw,sync)

exportfs -rv

在这里插入图片描述
在这里插入图片描述

3、配置节点服务器

Web节点服务器1：ens33：192.168.94.152 lo:0 (VIP)：192.168.94.188
Web节点服务器2：ens33：192.168.94.153 lo:0 (VIP)：192.168.94.188
接下来是两台服务器相同的配置

（1）配置虚拟 IP 地址（VIP：192.168.94.188）

#此地址仅用做发送 Web 响应数据包的源地址，并不需要监听客户机的访问请求（改由调度器监听并分发）。
#因此使用虚接口 lo:0 来承载 VIP 地址，并为本机添加一条路有记录，将访问 VIP 的数据限制在本地，以避免通信紊乱。


vim /etc/sysconfig/network-scripts/ifcfg-lo:0
DEVICE=lo:0
IPADDR=192.168.94.188
NETMASK=255.255.255.255
ONBOOT=yes



ifup lo:0
ifconfig lo:0



#设置临时的路由，重启失效；禁锢路由
route add -host 192.168.94.152 dev lo:0
#查看路由
route -n

#开机自动添加路由，生产环境应该用这个


vim /etc/rc.local
/sbin/route add -host 192.168.94.152 dev lo:0
chmod +x /etc/rc.d/rc.local

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

（2）调整内核的ARP 响应参数以阻止更新 VIP 的MAC 地址，避免发生冲突

vim /etc/sysctl.conf
......
net.ipv4.conf.lo.arp_ignore = 1 #系统只响应目的IP为本地IP的ARP请求
net.ipv4.conf.lo.arp_announce = 2 #系统不使用IP包的源地址来设置ARP请求的源地址，而选择发送接口的IP地址
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2

sysctl -p


yum install -y nfs-utils rpcbind httpd
systemctl start rpcbind
systemctl enable rpcbind
systemctl start httpd.service
systemctl enable httpd.service



下面两个服务器设置有点不一样了
Web节点服务器1：ens33：192.168.94.151 lo:0 (VIP)：192.168.80.188

showmount -e 192.168.94.152

mount.nfs 192.168.94.152:/opt/test1 /var/www/html
echo 'this is test1 web!' > /var/www/html/index.html


Web节点服务器2：ens33：192.168.94.152 lo:0 (VIP)：192.168.94.188
showmount -e 192.168.94.152

mount.nfs 192.168.80.8:/opt/test2 /var/www/html
echo 'this is test2 web!' > /var/www/html/index.html

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4、配置负载调度器

负载调度器：192.168.94.19 lo:0 (VIP)：192.168.94.188

（1）关防火墙，加载ip_vs模块

systemctl stop firewalld.service 
systemctl disable firewalld.service 
setenforce 0

#加载ip_vs模块，并安装ipvsadm工具
modprobe ip_vs
cat /proc/net/ip_vs
yum install -y ipvsadm

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

（2）配置虚拟 IP 地址（VIP：192.168.94.188）

vim /etc/sysconfig/network-scripts/ifcfg-ens33:0
DEVICE=ens33:0
ONBOOT=yes
IPADDR=192.168.94.188
NETMASK=255.255.255.255

ifup ens33:0
ifconfig ens33:0

在这里插入图片描述
在这里插入图片描述

（3）调整 proc 响应参数

#由于 LVS 负载调度器和各节点需要共用 VIP 地址，应该关闭Linux 内核的重定向参数响应，不充当路由器，


vim /etc/sysctl.conf
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0

sysctl -p

在这里插入图片描述
在这里插入图片描述

（4）配置负载分配策略

ipvsadm-save > /etc/sysconfig/ipvsadm
或者
ipvsadm --save > /etc/sysconfig/ipvsadm

systemctl start ipvsadm.service

#清除原有策略
ipvsadm -C
ipvsadm -A -t 192.168.94.188:80 -s rr
ipvsadm -a -t 192.168.94.80:188 -r 192.168.94.152:80 -g #如果这里是隧道模式，直接将-g替换成-i即可
ipvsadm -a -t 192.168.94.188:80 -r 192.168.94.153:80 -g

#查看节点状态，Route代表 DR模式
ipvsadm -ln

在这里插入图片描述

5、测试验证

在这里插入图片描述

在这里插入图片描述

搞什么滚去学习
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Linux&&LVS负载均衡群集
01-09
Linux&&LVS负载均衡群集概念群集的类型负载均衡的分层结构负载均衡的工作模式环境部署（NAT模式）负载调度器部署启动ip_vs模块LVS的负载调度算法使用ipvsadm管理工具NFS共享存储服务使用NFS发布共享资源在客户机中...
第三讲LVS负载均衡DR模式安装调试介绍.pptx
08-23
第三讲LVS负载均衡DR模式安装调试介绍.pptx
基于 CentOS 7 构建 LVS-DR 群集
JohnnyG2000的博客
07-07 710
首先，来自客户端计算机CIP的请求被发送到Director的VIP。然后Director使用相同的VIP目的IP地址将请求发送到集群节点或真实服务器。然后，集群某个节点将回复该数据包，并将该数据包直接发送到客户端计算机（不经过director），并且以此回复数据包使用的目的VIP 地址作为源IP地址。因此，实际上是客户计算机被“欺骗”了，客户计算机始终认为它正与同一台计算机对话，而实际上它正在发送请求数据包给一台计算机（LB），并从另一台计算机（RS）接收回复的数据包。.........
负载均衡群集之LVS-DR的部署应用
m0_67062351的博客
06-13 85
负载均衡
LVS负载均衡群集部署（DR模式）
2301_76858832的博客
06-08 414
【代码】LVS负载均衡群集部署（DR模式）
LVS负载均衡群集部署——DR直接路由模式
xylwxx的博客
12-17 90
对于 DR 群集模式来说，由于 LVS 负载调度器和各节点需要共用 VIP 地址，应该关闭 Linux 内核的重定向参数响应服务器不是一台路由器，那么它不会发送重定向，所以可以关闭该功能。4）节点服务器在返回响应报文前，会先重新封装报文(源IP为VIP，目的为客户端IP)，再将响应报文先通过 lo 接口传送给物理网卡，再通过物理网卡发送给客户端。2) 调度器通过调度算法选择最适合的节点服务器，并重新封装数据报文(将源MAC改为调度器的MAC，目的MAC改为节点服务器的MAC地址)
LVS负载均衡群集部署——DR模式
A1100886的博客
06-08 728
2）Director 根据负载均衡算法选择 RealServer_1，不修改也不封装IP报文，而是将数据帧的MAC地址改为RealServer_1的MAC地址，然后在局域网上发送。此时源MAC地址为Director的MAC地址，目的MAC地址为RealServer_1的MAC地址，源 IP是客户端的 IP，目标 IP是VIP。此时源MAC 地址为Client MAC地址，目标MAC地址为 调度器Director 的MAC地址，源 IP为客户端的 IP，目标 IP为VIP。
DR模式 LVS负载均衡群集部署
JIUYINGQAQ的博客
06-11 524
未完待续
LVS负载均衡集群和NAT模式部署
2301_76352247的博客
12-16 990
1.负载均衡群集 (Load Balance Cluster)提高应用系统的响应能力、尽可能处理更多的访问请求减少延迟为目标，获得高并发、高负载(LB)的整体性能LB的负载分配依赖于主节点的分流算法，将来自客户机的访问请求分担给多个服务器节点，从而缓解整个系统的负载压力。例如，“DNS轮询”“反向代理”等。3）部署调度器，配置双网卡，开启IP路由转发功能，如果内网中的节点服务器需要访问外网则要配置SNAT规则，安装ipvsadm工具，添加虚拟服务器和真实服务器的相关配置，使用-m选项选择NAT模式。
LVS负载均衡群集之NAT与DR模式
MCB134的博客
03-06 1063
LVS：Linux Virtual Server，负载调度器，内核集成，章文嵩（花名正明）, 阿里的四层SLB(Server Load Balance)是基于LVS+keepalived实现LVS 官网：http://www.linuxvirtualserver.org/阿里SLB和LVS：整个SLB系统由3部分构成: 四层负载均衡，七层负载均衡 和 控制系统，如下图所示;①四层负载均衡，采用开源软件LVS (linux virtual server) ，并根据云计算需求对其进行了定制化。
LVS负载均衡—DR模式
qq_62462797的博客
10-14 1368
（1）Director Server（调度器） 和 Real Server（节点服务器） 必须在同一个物理网络中。 （2）Real Server可以使用私有地址，也可以使用公网地址。如果使用公网地址，可以通过互联网对RIP进行直接访问。 （3）Director Server作为群集的访问入口，但不作为网关使用。 （4）所有的请求报文经由Director Server, 但回复响应报文不能经过Director Server。 （5） Real Server 的网关不允许指向Director Serve
LVS负载均衡DR模式安装调试介绍.pptx
10-20
**LVS负载均衡DR模式详解** LVS（Linux Virtual Server）是基于Linux内核的高性能负载均衡解决方案，它能够将网络请求分发到多个后端服务器，以实现高可用性和可扩展性。DR（Direct Routing）模式是LVS中的一种工作...
Centos LVS部署DR、NAT模式 负载均衡
01-09
文章目录简介LVS集群的组成LVS术语LVS工作模式调度算法部署LVS部署LVS-NAT集群部署LVS-DR集群动态检测脚本 简介 LVS是Linux Virtual Server的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统。本项目在1998...
分布式系统_负载均衡
qq_57689612的博客
06-24 1150
介绍分布式系统中的负载均衡，谈及负载均衡的原理、使用、特性、算法等
Keepalived高可用集群 LVS+Keepalived Haproxy负载均衡集群
Salted fish in hand, I have the world.
06-25 1124
Keepalived概述keepalived是linux下一个轻量级的高可用解决方案主要通过虚拟路由冗余协议VRRP来实现高可用功能起初就是为了补充LVS功能而设计的，用于监控LVS集群内后端真实服务器状态后来加入了VRRP功能 他出现的目的是为了解决静态路由出现的单点故障问题功能LVS规则管理LVS集群真实服务器状态监测...
Nginx反向代理和负载均衡
2203_75962235的博客
06-30 788
Nginx 除了可以在企业提供高性能的web服务之外，另外还可以将 nginx 本身不具备的请求通过某种预定义的协议转发至其它服务器处理，不同的协议就是Nginx服务器与其他服务器进行通信的一种规范，主要在不同的场景使用以下模块实现不同的功能。反向代理：reverse proxy，指的是代理外网用户的请求到内部的指定的服务器，并将数据返回给用户的一种方式，这是用的比较多的一种方式。ngx_http_proxy_module： #将客户端的请求以http协议转发至指定服务器进行处理 7层代理。
haproxy实现代理和负载均衡
2301_78327423的博客
06-29 570
ExecStart=/usr/sbin/haproxy -Ws -f /etc/haproxy/haproxy.cfg -p /var/lib/haproxy/haproxy.pid #-p指定pid文件。ExecStartPre=/usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -c -q #-c检查语法。chroot /apps/haproxy #禁锢，haproxy进程，只可以访问，/apps/haroxy文件夹。
负载均衡类型和算法解析
最新发布
2401_83062316的博客
07-02 837
负载均衡算法可以分成两大类，即静态负载均衡算法和动态负载均衡算法，它们之间的区别在于是否依赖于当前服务的运行时状态，这些状态信息通常包括服务过去一段时间的平均调用时延和所承接的连接数等。显然，在这种负载均衡架构下，在客户端与服务实例之间存在一个独立的负载均衡服务器，然后这台负载均衡服务器负责将接收到的各个请求转发到运行中的某个服务实例上。相比较而言，客户端负载均衡机制的主要优势就是不会出现集中式负载均衡所产生的瓶颈问题，因为每个客户端都有自己的负载均衡器，单个负载均衡器的失效也不会造成严重的后果。
Piranha安装快速搭建LVS负载均衡集群.pptx
10-20
Piranha安装快速搭建LVS负载均衡集群

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

搞什么滚去学习

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值