第二章 部署LVS-DR

已于 2024-08-15 15:06:03 修改
阅读量767 收藏 27
点赞数 21
文章标签： lvs 运维
于 2024-08-08 23:36:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_83883919/article/details/139592252
版权

DR模式的调度器和节点服务器都有VIP地址，但节点服务器的VIP在回环网卡，回环网卡的地址只能本机看到，外部主机看不到，所以不会冲突。

一、DR模式的简单过程

DR模式的具体过程：首先客户端.135向目标vip发出请求，调度器接收请求，报文送达到调度器的内核空间，调度器会根据请求的数据包判断是否需要负载均衡转发，根据调度算法选择转发数据帧给节点服务器，转发时会数据帧的mac地址重新封装，源mac地址变为调度器mac地址，目的mac地址变为节点服务器的mac地址。节点服务器收到数据帧，解封装后发现目标IP与本机匹配，然后才会处理报文。随后重新防撞报文，将响应报文通过lo接口传送出物理网卡然后向外发出，节点服务器在直接转发给客户端，不经过调度器。

二、数据包流向分析

（1）客户端发送请求到 Director Server（负载均衡器），请求的数据报文（源 IP 是 CIP,目标 IP 是 VIP）到达内核空间。
（2）Director Server 和 Real Server 在同一个网络中，数据通过二层数据链路层来传输。
（3）内核空间判断数据包的目标IP是本机VIP，此时IPVS（IP虚拟服务器）比对数据包请求的服务是否是集群服务，是集群服务就重新封装数据包。修改源 MAC 地址为 Director Server 的 MAC地址，修改目标 MAC 地址为 Real Server 的 MAC 地址，源 IP 地址与目标 IP 地址没有改变，然后将数据包发送给 Real Server。
（4）到达 Real Server 的请求报文的 MAC 地址是自身的 MAC 地址，就接收此报文。数据包重新封装报文(源 IP 地址为 VIP，目标 IP 为 CIP)，将响应报文通过 lo 接口传送给物理网卡然后向外发出。
（5）Real Server 直接将响应报文传送到客户端。

三、DR 模式的特点

（1）Director Server 和 Real Server 必须在同一个物理网络中。
（2）Real Server 可以使用私有地址，也可以使用公网地址。如果使用公网地址，可以通过互联网对 RIP 进行直接访问。
（3）Director Server作为群集的访问入口，但不作为网关使用。
（4）所有的请求报文经由 Director Server，但回复响应报文不能经过 Director Server。
（5）Real Server 的网关不允许指向 Director Server IP，即Real Server发送的数据包不允许经过 Director Server。
（6）Real Server 上的 lo 接口配置 VIP 的 IP 地址。

四、DR模式中的ARP问题

服务器ARP通信的紊乱的问题

        在LVS-DR负载均衡集群中，负载均衡器与节点服务器都要配置相同的VIP地址。在局域网中具有相同的IP地址，势必会造成各服务器ARP通信的紊乱。（每次进行一次ARP请求广播，如果调度器第一个响应，就会在ARP缓存表中记录下vip地址和调度器的mac地址。然后ARP会更新，这个广播其他节点服务器也会响应，那么网关路由器就会对ARP缓存表进行覆盖，则会错误的记录VIP对应的mac地址关系。而后客户端发来请求时，网关路由器转发请求时就会直接转发给节点服务器了，那就发错了。）

        我们想实现的是：当ARP广播发送到LVS-DR集群时，因为负载均衡器和节点服务器都是连接到相同的网络上，它们都会接收到ARP广播。只有前端的负载均衡器进行响应，其他节点服务器不应该响应ARP广播。

解决方法：

五、LVS-DR模式部署

调度器192.168.170.200
节点服务器1192.168.170.101
节点服务器2192.168.170.30
nfs服务器192.168.170.150
VIP：192.168.170.50
1、所有主机初始化操作
2、部署NFS共享存储 192.168.170.150
#安装nfs和rpcbind
[root@pyx ~]# yum install -y nfs
nfsometer.noarch  nfstest.noarch    
[root@pyx ~]# yum install -y nfs-utils rpcbind
已加载插件：fastestmirror, langpacks
Loading mirror speeds from cached hostfile
软件包 1:nfs-utils-1.3.0-0.68.el7.x86_64 已安装并且是最新版本
软件包 rpcbind-0.2.0-49.el7.x86_64 已安装并且是最新版本
无须任何处理

#创建共享目录和测试文件
[root@pyx ~]# mkdir /share/{xy101,xy102} -p
[root@pyx ~]# ls /share/
xy101  xy102
[root@pyx ~]# cd /share/
[root@pyx share]# echo '<h1>this is xy101 test web page<\h1>' >xy101/test.html
[root@pyx share]# echo '<h1>this is xy102 test web page<\h1>' >xy102/test.html
[root@pyx share]# vim /etc/exports
                /share/xy101 192.168.170.0/24(ro)
                /share/xy102 192.168.170.0/24(ro)
[root@pyx share]# systemctl enable --now rpcbind nfs
[root@pyx share]# showmount -e
Export list for pyx.localdomain:
/share/xy102 192.168.170.0/24
/share/xy101 192.168.170.0/24

3、部署Web服务器 192.168.170.101 和192.168.170.30

注意：配置lo:0虚接口承载VIP；修改内核参数 arp_ignore=1、arp_announce=2防止网关ARP紊乱问题；添加路由 route add -host <VIP> dev lo:0

#节点服务器1，ip地址为192.168.170.101
[root@localhost ~]# systemctl start rpcbind
[root@localhost ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33 
[root@localhost ~]# showmount -e 192.168.170.150
Export list for 192.168.170.150:
/share/xy102 192.168.170.0/24
/share/xy101 192.168.170.0/24
[root@localhost ~]# cd /etc/yum.repos.d/
[root@localhost yum.repos.d]# rz -e
[root@localhost yum.repos.d]# ls
local.repo  repo.bak    nginx.repo
[root@localhost yum.repos.d]# yum install -y nginx
[root@localhost yum.repos.d]# systemctl start nginx
[root@localhost yum.repos.d]# mount 192.168.170.150:/share/xy101 /usr/share/nginx/html/
[root@localhost yum.repos.d]# ls !$
ls /usr/share/nginx/html/
[root@localhost yum.repos.d]# ls /usr/share/nginx/html/
test.html

//配置虚拟网卡和vip
[root@localhost local]# cd /etc/sysconfig/network-scripts/
[root@localhost network-scripts]# cp ifcfg-lo ifcfg-lo:0
[root@localhost network-scripts]# vim ifcfg-lo:0
                DEVICE=lo:0
                IPADDR=192.168.170.50
                NETMASK=255.255.255.255
                ONBOOT=yes
[root@localhost network-scripts]# systemctl restart network
[root@localhost network-scripts]# ifconfig 
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.170.101  netmask 255.255.255.0  broadcast 192.168.170.255
        inet6 fe80::350e:a1d9:ebac:b0c8  prefixlen 64  scopeid 0x20<link>
        ether 00:0c:29:88:0d:40  txqueuelen 1000  (Ethernet)
        RX packets 4175  bytes 2892573 (2.7 MiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 2396  bytes 336307 (328.4 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 127.0.0.1  netmask 255.0.0.0
        inet6 ::1  prefixlen 128  scopeid 0x10<host>
        loop  txqueuelen 1000  (Local Loopback)
        RX packets 140  bytes 11852 (11.5 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 140  bytes 11852 (11.5 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
lo:0: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 192.168.170.50  netmask 255.255.255.255
        loop  txqueuelen 1000  (Local Loopback)
virbr0: flags=4099<UP,BROADCAST,MULTICAST>  mtu 1500
        inet 192.168.122.1  netmask 255.255.255.0  broadcast 192.168.122.255
        ether 52:54:00:6b:12:f5  txqueuelen 1000  (Ethernet)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

#验证需要关闭nginx长连接功能，不然要每次等65秒
[root@localhost network-scripts]# vim /etc/nginx/nginx.conf
                                  keepalive_timeout  0;
[root@localhost network-scripts]# systemctl restart nginx
[root@localhost network-scripts]# systemctl enable nginx
Created symlink from /etc/systemd/system/multi-user.target.wants/nginx.service to /usr/lib/systemd/system/nginx.service.

#添加内核参数，解决ARP紊乱的问题
[root@localhost network-scripts]# vim /etc/sysctl.conf 
[root@localhost network-scripts]# sysctl -p
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_announce = 2

#添加路由规则，把VIP地址指向lo网卡，物理网卡收到数据包后把请求送到lo网卡上
[root@localhost network-scripts]# route add -host 192.168.170.50 lo:0
[root@localhost network-scripts]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.170.2   0.0.0.0         UG    100    0        0 ens33
192.168.122.0   0.0.0.0         255.255.255.0   U     0      0        0 virbr0
192.168.170.0   0.0.0.0         255.255.255.0   U     100    0        0 ens33
192.168.170.50  0.0.0.0         255.255.255.255 UH    0      0        0 lo

#配置开启自动添加路由的配置（实验可不加）
vim /etc/rc.local
/sbin/route add -host 192.168.170.50 dev lo:0
--------------------------------------------------------------------------------------
#节点服务器2，ip地址为192.168.170.30，操作同上

 

启动nginx后挂载，nginx设置开机自启

4、 部署调度器192.168.170.200

注意：配置ensXX:0虚接口承载VIP；修改内核参数ip_forward=0、send_redirects=0关闭IP转发和重定向功能；安装ipvsadm工具，添加虚拟服务器和真实服务器的配置，使用-g选项选择LVS-DR模式

[root@centOS2 ~]# yum install -y ipvsadm
[root@localhost yum.repos.d]# touch /etc/sysconfig/ipvsadm
[root@localhost yum.repos.d]# modprobe ip_vs
[root@localhost yum.repos.d]# lsmod 
Module                  Size  Used by     #查看ip_vs是否开启
ip_vs                 145458  0 
nf_conntrack          139264  1 ip_vs
tcp_lp                 12663  0 
nls_utf8               12557  1 

[root@centOS2 ~]# ifconfig 
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.170.200  netmask 255.255.255.0  broadcast 192.168.170.255
        inet6 fe80::eeee:e675:4604:c084  prefixlen 64  scopeid 0x20<link>
        ether 00:0c:29:37:7e:11  txqueuelen 1000  (Ethernet)
        RX packets 1208  bytes 116488 (113.7 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 276  bytes 41159 (40.1 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 127.0.0.1  netmask 255.0.0.0
        inet6 ::1  prefixlen 128  scopeid 0x10<host>
        loop  txqueuelen 1000  (Local Loopback)
        RX packets 300  bytes 25728 (25.1 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 300  bytes 25728 (25.1 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

virbr0: flags=4099<UP,BROADCAST,MULTICAST>  mtu 1500
        inet 192.168.122.1  netmask 255.255.255.0  broadcast 192.168.122.255
        ether 52:54:00:3d:de:67  txqueuelen 1000  (Ethernet)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

[root@centOS2 ~]# cd /etc/sysconfig/network-scripts/
[root@centOS2 network-scripts]# ls
ifcfg-ens33  ifdown-ib    ifdown-ppp       ifdown-tunnel  ifup-ib    ifup-plusb   ifup-Team         network-functions
ifcfg-lo     ifdown-ippp  ifdown-routes    ifup           ifup-ippp  ifup-post    ifup-TeamPort     network-functions-ipv6
ifdown       ifdown-ipv6  ifdown-sit       ifup-aliases   ifup-ipv6  ifup-ppp     ifup-tunnel
ifdown-bnep  ifdown-isdn  ifdown-Team      ifup-bnep      ifup-isdn  ifup-routes  ifup-wireless
ifdown-eth   ifdown-post  ifdown-TeamPort  ifup-eth       ifup-plip  ifup-sit     init.ipv6-global
[root@centOS2 network-scripts]# cp ifcfg-lo ifcfg-ens33:0
[root@centOS2 network-scripts]# vim ifcfg-ens33:0
DEVICE=ens33:0
IPADDR=192.168.170.50
NETMASK=255.255.255.255
ONBOOT=yes
[root@centOS2 network-scripts]# systemctl restart network
[root@centOS2 network-scripts]# ifconfig 
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.170.200  netmask 255.255.255.0  broadcast 192.168.170.255
        inet6 fe80::eeee:e675:4604:c084  prefixlen 64  scopeid 0x20<link>
        ether 00:0c:29:37:7e:11  txqueuelen 1000  (Ethernet)
        RX packets 1621  bytes 148350 (144.8 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 557  bytes 75753 (73.9 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

ens33:0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.170.50  netmask 255.255.255.255  broadcast 192.168.170.50
        ether 00:0c:29:37:7e:11  txqueuelen 1000  (Ethernet)

#修改内核参数
[root@centOS2 network-scripts]# vim /etc/sysctl.conf 
[root@centOS2 network-scripts]# sysctl -p
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0

#创建规则
[root@centOS2 network-scripts]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
[root@centOS2 network-scripts]# ipvsadm -C
[root@centOS2 network-scripts]# ipvsadm -A -t 192.168.170.50:80 -s rr
[root@centOS2 network-scripts]# ipvsadm -a -t 192.168.170.50:80 -r 192.168.170.101:80 -g
[root@centOS2 network-scripts]# ipvsadm -a -t 192.168.170.50:80 -r 192.168.170.30:80 -g
[root@centOS2 network-scripts]# ipvsadm
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  centOS2:http rr
  -> 192.168.170.30:http          Route   1      0          0         
  -> 192.168.170.101:http         Route   1      0          0 
[root@centOS2 network-scripts]# ipvsadm-save -n > /opt/ipvsadm.bak
[root@centOS2 network-scripts]# cat !$
cat /opt/ipvsadm.bak
-A -t 192.168.170.50:80 -s rr
-a -t 192.168.170.50:80 -r 192.168.170.30:80 -g -w 1
-a -t 192.168.170.50:80 -r 192.168.170.101:80 -g -w 1

 

修改内核参数

 

验证时关闭2台节点服务器的nginx长连接

5、在本地浏览器测试

注意：如何客户端跨网段，则调度器和节点服务器的默认网关要指向网关路由器的地址

爱喝鱼片汤
关注
LVS-DR配置
一只修炼成精的猴子的博客
03-06 620
1、上一次成功配置了NAT模式，ipvsadm与httpd安装配置不再重新写。 2、在LVS虚拟机上对之前的LVS-NAT模式的ipvsadm任务进行删除 ipvsadm -C 然后查看是否删除 ipvsadm -L -n 3、首先分配好IP地址 （1）实验用的是虚拟机，因此director双网卡都用桥接模式（之前配NAT模式内网用的仅主机，但是DR模式要求director与RS在一个物理...
LVS+DR概述与部署
H_YANG__的博客
09-21 864
节点服务器返回报文（源IP 是VIP）经路由转发，重新封装报文时，需要先获取路由器的MAC地址，发送ARP请求时，Linux默认使用IP 包的源 IP地址(即VIP)作为ARP 请求包中的源IP地址，而不使用发送的接口的 IP地址，路由器收到ARP请求后，将更新ARP表项，原有的VIP对应负载均衡器的MAC 地址会被更新为 VIP对应节点服务器的MAC地址。2.负载均衡器根据负载均衡算法选择后端真实服务器，不修改也不封装IP报文，而是将数据帧的MAC 地址改为后端服务器的MAC 地址，然后在局域网上发送。
LVS负载均衡之--DR模式
weixin_67474417的博客
06-10 2520
前言：上一章和拐友们讲解了LVS虚拟服务器的NAT模式，这章讲解LVS中的负载均衡中的DR模式目录一.LVS-DR工作原理1.1数据包流向分析1.2DR模式的特点二.ARP的问题2.1问题冲突2.1.1解决方法2.2.问题二：第二次再有访问请求 2.2.1解决方法三.部署LVS-DR环境3.1配置负载调度器 3.2配置第一台Web节点服务器3.3配置第二台Web节点服务器（跟上一台服务器配置一致） 四.测试验证五.总结 1.介绍了lvs-dr的工作原理、数据流向，并对其中出现的问题进行阐述。2.介
第一章 LVS负载均衡群集
最新发布
Shandy_stark223的博客
08-04 805
在互联网应用中，随着站点对硬件的性能、响应速度、服务稳定性、数据可靠性等要求越来越高，单台服务器越来越力不从心。
LVS DR配置
cqzdp的专栏
03-31 250
因公司做小型IPTV系统，需要负载均衡。所以在网上查资料，自己试验一下。 1. 概图 首先使得网络正常，各个主机之间能正常通信。 查看版本都可以用lsb_release -a LVS服务器 centos8 R1 109 ubuntu18.4 R2 92 ubuntu16.4 VIP：192.168.1.8 arp_ignor...
LVS-DR模式部署
weixin_42508243的博客
08-27 315
LVS-DR模式部署
云环境中的keepalived LVS-DR集群实践
keepalived和LVS-DR简介 ## 1.1 keepalived和LVS-DR的概念和原理 在云计算环境中，高可用性和负载均衡是至关重要的技术，而keepalived和LVS-DR就是两种常见的解决方案之一。keepalived是一个基于VRRP协议的高可用...
第三十二章：Lvs负载均衡群集1
08-08
【第三十二章：Lvs负载均衡群集1】 在IT领域，LVS（Linux Virtual Server）是一种高效且稳定的负载均衡解决方案，由中国章文嵩博士在1998年开发。LVS默认集成在Linux内核中，以ip_vs内核模块的形式存在。它通过将...
LVS+Keepalived高可用集群部署搭建----原理加实操！
aaa1414124211的博客
11-02 391
本章目录一、为什么要用Keepalived?二、Keepalived工具介绍三、Keepalived实现原理剖析四、实例：负载均衡+高可用群集4.1：keepalived+LVS案列4.1.1：流程解析4.2：LVS-DR调度服务部署二级目录三级目录 一、为什么要用Keepalived? 因为企业应用中，单台LVS服务器（单挂）承担应用存在单点故障的危险；单点故障一旦发生，企业服务将发生中断，造成极大的危害。 二、Keepalived工具介绍 专为LVS和HA设计的一款健康检查工具 支持故障自动切换 支持节
六章——LVS负载均衡群集（应用——linux防护与群集）
MKC__jiaoq的博客
09-04 1079
三期总目录链接
Nginx与Keepalived与Lvs
qq_42282792的博客
07-27 331
一、Nginx与Keepalived 1.Keepalived安装部署 （1）下载Keepalived https://www.keepalived.org/download.html （2）2. 通过ftp工具上传到linux中的/home/software目录下 （3）解压 tar -zxvf keepalived-2.0.18.tar.gz （4）解压后进入到解压出来的目录，看到会有 configure ，那么就可以做配置了（配置安装和nginx一模一样） （5）安装配置 ./configure
配置LVS-DR
m0_64632306的博客
06-08 648
配置LVS-DR
lvs配置-DR
Mzh_CSDN的博客
07-28 176
lvs配置-DR 要求：nat模型实现http和https两种负载均衡集群 实验环境 主机名 主机 IP地址 centos7 client 客户端 192.168.88.131 centos7 lvs lvs服务器 DIP:192.168.88.128VIP:192.168.88.250/32 centos7 rs1 RS1 VIP：192.168.88.250/32RIP:192.168.88.129 centos7 rs2 RS2 VIP：192.168.88.250/32R
LVS_DR模式配置
weixin_50216110的博客
02-28 198
LVS_DR模式工作原理： 通过直接路由技术实现虚拟服务器 基础环境准备： proxy eth0：192.168.4.5 web1 eth0：192.168.4.100 web2 eth0：192.168.4.200 client eth0：192.168.4.10 VIP 192.168.4.15 所有主机配置时间同步、禁用防火墙、禁用selinux yum -y install ntpdate ntpdate cn.pool.ntp.org hwclock
LVS-DR配置篇
ass_assinator的博客
09-21 414
LVS-DR配置篇 此处主要介绍VS/DR模式，包括与keepalived和heartbeat的结合都是VS/DR模式的。 VS/DR模式 环境是redhat企业6.5版本的Linux系统，server1作为负载调度器VS，server3和server4作为后端服务器，开启httpd服务。 负载调度器VS的配置： 安装LVS的软件ipvsadm； [root@server1 ~]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值