目录
问题原因2：返回报文时源地址使用VIP，导致网关设备的ARP缓存表紊乱
5.3.3 在web中调整内核的ARP响应参数以阻止更新vip的MAC地址，避免冲突
5.3.4 web1 web2 下载httpd服务并设置网页
一、LVS-DR工作原理
LVS-DR（Linux Virtual Server Director Server）工作模式，是生产环境中最常用的一种工作模式
- LVS-DR模式，Director Server 作为群集的访问入口，不作为网关使用。
- 节点Director Server 与Real Server 需要在同一个网络中，返回给客户端的数据不需要经过Director Server。
- 为了对整个群集的访问，Dreector Server和Real Server都需要配置VIP地址
客户机发起请求，经过调度服务器（lvs），经过算法调度，去访问真实服务器（RS）
由于不原路返回，客户机不知道，真实主机的ip地址，所以只能通过调度服务器的外网ip（vip）去反回报文信息。
Director Server 作为集群的访问入口，但不作为网关使用，后端服务器池中的Real Server与Director Server在同一个物理网络中，发给客户机的数据包不需要经过Director Server。为了响应对整个集群的访问，DS(前端负载均衡节点服务器)与RS(后端真实服务器)都需要配置有VIP地址。
每个Real Server上都有两个IP：VIP(负载均衡对外提供访问的IP地址)和RIP(负载均衡后端的真实服务器IP地址)，但是VIP是隐藏的，就是不难提供解析等功能，只是用来做请求回复的源IP的，Director上只需要一个网卡，然后利用别名来配置两个IP：VIP和DIP(负载均衡与后端服务器通信的IP地址)，在DIR接收到客户端的请求后。DIR根据负载均衡算法选择一台rs server的网卡mac作为客户端请求包中的目标mac，通过arp转交给后端rs server处理，后端在通过自己的网关回复给客户端。
二、LVS-DR数据流向
数据包流向分析：
- 用户发送请求到Director Server,请求的数据报文（源IP是CIP,目标IP是VIP）到达内核空间。
- 由于DS和RS在同一个网络中，所以是通过二层数据链路层来传输。
- 内核空间判断数据包的目标IP是本机IP，此时IPVS比对数据包请求的服务是否为集群服务，若是，重新封装数据包，修改源MAC地址为DIP的MAC地址，目标MAC地址为RIP的MAC地址，源IP地址与目标IP地址没有改变，然后将数据包发送给Real Server.
- RS发现请求报文的MAC地址是自己的MAC地址，就接收此报文，重新封装报文(源IP地址为VIP，目标IP为CIP),将响应报文通过lo接口传送给ens33网卡然后向外发出。
- RS直接将响应报文传送到客户端。
三、DR模式的特点
（1）Director Server（调度器） 和 Real Server（节点服务器） 必须在同一个物理网络中。
（2）Real Server可以使用私有地址，也可以使用公网地址。如果使用公网地址，可以通过互联网对RIP进行直接访问。
（3）Director Server作为群集的访问入口，但不作为网关使用。
（4）所有的请求报文经由Director Server, 但回复响应报文不能经过Director Server。
（5） Real Server 的网关不允许指向Director Server IP， 即Real Server发送的数据包不允许经过Director Server。（RS的网关地址只能指定真实的路由器网关）
（6） Real Server 上的 lo 接口配置VIP的IP地址。
优缺点
优点：
负载均衡器只负责将请求包分发给物理服务器，而物理服务器将应答包直接分发给用户。所以，负责均衡器能处理很巨大的请求量，这种方式，一台负载均衡能为超过100台物理服务器服务，负载均衡器不再是系统的瓶颈。使用VS-DR方式，如果你的负载均衡器拥有100M的全双工网卡的话，就能使得整个Virtual Server能达到1G的吞吐量。甚至更高；
缺点：
这种方式需要所有的DIR和RIP都在同一广播域；不支持异地容灾。
四、LVS-DR中的ARP问题
问题原因1：VIP地址相同导致响应冲突
在LVS-DR负载均衡集群中，负载均衡器与节点服务器都要配置相同的VIP地址，在局域网中具有相同的IP地 址，势必会造成各服务器ARP通信的紊乱。
- 当ARP广播发送到LVS-DR集群时，因为负载均衡器和节点服务器都是连接到相同的网络上，它们都会收到ARP广播。
- 只有前端的负载均衡器进行响应，其他节点服务器不应该响应ARP广播。
解决方法：
对节点服务器进行处理，使其不响应针对VIP的ARP请求
- 使用虚接口lo:0承载VIP地址
- 设置内核参数 arp_ ignore=1：系统只响应目的IP为本地IP（物理网卡的地址，而不是lo网卡的虚接口地址）的ARP请求。
问题原因2：返回报文时源地址使用VIP，导致网关设备的ARP缓存表紊乱
- RealServer返回报文（源IP是VIP）经路由器转发，重新封装报文时，需要先获取路由器的MAC地址。
- 发送ARP请求时，Linux默认使用IP包的源IP地址（即VIP）作为ARP请求包中的源IP地址，而不使用发送接口的IP地址。
- 路由器收到ARP请求后，将更新ARP表项。原有的VIP对应Director的MAC地址，会被更新为VIP对应的Real Server的MAC地址。导致网关设备的ARP缓存表紊乱。
- 路由器根据ARP表项，会将新来的请求报文转发给Real Server，导致Director的VIP失效。
解决方法：
对节点服务器进行处理，设置内核参数arp_announce=2：系统不使用IP数据包的源地址来设置ARP请求的源地址，而选择发送接口（物理网卡）的IP地址。
五、部署LVS-DR集群
5.1 实验准备
需要4台系统，一台centos做调度服务器（LVS），2台做web服务器，1台Windows服务器
负载调度器： ens33：192.168.114.200 ，虚拟子接口 ens33:0：192.168.114.120
Web1服务器： ens33：192.168.114.100 ，lo:0(vip)：192.168.114.120
web2服务器： ens33：192.168.114.250 ， lo:0(vip)：192.168.114.120
客户端wendows： 192.168.100.100
5.2 配置LVS 调度服务器
关闭防火墙及核心防护
[root@zzh5 ~]# systemctl stop firewalld.service
[root@zzh5 ~]# setenforce 0
5.2.1 安装ipvsadm工具，并开启
yum -y install ipvsadm keepalived 下载ipvsadm管理工具 keepalived（热备组的作用）
modprobe ip_vs 加载ip_vs模块
cat /proc/net/ip_vs 查看ip_vs模块
ipvsadm-save > /etc/sysconfig/ipvsadm 保存策略
systemctl start ipvsadm 启动ipvsadm工具
5.2.2 配置虚拟子网接口
5.2.3 调整LVS中proc响应参数
由于LVS负载均衡器和各个节点需要共用vip地址，应该关闭Linux内核的重定向响应参数，不充当路由器，这样当DS收到客户端发来的数据包时，就不会立马转发给后台RS服务器，而是转发给自己的虚拟子接口。
5.2.4 配置负载分配策略
ipvsadm -C 清除规则
ipvsadm -A -t 192.168.114.120:80 -s rr 创建虚拟主机，指定ip地址，并指定分流模式为轮询
ipvsadm -a -t 192.168.114.120:80 -r 192.168.114.100:80 -g
添加真实服务器ip地址，并指定负载均衡模式为DR，ip隧道模式为-i，-m为nat集群模式
ipvsadm -a -t 192.168.114.120:80 -r 192.168.114.250:80 -g
添加真实服务器ip地址，并指定负载均衡模式为DR，ip隧道模式为-i, -g为DR模式
ipvsadm 启动策略
ipvsadm -ln 查看当前节点状态信息
ipvsadm -Lnc 监控连接数
5.3 配置web服务器网卡 （web1和web2）
5.3.1 配置环回ip地址（web1，web2）
此地址仅用作发送web响应数据包的原地址，并不需要监听客户机的访问请求（改由调度器监听并分发），因此使用虚拟接口lo:0 来承载VIP，并为本机添加一条路由记录，并将访问的VIP的数据限制在本地，以免通信紊乱。
5.3.2 在web服务器中添加vip本地访问路由
route add -host 192.168.114.120 dev lo:0
或者下面方式，都可实现路由禁锢，下面的为永久添加
vim /etc/rc.local linux在开启启动时，会加载的内容
/sbin/route add -host 192.168.114.120 dev lo:0
route -n 查看路由表web1
web2
5.3.3 在web中调整内核的ARP响应参数以阻止更新vip的MAC地址，避免冲突
vim /etc/sysctl.conf
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1 系统只响应目的ip为本地的arp请求
net.ipv4.conf.all.arp_announce = 2 系统不使用ip包的源地址来设置arp请求的原地址，而选择发送接口的ip地址。
sysctl -p 加载生效web1
web2
5.3.4 web1 web2 下载httpd服务并设置网页
systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0
yum install httpd -y
systemctl start httpd.service
systemctl enable httpd.service修改网页内容 web2
修改网页内容 web1
5.4 windows电脑测试
轮巡跳转较慢，需要等待片刻
913
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
