LVS-DR的部署

LVS-DR工作原理

LVS-DR数据包流向分析

为方便进行原理分析，将Client与群集机器放在同一网络中，数据包流经的路线为1-2-3-4

LVS-DR数据包流向分析

1. Client向目标VIP发出请求，Director(负载均衡器)接收
   IP包头及数据帧头信息

LVS-DR数据包流向分析

2. Director根据负载均衡算法选择RealServer_ 1,不修改也不封装IP报文，而是将数据帧的MAC地址改为RealServer_ 1的MAC地址，然后在局域网上发送
   IP包头及数据帧头信息

LVS-DR数据包流向分析

3. RealServer_ 1收到这个帧，解封装后发现目标IP与本
   机匹配(RealServer事先绑定 了VIP)，于是处理这
   个报文。随后重新封装报文，发送到局域网
   IP包头及数据帧头信息
   

LVS-DR数据包流向分析
4.Client将收到回复报文。Client认为得到正常的服务，而不会知道是哪一台服务器处理的
注意：如果跨网段，则报文通过路由器由lnternet返回给用户

LVS-DR中的ARP问题

在LVS-DR负载均衡集群中，负载均衡器与节点服务器都要配置相同的VIP地址
客户机通信时携带指定的IP地址
问题一：
在局域网中具有相同的IP地址，势必会造成各服务器ARP通信的紊乱
●当ARP广播发送到LVS-DR集群时，因为负载均衡器和节点服务器都是连接到相同的网络上，它们都会接收到ARP广播
●只有前端的负载均衡器进行响应，其他节点服务器不应该响应ARP广播
解决方法：
对节点服务器进行处理，使其不响
应针对VIP的ARP请求
●使用虚接口lo:0承载VIP地址
●设置内核参数arp_ ignore=1: 系统
只响应目的IP为本地IP的ARP请求
问题二：
路由器根据ARP表项，会将新来的请求报文转发给RealServer，导致Director的VIP失效（直接跳过调度器与服务器连接）
原因：
RealServer返回报文(源IP是VIP)经路由器转发，重新封装报文时，需要先获取路由器的MAC地址
发送ARP请求时，Linux默认使用IP包的源IP地址(即VIP)作为ARP请求包中的源IP地址，而不使用发送接口的IP地址；
路由器收到ARP请求后，将更新ARP表项；
原有的VIP对应Director的MAC地址会被更新为VIP对应的RealServer的MAC地址；
解决方法：
对节点服务器进行处理，设置内核参数arp_announce=2:系统不使用IP包的源地址来设置ARP请求的源地址，而选择发送接口的IP地址（即响应回包时不使用虚拟地址，而选用真实ip地址）

当arp_announce参数配置为2时，eth2网卡发起arp请求时，源IP地址会选择eth2网卡自身的IP地址

修改/etc/sysctl.conf文件

net.ipv4.conf.lo.arp_ignore = 1  只有发给lo网卡环回口ip请求才响应
net.ipv4.conf.lo.arp_announce = 2 回包时使用lo网卡本身真实ip地址
net.ipv4.conf.all.arp_ignore = 1  所有网卡设置为arp_ignore=1
net.ipv4.conf.all.arp_announce = 2  所有网卡设置为arp_announce=2

LVS-DR部署过程

（LVS-DR）直接路由模式

部署流程

nfs存储服务器

查看软件是否安装
[root@nfs ~]# rpm -qa | grep nfs
[root@nfs ~]# rpm -qa | grep rpcbind
配置共享目录，并创建两个网页作为web1，web2的页面

[root@nfs ~]# mkdir /web1
[root@nfs ~]# mkdir /web2
[root@nfs ~]# echo "<h1>this is web1</h1>" > /web1/index.html
[root@nfs ~]# echo "<h1>this is web2</h1>" > /web2/index.html

查看目录位置
[root@nfs ~]# echo /web1/index.html
[root@nfs ~]# echo /web2/index.html

编辑配置文件
[root@nfs ~]# vi /etc/exports
/web1 192.168.1.12/32 (ro)
/web2 192.168.1.13/32 (ro)

服务启动
[root@nfs ~]# systemctl start nfs 允许nginx客户机访问共享，网络文件xt
[root@nfs ~]# systemctl start rpcbind 跨平台，端口管理服务
[root@nfs ~]# showmount -e 查看共享情况

web1上

[root@web1 ~]# yum -y install httpd
[root@web1 ~]# mount 192.168.1.14:/web1 /var/www/html
[root@web1 ~]# df -Th
[root@web1 ~]# systemctl start httpd  使两个节点网页启动
[root@web1 ~]# curl http://localhost    测试自己的网页

编辑脚本，配置虚拟接口
[root@web1 ~]# vi web1.sh
[root@web1 ~]# chmod +x web1.sh 
[root@web1 ~]# ./web1.sh 
[root@web1 ~]# ifconfig  查看虚拟接口
[root@web1 ~]# route -n  查看增加的路由

生成虚拟接口，地址与ens33在同一网段
#!/bin/bash
# lvs web1        
ifconfig lo:0 192.168.1.200 broadcast 192.168.1.200 netmask 255.255.255.255 up （立刻启用）
route add -host 192.168.1.200 dev lo:0    针对lo:0x虚拟接口生成一个路由
echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p &> /dev/null   配置生效并在屏幕中不显示输出

web2上

[root@web1 ~]# yum -y install httpd
[root@web1 ~]# mount 192.168.1.14:/web1 /var/www/html
[root@web1 ~]# df -Th
[root@web1 ~]# systemctl start httpd  使两个节点网页启动
[root@web1 ~]# curl http://localhost    测试自己的网页

编辑脚本，配置虚拟接口
[root@web2 ~]# vi web2.sh
[root@web2 ~]# chmod +x web1.sh 
[root@web2 ~]# ./web2.sh 
[root@web2 ~]# ifconfig  查看虚拟接口
[root@web2 ~]# route -n  查看增加的路由

生成虚拟接口，地址与ens33在同一网段
#!/bin/bash
# lvs web1        
ifconfig lo:0 192.168.1.200 broadcast 192.168.1.200 netmask 255.255.255.255 up （立刻启用）
route add -host 192.168.1.200 dev lo:0    针对lo:0x虚拟接口生成一个路由
echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p &> /dev/null   配置生效并在屏幕中不显示输出

lvs调度器上

确认内核对LVS的支持
[root@lvs ~]# modprobe ip_vs    手动加载，对ip_vs的探测加载
[root@lvs ~]# cat /proc/net/ip_vs  查看基本信息（版本信息，虚拟地址）
[root@lvs ~]# yum -y install ipvsadm   安装软件

[root@lvs ~]# vi lvs.sh
[root@lvs ~]# sh lvs.sh 运行脚本

#!/bin/bash
# lvs
ifconfig ens33:0 192.168.1.200 broadcast 192.168.1.200 netmask 255.255.255.255 up
添加虚拟地址的虚接口
route add -host 192.168.1.200 dev ens33:0    添加路由
ipvsadm -C   清除内核虚拟服务器表中的所有记录
ipvsadm -A -t 192.168.1.200:80 -s rr   创建虚拟服务器
ipvsadm -a -t 192.168.1.200:80 -r 192.168.1.11:80 -g  （-g：DR模式）地址捆绑虚拟地址
ipvsadm -a -t 192.168.1.200:80 -r 192.168.1.12:80 -g
ipvsadm -Ln   查看节点状态，加个“-n”将以数字形式显示地址，端口信息

在浏览器
http://192.168.1.200


在lvs调度器上
查看调度情况，真实的地址调度情况

[root@lvs ~]# ipvsadm -Lnc