小阿轩yx-部署LVS-DR群集

小阿轩yx-部署LVS-DR群集

LVS-DR 集群

LVS-DR （Linux Virtual Server Director Server)工作模式

• 生产环境中最常用的种工作模式

LVS-DR 工作原理

LVS-DR 模式

• Director Server 作为群集的访问入口，不作为网关使用
• 节点 DirectorServer 与 Real Server 需要在同一个网络中，返回给客户端的数据不需要经过 DirectorServer
• 为了响应对整个群集的访问,Director Server 与 Real Server 都需要配置 VIP 地址

数据包流向分析

数据包流向分析步骤

• 客户端发送请求到 Director Server,请求的数据报文(源 |P 是 CIP,目标 IP 是 VIP)到达内核空间。
• Director Server 和 Real Server 在同一个网络中,数据通过二层数据链路层来传输。
• 内核空间判断数据包的目标 IP 是本机 VIP，此时 IPVS 比对数据包请求的服务是否是集群服务，是集群服务就重新封装数据包。修改源 MAC 地址为 Director Server 的 MAC地址，修改目标 MAC 地址为 Rea Server 的 MAC 地址，源IP 地址与目标 IP 地址没有改变，然后将数据包发送给 Real Server。
• 到达 Real Server 的请求报文的 MAC 地址是自身的 MAC 地址，就接收此报文。数据包重新封装报文(源 IP 地址为 VIP，目标 IP 为 CIP)，将响应报文通过 lo0 接口传送给物理网卡然后向外发出
• Real Server 直接将响应报文传送到客户端。

LVS-DR 模式的特点

• Director Server 和 Real Server 必须在同一个物理网络中。
• Real Server 可以使用私有地址，也可以使用公网地址。如果使用公网地址，可以通过互联网对 RIP 进行直接访问。
• 所有的请求报文经由 Director Server，但回复响应报文不能经过 Director Server。
• Real Server 的网关不允许指向 Director Server lP，即不允许数据包经过 Director Server。
• Real Server 上的 lo 接口配置 VIP 的 IP 地址。

案例：直接路由模式（LVS-DR）

实验环境

• DR 模式的群集中，LVS 负载调度器作为群集的访问入口，但不作为网关使用；服务器池中的所有节点都各自接入 Internet，发送给客户机的 Web 响应数据包不需要经过LVS 负载调度器
• 这种方式入站、出站访问数据被分别处理，因此LVS负载调度器和所有的节点服务器都需要配置 VIP 地址，以便响应对整个群集的访问。考虑到数据存储的安全性，共享存储设备会放在内部的专用网络中。

配置负载调度器具体步骤

配置负载调度器

• 采用虚接口的方式(ens33∶0)，为网卡 ens33 绑定 VIP 地址，以便响应群集访问。
• 配置结果为 ens33 172.16.16.173/24、ens33:0 172.16.16.172/24。

[root@localhost ~]# cd /etc/sysconfig/network-scripts/
[root@localhost network-scripts]# cp ifcfg-ens33 ifcfg-ens33:0
[root@localhost network-scripts]# vim ifcfg-ens33:0
TYPE=Ethernet
BOOTPROTO=static
NAME=ens33:0
DEVICE=ens33:0
ONBOOT=yes
IPADDR=192.168.10.172
NETMASK=255.255.255.0

重启网络服务

[root@localhost network-scripts]# systemctl restart network

调整内核参数，禁止转发重定向报文

[root@localhost ~]# vim /etc/sysctl.conf
##在末尾添加：
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0

加载入系统生效 

[root@localhost ~]# sysctl -p

配置负载分配策略

[root@localhost ~]#yum -y install ipvsadm
//查看版本
[root@localhost ~]# ipvsadm -v
[root@localhost ~]# setenforce 0
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# ipvsadm -C
[root@localhost ~]# ipvsadm -A -t 192.168.10.172:80 -s rr
[root@localhost ~]# ipvsadm -a -t 192.168.10.172:80 -r 192.168.10.102 -g -w 1
[root@localhost ~]# ipvsadm -a -t 192.168.10.172:80 -r 192.168.10.103 -g -w 1
[root@localhost ~]# ipvsadm-save
-A -t localhost.localdomain:http -s rr
-a -t localhost.localdomain:http -r 192.168.10.102:http -g -w 1
-a -t localhost.localdomain:http -r 192.168.10.103:http -g -w 1
[root@localhost ~]# systemctl enable ipvsadm

配置 web 节点服务器

配置虚拟 ip 地址 VIP

[root@localhost ~]# setenforce 0
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# cd /etc/sysconfig/network-scripts/
[root@localhost network-scripts]# cp ifcfg-lo ifcfg-lo:0

[root@localhost network-scripts]# vim ifcfg-lo:0
//修改
DEVICE=lo:0
//子网掩码必须为255.255.255.255
NETMASK=255.255.255.255
IPADDR=192.168.10.172
ONBOOT=yes

重启网络服务

[root@localhost network-scripts]# systemctl restart network
[root@localhost network-scripts]# ifconfig
[root@localhost network-scripts]# cd

[root@localhost ~]# vim /etc/rc.local
//添加
/sbin/route add -host 192.168.10.172 dev lo:0

[root@localhost ~]# route add -host 192.168.10.172 dev lo:0

调整内核参数

[root@localhost ~]# vim /etc/sysctl.conf
//添加
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2

arp_ignore =1    

当收到arp请求时，只有ARP请求数据包所请求的IP地址属于当前网卡的IP地址，才会回应ARP响应数据包。

arp_announce = 2

当发送arp请求时，忽略IP数据包的源IP地址，总是选择网卡所配置的首选IP地址作为ARP请求数据包的发送方IP地址

目的：因为lo：0的ip地址和调度器的ens33：0的ip地址是一样的，为了不造成ip冲突，要禁止更新VIP的mac地址。

加载入系统生效  

[root@localhost ~]# sysctl -p

安装 httpd 创建测试网页

[root@localhost ~]# yum -y install httpd
[root@localhost ~]# yum install nfs-utils

挂载

[root@localhost ~]# mount 192.168.10.105:/opt/wwwroot /var/www/html

添加测试页面内容

[root@localhost ~]#vim /var/www/html/index.html
test web01

启动 httpd 服务

[root@localhost ~]# systemctl start httpd

在客户机上测试网站

[root@localhost ~]# curl 192.168.10.172

配置第二台 web 节点

配置方法与第一台完全相同

配置虚拟 ip 地址 VIP

[root@localhost ~]# setenforce 0
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# cd /etc/sysconfig/network-scripts/
[root@localhost network-scripts]# cp ifcfg-lo ifcfg-lo:0

[root@localhost network-scripts]# vim ifcfg-lo:0
//修改
DEVICE=lo:0
//子网掩码必须为
255.255.255.255
NETMASK=255.255.255.255
IPADDR=192.168.10.172
ONBOOT=yes

重启网络服务

[root@localhost network-scripts]# systemctl restart network
[root@localhost network-scripts]# ifconfig
[root@localhost network-scripts]# cd

[root@localhost ~]# vim /etc/rc.local
//添加
/sbin/route add -host 192.168.10.172 dev lo:0

[root@localhost ~]# route add -host 192.168.10.172 dev lo:0

调整内核参数

[root@localhost ~]# vim /etc/sysctl.conf
//添加
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2

加载入系统生效 

[root@localhost ~]# sysctl -p

安装 httpd 创建测试网页

[root@localhost ~]# yum -y install httpd
[root@localhost ~]# yum install nfs-utils

挂载

[root@localhost ~]# mount 192.168.10.105:/opt/wwwroot /var/www/html

添加测试页面内容

[root@localhost ~]#vim /var/www/html/index.html
test web02

因为两个测试页面，这里修改为web02 

启动 httpd 服务

[root@localhost ~]# systemctl start httpd

在客户机上测试网站

[root@localhost ~]# curl 192.168.10.172

测试时频繁刷新网页

也可以用脚本测试

[root@localhost ~]# for i in $(seq 10);do curl http://192.168.10.172;done

在 LVS 调度器上查看 LVS 策略

[root@localhost ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.10.172:80 rr
  -> 192.168.10.102:80             Route   1      0          0         
  -> 192.168.10.103:80             Route   1      0          0

小阿轩yx-部署LVS-DR群集