LVS工作模式详解及防火墙标签解决轮询错误

最新推荐文章于 2024-08-12 19:58:02 发布

沐竹

最新推荐文章于 2024-08-12 19:58:02 发布

阅读量474

点赞数 15

文章标签： lvs

本文链接：https://blog.csdn.net/P1282791580/article/details/141110403

版权

一.集群和分布式

集群：同一个业务系统，部署在多台服务器上，集群中，每一台服务器实现的功能没有差别，数据

和代码都是一样的

分布式：一个业务被拆成多个子业务，或者本身就是不同的业务，部署在多台服务器上。分布式

中，每一台服务器实现的功能是有差别的，数据和代码也是不一样的，分布式每台服务器功能加起

来，才是完整的业务

分布式是以缩短单个任务的执行时间来提升效率的，而集群则是通过提高单位时间内执行的任务数

来提升效率 ,

对于大型网站，访问用户很多，实现一个群集，在前面部署一个负载均衡服务器，后面几台服务器

完成同一业务。如果有用户进行相应业务访问时，负载均衡器根据后端哪台服务器的负载情况，决

定由给哪一台去完成响应，并且台服务器垮了，其它的服务器可以顶上来。分布式的每一个节点，

都完成不同的业务，如果一个节点垮了，那这个业务可能就会失败。

二、LVS的运行原理
1、LVS简介
LVS:Linux Virtual Server ，负载调度器，内核集成，章文嵩，阿里的四层 SLB(Server LoadBalance) 是基于LVS+keepalived 实现
LVS 官网 : http://www.linuxvirtualserver.org/
2、LVS 相关术语
VS ： Virtual Server
RS ： Real Server
CIP ： Client IP
VIP: Virtual serve IP VS 外网的 IP
DIP: Director IP VS 内网的 IPL
RIP: Real server IP
3、LVS的集群类型
lvs-nat ：修改请求报文的目标IP, 多目标 IP 的 DNAT
lvs-dr ：操纵封装新的 MAC 地址
lvs-tun ：在原请求IP 报文之外新加一个 IP 首部
lvs-fullnat ：修改请求报文的源和目标 IP

三.实验

Ivs-nat:

本质是多目标 IP 的 DNAT ，通过将请求报文中的目标地址和目标端口修改为某挑出的 RS 的 RIP 和

PORT 实现转发

RIP 和 DIP 应在同一个 IP 网络，且应使用私网地址 ;RS 的网关要指向 DIP

请求报文和响应报文都必须经由 Director 转发， Director 易于成为系统瓶颈

支持端口映射，可修改请求报文的目标 PORT

VS 必须是 Linux 系统， RS 可以是任意 OS 系统

配置：

内核路由功能配置：

下载软件：dnf install ipvsadm -y

ipvsadm -A -t 172.25.254.100:80 -s rr
ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.10:80 -m
ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.20:80 -m

测试：

DR模式：

client环境：

router主机环境：

lvs主机环境：

webserver1主机环境：

webserver2主机环境：

router 配置：
sysctl -a | grep ip_forwrd ------ 查看内核路由是否启用
echo "net.ipv4.ip_forward=1" > /etc/sysctl.conf/ --- 启用内核路由，并写入配置文件

lvs配置：
[root@lvs ~]# ip a a dev lo 192.168.0.200/32

配置策略：
[root@lvs ~]# ipvsadm -A -t 192.168.0.200:80 -s wrr
[root@lvs ~]# ipvsadm -a -t 192.168.0.200:80 -r 192.168.0.10:80 -g -w 1
[root@lvs ~]# ipvsadm -a -t 192.168.0.200:80 -r 192.168.0.20:80 -g -w 2
[root@lvs ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.0.200:80 wrr
-> 192.168.0.10:80 Route 1 0 0
-> 192.168.0.20:80 Route 2 0 0

RS1和RS2配置：
在RS1和RS2中解决响应问题并设定VIP
[root@webserver1 ~]# ip a a dev lo 192.168.0.200/32
[root@webserver1 ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@webserver1 ~]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
[root@webserver1 ~]# echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
[root@webserver1 ~]# echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore

[root@webserver2 ~]# ip a a dev lo 192.168.0.200/32
[root@webserver2 ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@webserver2 ~]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
[root@webserver2 ~]# echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
[root@webserver2 ~]# echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore

client 测试效果：
[root@client ~]# for i in {1..10}
> do
> curl 192.168.0.200
> done
webserver2 - 192.168.0.20
webserver1 - 192.168.0.10
webserver2 - 192.168.0.20
webserver1 - 192.168.0.10
webserver2 - 192.168.0.20
webserver1 - 192.168.0.10
webserver2 - 192.168.0.20
webserver1 - 192.168.0.10
webserver2 - 192.168.0.20
webserver1 - 192.168.0.10

四.防火墙标签解决轮询错误

轮询规则中可能会遇到的错误：以http和https为例，当我们在RS中同时开放80和443端口，那么默认控制是分开轮询的，这样我们就出现了一个轮询错乱的问题。

在两台服务器中安装mod_ssl
[root@webserver1 ~]# dnf install mod_ssl -y
[root@webserver2 ~]# dnf install mod_ssl -y

设置调度策略，因为我们要调度80和443两个端口所以我们需要设定两组策略
[root@lvs ~]# ipvsadm -A -t 192.168.0.200:80 -s rr
[root@lvs ~]# ipvsadm -a -t 192.168.0.200:80 -r 192.168.0.10:80 -g
[root@lvs ~]# ipvsadm -a -t 192.168.0.200:80 -r 192.168.0.20:80 -g
[root@lvs ~]# ipvsadm -A -t 192.168.0.200:443 -s rr
[root@lvs ~]# ipvsadm -a -t 192.168.0.200:443 -r 192.168.0.10:443 -g
[root@lvs ~]# ipvsadm -a -t 192.168.0.200:443 -r 192.168.0.20:443 -g
[root@lvs ~]#
[root@lvs ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.0.200:80 rr
-> 192.168.0.10:80 Route 1 0 0
-> 192.168.0.20:80 Route 1 0 0
TCP 192.168.0.200:443 rr
-> 192.168.0.10:443 Route 1 0 0
-> 192.168.0.20:443 Route 1 0 0
[root@lvs ~]#

测试问题：
[root@client ~]# curl 192.168.0.200;curl -k https://192.168.0.200
webserver2 - 192.168.0.20
webserver2 - 192.168.0.20
访问vip时都到了相同的服务器

lvs持久链接
在我们客户上网过程中有很多情况下需要和服务器进行交互，客户需要提交响应信息给服务器，如果单纯的进行调度会导致客户填写的表单丢失，为了解决这个问题我们可以用sh算法，但是sh算法比较简单粗暴，可能会导致调度失衡。

解决方法：
在进行调度时，不管用什么算法，只要相同源过来的数据包我们就把他的访问记录在内存中，也就是把这个源的主机调度到了那个RS上如果在短期（默认360S）内同源再来访问我仍然按照内存中记录的调度信息，把这个源的访问还调度到同一台RS上。如果过了比较长的时间（默认最长时间360s）同源访问再次来访，那么就会被调度到其他的RS上。

ipvsadm -AlE -tlulf service-address [-s scheduler] [-p [timeout]]默认360秒
在lvs调度器中设定
[root@lvs ~]# ipvsadm -E -f 6666 -s rr -p [3000]

[root@lvs ~]# ipvsadm -E -f 66 -s rr -p
[root@lvs ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
FWM 66 rr persistent 360
-> 192.168.0.10:0 Route 1 0 0
-> 192.168.0.20:0 Route 1 0 0

[root@client ~]# for i in {1..10}
> do
> curl 192.168.0.200
> done
webserver2 - 192.168.0.20
webserver2 - 192.168.0.20
webserver2 - 192.168.0.20
webserver2 - 192.168.0.20
webserver2 - 192.168.0.20
webserver2 - 192.168.0.20
webserver2 - 192.168.0.20
webserver2 - 192.168.0.20
webserver2 - 192.168.0.20
webserver2 - 192.168.0.20

此时就不是轮询错误，是因为设置了持久链接

删除持久链接：

[root@lvs ~]# ipvsadm -E -f 66 -s rr
[root@lvs ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
FWM 66 rr
-> 192.168.0.10:0 Route 1 0 0
-> 192.168.0.20:0 Route 1 0 0

再查看：

[root@client ~]# for i in {1..10}; do curl 192.168.0.200; done
webserver1 - 192.168.0.10
webserver2 - 192.168.0.20
webserver1 - 192.168.0.10
webserver2 - 192.168.0.20
webserver1 - 192.168.0.10
webserver2 - 192.168.0.20
webserver1 - 192.168.0.10
webserver2 - 192.168.0.20
webserver1 - 192.168.0.10
webserver2 - 192.168.0.20

沐竹

关注

15
点赞
踩
15

收藏

觉得还不错? 一键收藏
0
评论
LVS工作模式详解及防火墙标签解决轮询错误

集群：同一个业务系统，部署在多台服务器上，集群中，每一台服务器实现的功能没有差别，数据和代码都是一样的分布式：一个业务被拆成多个子业务，或者本身就是不同的业务，部署在多台服务器上。分布式中，每一台服务器实现的功能是有差别的，数据和代码也是不一样的，分布式每台服务器功能加起来，才是完整的业务分布式是以缩短单个任务的执行时间来提升效率的，而集群则是通过提高单位时间内执行的任务数来提升效率对于大型网站，访问用户很多，实现一个群集，在前面部署一个负载均衡服务器，后面几台服务器完成同一业务。
复制链接

扫一扫