LVS原理及实例解析

目录

一、LVS

1.1 lvs简介

1.2 LVS的整体架构

二、 LVS集群类型

2.1 NAT模式

2.1.1 LVS-NAT模式实例

2.2 ipvsadm 命令参数运用

2.3 LVS-DR模式

2.3.1 LVS-DR模式实例

2.4 TUN模式和fullnet模式

三、LVS的调度算法

3.1 LVS调度算法类型

3.1.1 lvs静态调度算法

3.1.2 lvs动态调度算法

3.1.3 lvs新增调度算法

3.2 火墙mark标记解决轮询错误问题

3.3 LVS持久连接


一、LVS

1.1 lvs简介

LVS:Linux Virtual Server,作为负载调度器,是由内核集成的,由章文嵩先生开发而来,其中阿里的四层SLB就是基于LVS+keepalive搭建而成的,

负载调度器分为四层和七层

lvsz作为四层负载调度器,最多访问网络层(端口),当有访问请求时,最多将端口进行改变,并将请求发送给服务器端,修改的内容包括但不限于访问目的的MAC地址、IP、端口号。但是也产生了影响,后端服务器一直访问静态页面会造成资源浪费,而当访问非静态页面时,就需要进行运算,对于性能要求更高,服务器就必须做出区分,实现动静分离的效果,最大地保证负责运算地服务器端性能更优

如何去分析客户端地请求?

当访问请求类似htp://www.baidu.com/index.html 形式,就代表访问地是静态页面,划分到负责静态页面的服务器端进行访问;而当访问请求类似于http://www.baidu.com/php 形式,访问的是动态页面,就划分到负责动态页面的服务器端进行访问。但这只能在七层负载调度器中实现,比如Nginx,Haproxy 。

1.2 LVS的整体架构

区域1:用户,用户的请求通过网络到达LVS

区域2:LVS,两台主机共同组成高可用,中间通过VRRP的虚拟路由协议进行互相检测,当其中一台主机故障,另一台主机进行顶替,保证体系架构的稳定性。

区域3:负责将LVS上的请求调度到Real Server,所采用的调度方式有NAT模式、DR模式(直连路由)、TUN模式(跨网络的直连路由)、fullnet模式四种方式。

工作原理:VS根据请求报文的目标IP和目标协议及端口进行修改(根据模式更改)并调度转发到某一个RS(根据调度算法挑选)。

lvs概念表

名称全名功能描述
VSVirtual Server调度器
RSReal Server真实主机
CIPClient IP客户端IP
VIPVirtual server IP客户端访问LVS的IP,VS外网的IP
DIPDirector IPLVS访问真实主机的IP,VS内网的IP
RIPReal serevr IP真实主机IP

整体的访问流程:CIP<->VIP==DIP<->RIP,而DIP<->RIP请求发送过程中就会涉及LVS集群类型

二、 LVS集群类型

lvs集群类型表

名称功能描述
lvs-nat(NAT模式)修改请求报文的目标IP,多目标IP的DNAT
lvs-dr(DR模式)操纵封装新的MAC地址
lvs-tun(TUN模式)在原请求IP报文之外新加一个IP首部
lvs-fullnet(fullnet模式)修改请求报文的源和目标IP

2.1 NAT模式

lvs-nat:本质是多目标IP的DNAT,通过将请求报文中的目标地址和目标端口修改为某挑出的RS和PORT实现转发

发送过程:数据请求从客户端发送到达VIP之后,在vs主机中做目的地址转换和目标端口转换,请求被后端Real Server接收。

接收过程:请求被后端Real Server接收,做响应时将数据传回给DIP,DIP转发给VIP,并由VIP将响应信息发送给客户端。

注意:整个过程都由VS主机进行压力负载(数据访问同进同出),变成数据访问的瓶颈,造成后端服务器最多挂10台主机,但是整个过程却能实现跨网络

2.1.1 LVS-NAT模式实例

前置条件:firewalld 和 Selinux 全部关闭,虚拟网络正确配置(NAT和仅主机模式)

【LVS】

[root@LVS boot]# cat /etc/NetworkManager/system-connections/eth0.nmconnection 
[connection]
id=eth0
type=ethernet
interface-name=eth0

[ipv4]
address1=172.25.254.100/24,172.25.254.2
method=manual
dns=114.114.114.114
[root@LVS boot]# cat /etc/NetworkManager/system-connections/eth1.nmconnection 
[connection]
id=eth1
type=ethernet
interface-name=eth1

[ipv4]
address1=192.168.0.100/24
method=manual

#打开内核路由功能
[root@LVS boot]# vim /etc/sysctl.conf
#生效
[root@LVS boot]# sysctl -p
net.ipv4.ip_forward = 1

#LVS测试
[root@LVS boot]# curl 192.168.0.10
webserver1 - 192.168.0.10
[root@LVS boot]# curl 192.168.0.20
webserver2 - 192.168.0.20

#下载ipvsadm软件
[root@LVS boot]# dnf install ipvsadm -y
#lvs访问策略
[root@LVS boot]# ipvsadm -A -t 172.25.254.100:80 -s rr
[root@LVS boot]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.10:80 -m
[root@LVS boot]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.20:80 -m
[root@LVS boot]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.25.254.100:80 rr
  -> 192.168.0.10:80              Masq    1      0          0         
  -> 192.168.0.20:80              Masq    1      0          0    
#对配置文件进行保存
[root@LVS boot]# ipvsadm-save > /etc/sysconfig/ipvsadm
[root@LVS boot]# cat /etc/sysconfig/ipvsadm
-A -t LVS:http -s rr
-a -t LVS:http -r 192.168.0.10:http -m -w 1
-a -t LVS:http -r 192.168.0.20:http -m -w 1

【server1】

[root@server1 ~]# cat /etc/NetworkManager/system-connections/eth0.nmconnection
[connection]
id=eth0
type=ethernet
interface-name=eth0
[ipv4]
address1=192.168.0.10/24,192.168.0.100
method=manual
dns=114.114.114.114
[root@server1 ~]# dnf install httpd -y
[root@server1 ~]# systemctl enable --now httpd
[root@server1 ~]# echo webserver1 - 192.168.0.10 > /var/www/html/index.html
[root@server1 ~]# curl 192.168.0.10
webserver1 - 192.168.0.10

【server2】

[root@server2 ~]# cat /etc/NetworkManager/system-connections/eth0.nmconnection
[connection]
id=eth0
type=ethernet
interface-name=eth0
[ipv4]
address1=192.168.0.20/24,192.168.0.100
method=manual
dns=114.114.114.114
[root@server1 ~]# dnf install httpd -y
[root@server1 ~]# systemctl enable --now httpd
[root@server1 ~]# echo webserver2 - 192.168.0.20 > /var/www/html/index.html

[root@server1 ~]# curl 192.168.0.20
webserver1 - 192.168.0.20

【client】

[root@client ~]# cat /etc/NetworkManager/system-connections/eth0.nmconnection
[connection]
id=eth0
type=ethernet
interface-name=eth0
[ipv4]
address1=172.25.254.200/24,172.25.254.100
method=manual
dns=114.114.114.114

[root@client~]# dnf install httpd -y
[root@client ~]# systemctl enable --now httpd

2.2 ipvsadm 命令参数运用

ipvsadm 命令参数如下表所示:

命令参数描述
-A增加虚拟Server
-Z清空计数量
-C清空lvs策略
-L查看LVS策略
-n不做解析
--rate输出速率信息
-t指定tcp服务
-u指定udp服务
-s指定调度算法,默认为WLC
-w指定权重
-r增加Real Server地址
-a添加Realserver
-e更改realserver
-m在NAT模式中使用
-g直连路由模式,在DR模式中使用
-iipip隧道模式,在TUN模式中使用
-p设置持久连接超时,在同一时间段同一个来源的请求调度到同一个Realserver
-ffirewall mask 防火墙标记,是数字

#测试新的lvs策略
[root@LVS boot]# ipvsadm -E -t 172.25.254.100:80 -s wrr
[root@LVS boot]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.10:80 -m -w 2
[root@LVS boot]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.20:80 -m -w 1
[root@LVS boot]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.25.254.100:80 wrr
  -> 192.168.0.10:80              Masq    1      0          0         
  -> 192.168.0.20:80              Masq    2      0          0   
#不做本地解析保存配置文件
[root@LVS boot]# ipvsadm-save -n > /etc/sysconfig/ipvsadm
[root@LVS boot]# cat /etc/sysconfig/ipvsadm
-A -t 172.25.254.100:80 -s wrr
-a -t 172.25.254.100:80 -r 192.168.0.10:80 -m -w 2
-a -t 172.25.254.100:80 -r 192.168.0.20:80 -m -w 1
#恢复被清空的lvs策略
[root@LVS boot]# ipvsadm -C
[root@LVS boot]# ipvsadm-restore < /etc/sysconfig/ipvsadm
#这里策略能正常显示载启动ipvsadm服务,不然策略不会存在
[root@LVS boot]# cat /etc/sysconfig/ipvsadm
-A -t 172.25.254.100:80 -s wrr
-a -t 172.25.254.100:80 -r 192.168.0.10:80 -m -w 2
-a -t 172.25.254.100:80 -r 192.168.0.20:80 -m -w 1
[root@LVS boot]# systemctl start ipvsadm.service
[root@LVS boot]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.25.254.100:80 wrr
  -> 192.168.0.10:80              Masq    2      0          0         
  -> 192.168.0.20:80              Masq    1      0          0 

2.3 LVS-DR模式

DR模式流程图:

DR模式逻辑图:

DR模式数据传输过程:

2.3.1 LVS-DR模式实例

实验环境与LVS-NAT模式实例保持一致

【router】

#内核路由设定
[root@router ~]# vim /etc/sysctl.conf
[root@router ~]# sysctl -p
net.ipv4.ip_forward = 1

【server1】

#设置 vip 不对外响应
[root@server1 ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@server1 ~]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
[root@server1 ~]# echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
[root@server1 ~]# echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
#设置环回接口地址
[root@server1 ~]# ip a a 192.168.0.200/32 dev lo



#如果想要自定义目录作为web网页访问目录,就修改配置文件,进行授权
[root@rserver1 ~]# mkdir /web/html/ -p
[root@rserver1 ~]# vim /etc/httpd/conf/httpd.conf
[root@rserver1 ~]# echo webserver1 - 192.168.0.10 > /web/html/index.html
[root@rserver1 ~]# systemctl restart httpd
[root@rserver1 ~]# curl 192.168.0.10
webserver1 - 192.168.0.10

这只是测试用例,为了防止修改配置文件对后续实验的影响,所以还是将配置文件还原至默认配置,不做更改。

【server2】

#设置 vip 不对外响应
[root@server2 ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@server2 ~]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
[root@server2 ~]# echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
[root@server2 ~]# echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
#设置环回接口地址
[root@server2 ~]# ip a a 192.168.0.200/32 dev lo

【LVS】

#设置环回接口地址
[root@LVS ~]# ip a a 192.168.0.200/32 dev lo
#设置LVS策略
[root@LVS ~]# ipvsadm -C
[root@LVS ~]# ipvsadm -A -t 192.168.0.200:80 -s wrr
[root@LVS ~]# ipvsadm -a -t 192.168.0.200:80 -r 192.168.0.10:80 -g -w 1
[root@LVS ~]# ipvsadm -a -t 192.168.0.200:80 -r 192.168.0.20:80 -g -w 2
[root@LVS ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.0.200:80 wrr
  -> 192.168.0.10:80              Route   1      0          0         
  -> 192.168.0.20:80              Route   2      0          0         
[root@LVS ~]# 
#客户端访问

使用Wireshark工具抓包分析过程:

先记录每个主机的MAC地址,以便追踪时更方便

client       00:0c:29:3a:fd:b4
router-eth0  00:0c:29:2e:d9:e7
router-eth1  00:0c:29:2e:d9:f1
LVS          00:0c:29:af:61:bb
server1      00:0c:29:9a:a3:e6
server2      00:0c:29:82:f5:60

进行数据访问:

[root@client ~]# curl 192.168.0.200
webserver2 - 192.168.0.20

2.4 TUN模式和fullnet模式

TUN模式示意图:

fullnet模式示意图:

三、LVS的调度算法

3.1 LVS调度算法类型

ipvs scheduler:根据其调度时是否考虑各RS当前的负载状态被分为两种:静态方法和动态方法

静态方法:仅根据算法本身进行调整,不考虑RS的负载情况

    弊端:服务器配置不一致的话,负载压力可能会造成服务器崩溃

动态方法:主要根据每RS当前的负载状态及调度算法进行调度Overhead=value较小的RS将被调度

3.1.1 lvs静态调度算法

方法名全称含义应用场景
RRroundrobin轮询RS分别被调度,当RS配置有差别时不推荐
WRRWeighted RR加权轮询根据RS的配置进行加权调度,性能差的RS被调度的次数少
SHSource Hashing源IP地址hash将来自于同一个IP地址的请求始终发往第一次挑中的RS,从而实现会话绑定
DHDestination Hashing目标地址hash第一次轮询调度至RS,后续将发往同一个目标地址的请求始终转发至第一次挑中的RS

3.1.2 lvs动态调度算法

方法名全称应用场景
LCleast connections(最小链接法)适用于长连接应用overhead(负载值)=activeconns(活动链接数)x256+inactiveconns(非活动链接数)
WLCweighted LC(权重最小链接)默认调度方法Overhead=(activeconns*256+inactiveconns)/weight,
SEDShortest Expection Delay()初始连接高权重优先overhead=(activeconns+1+inactiveconns)x256/weight,权重小的会被权重大的前几次调度承接
NQNerver Queue第一轮均匀分配,后续SED
LBLCLocality-Based LC根据负载状态实现正向代理
LBLCRLBLC with Replication带复制功能的LBLC,解决LBLC负载不均衡问题,从负载的复制到负载轻的RS

3.1.3 lvs新增调度算法

FO(Weight Dai Over)调度算法:常用作灰度发布,静态方法

遍历虚拟服务所关联的真实服务链表,找到还未过载(未设置IP_VS_DEST_OVERLOAD标志)的且权重最高的真实服务器,进行调度,不用担心负载压力的存在。当服务器承接大量链接,对服务器进行过载标记,vs调度器就不会把链接调度到有过载标记的主机中。

OVF(Overflow-connection)调度算法,动态方法

基于真实服务器的活动连接数量和权重值实现,将新连接调度到权重值最高的真实服务器,直到其活动连接数量超过权重值,之后调度到下一个权重值最高的真实服务器,遍历虚拟服务先关联的真实服务器链表,找到权重值最高的可用真实服务器,真实服务器需要满足以下条件:

  • 未过载(未设置IP_VS_DEST_OVERLOAD标志)

  • 真实服务器当前的活动连接数量小于其权重值

  • 其权重值不为零

查看内核支持的调度算法:

[root@LVS boot]# less  config-5.14.0-284.11.1.el9_2.x86_64

3.2 火墙mark标记解决轮询错误问题

沿用DR模式的部署主机

【LVS】

[root@LVS boot]# ipvsadm -C
[root@LVS boot]# ipvsadm -A -t 192.168.0.200:80 -s rr
[root@LVS boot]# ipvsadm -a -t 192.168.0.200:80 -r 192.168.0.10:80 -g -w 1
[root@LVS boot]# ipvsadm -a -t 192.168.0.200:80 -r 192.168.0.20:80 -g -w 2
[root@LVS boot]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.0.200:80 rr
  -> 192.168.0.10:80              Route   1      0          0         
  -> 192.168.0.20:80              Route   2      0          0  
#测试访问,忽略证书
[root@LVS boot]# curl -k https://192.168.0.10
webserver1 - 192.168.0.10


[root@LVS boot]# iptables -t mangle -nL
#给LVS主机端口打标记
[root@LVS boot]# iptables -t mangle -A  PREROUTING -d 192.168.0.200 -p tcp -m multiport --dports 80,443 -j MARK --set-mark 88

#清楚所有策略
[root@LVS boot]# ipvsadm -C
#制定新的lvs策略
[root@LVS boot]# ipvsadm -A -f 88 -s rr
[root@LVS boot]# ipvsadm -a -f 88 -r 192.168.0.10 -g
[root@LVS boot]# ipvsadm -a -f 88 -r 192.168.0.20 -g
[root@LVS boot]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
FWM  88 rr
  -> 192.168.0.10:0               Route   1      0          0         
  -> 192.168.0.20:0               Route   1      0          0  

【server1】

[root@server1 ~]# dnf install mod_ssl -y
[root@server1 ~]# systemctl restart httpd
[root@server1 ~]# netstat -tulnp | grep httpd
tcp6       0      0 :::443                  :::*                    LISTEN      13023/httpd         
tcp6       0      0 :::80                   :::*                    LISTEN      13023/httpd        

【server2】

[root@server2 ~]# dnf install mod_ssl -y
[root@server2 ~]# systemctl restart httpd

3.3 LVS持久连接

【LVS】

#更改连接时长
[root@LVS boot]# ipvsadm -E -f 88 -s rr 
[root@LVS boot]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
FWM  88 rr
  -> 192.168.0.10:0               Route   1      0          0         
  -> 192.168.0.20:0               Route   1      0          0   

client测试:

其实后面还有一部分没有写出来,就是关于LVS自动化部署脚本的编写,小编先在在这里说一声抱歉,这篇文章我会持续跟进的,相信用不了几天便会把自动化脚本放在文章最后,到时大家有兴趣的可以点点收藏,不迷路。

  • 27
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值