目录
一、LVS
1.1 lvs简介
LVS:Linux Virtual Server,作为负载调度器,是由内核集成的,由章文嵩先生开发而来,其中阿里的四层SLB就是基于LVS+keepalive搭建而成的,
负载调度器分为四层和七层
lvsz作为四层负载调度器,最多访问网络层(端口),当有访问请求时,最多将端口进行改变,并将请求发送给服务器端,修改的内容包括但不限于访问目的的MAC地址、IP、端口号。但是也产生了影响,后端服务器一直访问静态页面会造成资源浪费,而当访问非静态页面时,就需要进行运算,对于性能要求更高,服务器就必须做出区分,实现动静分离的效果,最大地保证负责运算地服务器端性能更优
如何去分析客户端地请求?
当访问请求类似htp://www.baidu.com/index.html 形式,就代表访问地是静态页面,划分到负责静态页面的服务器端进行访问;而当访问请求类似于http://www.baidu.com/php 形式,访问的是动态页面,就划分到负责动态页面的服务器端进行访问。但这只能在七层负载调度器中实现,比如Nginx,Haproxy 。
1.2 LVS的整体架构
区域1:用户,用户的请求通过网络到达LVS
区域2:LVS,两台主机共同组成高可用,中间通过VRRP的虚拟路由协议进行互相检测,当其中一台主机故障,另一台主机进行顶替,保证体系架构的稳定性。
区域3:负责将LVS上的请求调度到Real Server,所采用的调度方式有NAT模式、DR模式(直连路由)、TUN模式(跨网络的直连路由)、fullnet模式四种方式。
工作原理:VS根据请求报文的目标IP和目标协议及端口进行修改(根据模式更改)并调度转发到某一个RS(根据调度算法挑选)。
lvs概念表
名称 | 全名 | 功能描述 |
---|---|---|
VS | Virtual Server | 调度器 |
RS | Real Server | 真实主机 |
CIP | Client IP | 客户端IP |
VIP | Virtual server IP | 客户端访问LVS的IP,VS外网的IP |
DIP | Director IP | LVS访问真实主机的IP,VS内网的IP |
RIP | Real serevr IP | 真实主机IP |
整体的访问流程:CIP<->VIP==DIP<->RIP,而DIP<->RIP请求发送过程中就会涉及LVS集群类型
二、 LVS集群类型
lvs集群类型表
名称 | 功能描述 |
---|---|
lvs-nat(NAT模式) | 修改请求报文的目标IP,多目标IP的DNAT |
lvs-dr(DR模式) | 操纵封装新的MAC地址 |
lvs-tun(TUN模式) | 在原请求IP报文之外新加一个IP首部 |
lvs-fullnet(fullnet模式) | 修改请求报文的源和目标IP |
2.1 NAT模式
lvs-nat:本质是多目标IP的DNAT,通过将请求报文中的目标地址和目标端口修改为某挑出的RS和PORT实现转发。
发送过程:数据请求从客户端发送到达VIP之后,在vs主机中做目的地址转换和目标端口转换,请求被后端Real Server接收。
接收过程:请求被后端Real Server接收,做响应时将数据传回给DIP,DIP转发给VIP,并由VIP将响应信息发送给客户端。
注意:整个过程都由VS主机进行压力负载(数据访问同进同出),变成数据访问的瓶颈,造成后端服务器最多挂10台主机,但是整个过程却能实现跨网络。
2.1.1 LVS-NAT模式实例
前置条件:firewalld 和 Selinux 全部关闭,虚拟网络正确配置(NAT和仅主机模式)
【LVS】
[root@LVS boot]# cat /etc/NetworkManager/system-connections/eth0.nmconnection
[connection]
id=eth0
type=ethernet
interface-name=eth0
[ipv4]
address1=172.25.254.100/24,172.25.254.2
method=manual
dns=114.114.114.114
[root@LVS boot]# cat /etc/NetworkManager/system-connections/eth1.nmconnection
[connection]
id=eth1
type=ethernet
interface-name=eth1
[ipv4]
address1=192.168.0.100/24
method=manual
#打开内核路由功能
[root@LVS boot]# vim /etc/sysctl.conf
#生效
[root@LVS boot]# sysctl -p
net.ipv4.ip_forward = 1
#LVS测试
[root@LVS boot]# curl 192.168.0.10
webserver1 - 192.168.0.10
[root@LVS boot]# curl 192.168.0.20
webserver2 - 192.168.0.20
#下载ipvsadm软件
[root@LVS boot]# dnf install ipvsadm -y
#lvs访问策略
[root@LVS boot]# ipvsadm -A -t 172.25.254.100:80 -s rr
[root@LVS boot]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.10:80 -m
[root@LVS boot]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.20:80 -m
[root@LVS boot]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 172.25.254.100:80 rr
-> 192.168.0.10:80 Masq 1 0 0
-> 192.168.0.20:80 Masq 1 0 0
#对配置文件进行保存
[root@LVS boot]# ipvsadm-save > /etc/sysconfig/ipvsadm
[root@LVS boot]# cat /etc/sysconfig/ipvsadm
-A -t LVS:http -s rr
-a -t LVS:http -r 192.168.0.10:http -m -w 1
-a -t LVS:http -r 192.168.0.20:http -m -w 1
【server1】
[root@server1 ~]# cat /etc/NetworkManager/system-connections/eth0.nmconnection
[connection]
id=eth0
type=ethernet
interface-name=eth0
[ipv4]
address1=192.168.0.10/24,192.168.0.100
method=manual
dns=114.114.114.114
[root@server1 ~]# dnf install httpd -y
[root@server1 ~]# systemctl enable --now httpd
[root@server1 ~]# echo webserver1 - 192.168.0.10 > /var/www/html/index.html
[root@server1 ~]# curl 192.168.0.10
webserver1 - 192.168.0.10
【server2】
[root@server2 ~]# cat /etc/NetworkManager/system-connections/eth0.nmconnection
[connection]
id=eth0
type=ethernet
interface-name=eth0
[ipv4]
address1=192.168.0.20/24,192.168.0.100
method=manual
dns=114.114.114.114
[root@server1 ~]# dnf install httpd -y
[root@server1 ~]# systemctl enable --now httpd
[root@server1 ~]# echo webserver2 - 192.168.0.20 > /var/www/html/index.html
[root@server1 ~]# curl 192.168.0.20
webserver1 - 192.168.0.20
【client】
[root@client ~]# cat /etc/NetworkManager/system-connections/eth0.nmconnection
[connection]
id=eth0
type=ethernet
interface-name=eth0
[ipv4]
address1=172.25.254.200/24,172.25.254.100
method=manual
dns=114.114.114.114
[root@client~]# dnf install httpd -y
[root@client ~]# systemctl enable --now httpd
2.2 ipvsadm 命令参数运用
ipvsadm 命令参数如下表所示:
命令参数 | 描述 |
---|---|
-A | 增加虚拟Server |
-Z | 清空计数量 |
-C | 清空lvs策略 |
-L | 查看LVS策略 |
-n | 不做解析 |
--rate | 输出速率信息 |
-t | 指定tcp服务 |
-u | 指定udp服务 |
-s | 指定调度算法,默认为WLC |
-w | 指定权重 |
-r | 增加Real Server地址 |
-a | 添加Realserver |
-e | 更改realserver |
-m | 在NAT模式中使用 |
-g | 直连路由模式,在DR模式中使用 |
-i | ipip隧道模式,在TUN模式中使用 |
-p | 设置持久连接超时,在同一时间段同一个来源的请求调度到同一个Realserver |
-f | firewall mask 防火墙标记,是数字 |
#测试新的lvs策略
[root@LVS boot]# ipvsadm -E -t 172.25.254.100:80 -s wrr
[root@LVS boot]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.10:80 -m -w 2
[root@LVS boot]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.20:80 -m -w 1
[root@LVS boot]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 172.25.254.100:80 wrr
-> 192.168.0.10:80 Masq 1 0 0
-> 192.168.0.20:80 Masq 2 0 0
#不做本地解析保存配置文件
[root@LVS boot]# ipvsadm-save -n > /etc/sysconfig/ipvsadm
[root@LVS boot]# cat /etc/sysconfig/ipvsadm
-A -t 172.25.254.100:80 -s wrr
-a -t 172.25.254.100:80 -r 192.168.0.10:80 -m -w 2
-a -t 172.25.254.100:80 -r 192.168.0.20:80 -m -w 1
#恢复被清空的lvs策略
[root@LVS boot]# ipvsadm -C
[root@LVS boot]# ipvsadm-restore < /etc/sysconfig/ipvsadm
#这里策略能正常显示载启动ipvsadm服务,不然策略不会存在
[root@LVS boot]# cat /etc/sysconfig/ipvsadm
-A -t 172.25.254.100:80 -s wrr
-a -t 172.25.254.100:80 -r 192.168.0.10:80 -m -w 2
-a -t 172.25.254.100:80 -r 192.168.0.20:80 -m -w 1
[root@LVS boot]# systemctl start ipvsadm.service
[root@LVS boot]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 172.25.254.100:80 wrr
-> 192.168.0.10:80 Masq 2 0 0
-> 192.168.0.20:80 Masq 1 0 0
2.3 LVS-DR模式
DR模式流程图:
DR模式逻辑图:
DR模式数据传输过程:
2.3.1 LVS-DR模式实例
实验环境与LVS-NAT模式实例保持一致
【router】
#内核路由设定
[root@router ~]# vim /etc/sysctl.conf
[root@router ~]# sysctl -p
net.ipv4.ip_forward = 1
【server1】
#设置 vip 不对外响应
[root@server1 ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@server1 ~]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
[root@server1 ~]# echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
[root@server1 ~]# echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
#设置环回接口地址
[root@server1 ~]# ip a a 192.168.0.200/32 dev lo
#如果想要自定义目录作为web网页访问目录,就修改配置文件,进行授权
[root@rserver1 ~]# mkdir /web/html/ -p
[root@rserver1 ~]# vim /etc/httpd/conf/httpd.conf
[root@rserver1 ~]# echo webserver1 - 192.168.0.10 > /web/html/index.html
[root@rserver1 ~]# systemctl restart httpd
[root@rserver1 ~]# curl 192.168.0.10
webserver1 - 192.168.0.10
这只是测试用例,为了防止修改配置文件对后续实验的影响,所以还是将配置文件还原至默认配置,不做更改。
【server2】
#设置 vip 不对外响应
[root@server2 ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@server2 ~]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
[root@server2 ~]# echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
[root@server2 ~]# echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
#设置环回接口地址
[root@server2 ~]# ip a a 192.168.0.200/32 dev lo
【LVS】
#设置环回接口地址
[root@LVS ~]# ip a a 192.168.0.200/32 dev lo
#设置LVS策略
[root@LVS ~]# ipvsadm -C
[root@LVS ~]# ipvsadm -A -t 192.168.0.200:80 -s wrr
[root@LVS ~]# ipvsadm -a -t 192.168.0.200:80 -r 192.168.0.10:80 -g -w 1
[root@LVS ~]# ipvsadm -a -t 192.168.0.200:80 -r 192.168.0.20:80 -g -w 2
[root@LVS ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.0.200:80 wrr
-> 192.168.0.10:80 Route 1 0 0
-> 192.168.0.20:80 Route 2 0 0
[root@LVS ~]#
#客户端访问
使用Wireshark工具抓包分析过程:
先记录每个主机的MAC地址,以便追踪时更方便
client 00:0c:29:3a:fd:b4
router-eth0 00:0c:29:2e:d9:e7
router-eth1 00:0c:29:2e:d9:f1
LVS 00:0c:29:af:61:bb
server1 00:0c:29:9a:a3:e6
server2 00:0c:29:82:f5:60
进行数据访问:
[root@client ~]# curl 192.168.0.200
webserver2 - 192.168.0.20
2.4 TUN模式和fullnet模式
TUN模式示意图:
fullnet模式示意图:
三、LVS的调度算法
3.1 LVS调度算法类型
ipvs scheduler:根据其调度时是否考虑各RS当前的负载状态被分为两种:静态方法和动态方法
静态方法:仅根据算法本身进行调整,不考虑RS的负载情况
弊端:服务器配置不一致的话,负载压力可能会造成服务器崩溃
动态方法:主要根据每RS当前的负载状态及调度算法进行调度Overhead=value较小的RS将被调度
3.1.1 lvs静态调度算法
方法名 | 全称 | 含义 | 应用场景 |
---|---|---|---|
RR | roundrobin | 轮询 | RS分别被调度,当RS配置有差别时不推荐 |
WRR | Weighted RR | 加权轮询 | 根据RS的配置进行加权调度,性能差的RS被调度的次数少 |
SH | Source Hashing | 源IP地址hash | 将来自于同一个IP地址的请求始终发往第一次挑中的RS,从而实现会话绑定 |
DH | Destination Hashing | 目标地址hash | 第一次轮询调度至RS,后续将发往同一个目标地址的请求始终转发至第一次挑中的RS |
3.1.2 lvs动态调度算法
方法名 | 全称 | 应用场景 |
---|---|---|
LC | least connections(最小链接法) | 适用于长连接应用overhead(负载值)=activeconns(活动链接数)x256+inactiveconns(非活动链接数) |
WLC | weighted LC(权重最小链接) | 默认调度方法Overhead=(activeconns*256+inactiveconns)/weight, |
SED | Shortest Expection Delay() | 初始连接高权重优先overhead=(activeconns+1+inactiveconns)x256/weight,权重小的会被权重大的前几次调度承接 |
NQ | Nerver Queue | 第一轮均匀分配,后续SED |
LBLC | Locality-Based LC | 根据负载状态实现正向代理 |
LBLCR | LBLC with Replication | 带复制功能的LBLC,解决LBLC负载不均衡问题,从负载的复制到负载轻的RS |
3.1.3 lvs新增调度算法
FO(Weight Dai Over)调度算法:常用作灰度发布,静态方法
遍历虚拟服务所关联的真实服务链表,找到还未过载(未设置IP_VS_DEST_OVERLOAD标志)的且权重最高的真实服务器,进行调度,不用担心负载压力的存在。当服务器承接大量链接,对服务器进行过载标记,vs调度器就不会把链接调度到有过载标记的主机中。
OVF(Overflow-connection)调度算法,动态方法
基于真实服务器的活动连接数量和权重值实现,将新连接调度到权重值最高的真实服务器,直到其活动连接数量超过权重值,之后调度到下一个权重值最高的真实服务器,遍历虚拟服务先关联的真实服务器链表,找到权重值最高的可用真实服务器,真实服务器需要满足以下条件:
-
未过载(未设置IP_VS_DEST_OVERLOAD标志)
-
真实服务器当前的活动连接数量小于其权重值
-
其权重值不为零
查看内核支持的调度算法:
[root@LVS boot]# less config-5.14.0-284.11.1.el9_2.x86_64
3.2 火墙mark标记解决轮询错误问题
沿用DR模式的部署主机
【LVS】
[root@LVS boot]# ipvsadm -C
[root@LVS boot]# ipvsadm -A -t 192.168.0.200:80 -s rr
[root@LVS boot]# ipvsadm -a -t 192.168.0.200:80 -r 192.168.0.10:80 -g -w 1
[root@LVS boot]# ipvsadm -a -t 192.168.0.200:80 -r 192.168.0.20:80 -g -w 2
[root@LVS boot]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.0.200:80 rr
-> 192.168.0.10:80 Route 1 0 0
-> 192.168.0.20:80 Route 2 0 0
#测试访问,忽略证书
[root@LVS boot]# curl -k https://192.168.0.10
webserver1 - 192.168.0.10
[root@LVS boot]# iptables -t mangle -nL
#给LVS主机端口打标记
[root@LVS boot]# iptables -t mangle -A PREROUTING -d 192.168.0.200 -p tcp -m multiport --dports 80,443 -j MARK --set-mark 88
#清楚所有策略
[root@LVS boot]# ipvsadm -C
#制定新的lvs策略
[root@LVS boot]# ipvsadm -A -f 88 -s rr
[root@LVS boot]# ipvsadm -a -f 88 -r 192.168.0.10 -g
[root@LVS boot]# ipvsadm -a -f 88 -r 192.168.0.20 -g
[root@LVS boot]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
FWM 88 rr
-> 192.168.0.10:0 Route 1 0 0
-> 192.168.0.20:0 Route 1 0 0
【server1】
[root@server1 ~]# dnf install mod_ssl -y
[root@server1 ~]# systemctl restart httpd
[root@server1 ~]# netstat -tulnp | grep httpd
tcp6 0 0 :::443 :::* LISTEN 13023/httpd
tcp6 0 0 :::80 :::* LISTEN 13023/httpd
【server2】
[root@server2 ~]# dnf install mod_ssl -y
[root@server2 ~]# systemctl restart httpd
3.3 LVS持久连接
【LVS】
#更改连接时长
[root@LVS boot]# ipvsadm -E -f 88 -s rr
[root@LVS boot]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
FWM 88 rr
-> 192.168.0.10:0 Route 1 0 0
-> 192.168.0.20:0 Route 1 0 0
client测试:
其实后面还有一部分没有写出来,就是关于LVS自动化部署脚本的编写,小编先在在这里说一声抱歉,这篇文章我会持续跟进的,相信用不了几天便会把自动化脚本放在文章最后,到时大家有兴趣的可以点点收藏,不迷路。