LVS相关内容

风起遥闻杜若笙

已于 2024-08-12 00:00:22 修改

阅读量772

点赞数 14

文章标签： lvs 服务器 linux

于 2024-08-11 23:39:21 首次发布

本文链接：https://blog.csdn.net/m0_72467179/article/details/141107332

版权

lvs集群概念：

Cluster: 集群是为了解决某个特定问题将堕胎计算机组合起来形成的单个系统

Cluster常见的三种类型：

LB：LoadBalancing（负载均衡）由多个主机组成，每个主机只承担一部分访问
HA：High Availiablity（高可用）SPOF（single Point Of failure） MTBF:Mean Time Between Failure 平均无故障时间，正常时间 MTTR:Mean Time To Restoration（ repair）平均恢复前时间，故障时间 A=MTBF/（MTBF+MTTR） (0,1)：99%, 99.5%, 99.9%, 99.99%, 99.999% SLA：Service level agreement（服务等级协议）是在一定开销下为保障服务的性能和可用性，服务提供商与用户间定义的一种双方认可的协定。通常这个开销是驱动提供服务质量的主要因素。在常规的领域中，总是设定所谓的三个9，四个9来进行表示，当没有达到这种水平的时候，就会有一些列的惩罚措施，而运维，最主要的目标就是达成这种服务水平。停机时间又分为两种，一种是计划内停机时间，一种是计划外停机时间，而运维则主要关注计划外停机时间
HPC：High-performance computing（高性能计算，国家战略资源，不在课程范围内）

分布式简介

分布式存储:Ceph，GlusterFs，FastDFS，MogileFs

分布式计算:hadoop，Spark

分布式常见应用

分布式应用-服务按照功能拆分，使用微服务
分布式静态资源--静态资源放在不同的存储集群上
分布式数据和存储--使用key-value缓存系统
分布式计算--对特殊业务使用分布式计算，比如Hadoop集群

集群和分布式

集群：同一个业务系统，部署在多台服务器上，集群中，每一台服务器实现的功能没有差别，数据和代码都是一样的
分布式：一个业务被拆成多个子业务，或者本身就是不同的业务，部署在多台服务器上。分布式中，每一台服务器实现的功能是有差别的，数据和代码也是不一样的，分布式每台服务器功能加起来，才是完整的业务
分布式是以缩短单个任务的执行时间来提升效率的，而集群则是通过提高单位时间内执行的任务数来提升效率
对于大型网站，访问用户很多，实现一个群集，在前面部署一个负载均衡服务器，后面几台服务器完成同一业务。如果有用户进行相应业务访问时，负载均衡器根据后端哪台服务器的负载情况，决定由给哪一台去完成响应，并且台服务器垮了，其它的服务器可以顶上来。分布式的每一个节点，都完成不同的业务，如果一个节点垮了，那这个业务可能就会失败

LVS概念

VS：Virtual Server
RS：Real Server
CIP：Client IP
VIP: Virtual serve IP VS外网的IP
DIP: Director IP VS内网的IP
RIP: Real server IP

访问流程：CIP VIP == DIP RIP

lvs集群的类型

lvs-nat：修改请求报文的目标IP,多目标IP的DNAT
lvs-dr：操纵封装新的MAC地址
lvs-tun：在原请求IP报文之外新加一个IP首部
lvs-fullnat：修改请求报文的源和目标IP

nat模式数据逻辑

1.客户端发送访问请求，请求数据包中含有请求来源（cip），访问目标地址（VIP）访问目标端口（9000port）

2.VS服务器接收到访问请求做DNAT把请求数据包中的目的地由VIP换成RS的RIP和相应端口 3.RS1相应请求，发送响应数据包，包中的相应保温为数据来源（RIP1）响应目标（CIP）相应端口（9000port）

4.VS服务器接收到响应数据包，改变包中的数据来源（RIP1-->VIP）,响应目标端口（9000-->80） 5.VS服务器把修改过报文的响应数据包回传给客户端

6.lvs的NAT模式接收和返回客户端数据包时都要经过lvs的调度机，所以lvs的调度机容易阻塞

DR模式数据传输过程

1.客户端发送数据帧给vs调度主机帧中内容为客户端IP+客户端的MAC+VIP+VIP的MAC

2.VS调度主机接收到数据帧后把帧中的VIP的MAC该为RS1的MAC，此时帧中的数据为客户端IP+客户端的MAC+VIP+RS1的MAC

3.RS1得到2中的数据包做出响应回传数据包，数据包中的内容为VIP+RS1的MAC+客户端IP+客户端IP的 MAC

DR模式的特点

Director和各RS都配置有VIP
确保前端路由器将目标IP为VIP的请求报文发往Director
在前端网关做静态绑定VIP和Director的MAC地址
RS的RIP可以使用私网地址，也可以是公网地址；RIP与DIP在同一IP网络；
RIP的网关不能指向DIP，以确保响应报文不会经由Director
6RS和Director要在同一个物理网络
请求报文要经由Director，但响应报文不经由Director，而由RS直接发往Client
不支持端口映射（端口不能修败）
RS可使用大多数OS系统

lvs的调度算法

lvs调度算法类型

ipvs scheduler：根据其调度时是否考虑各RS当前的负载状态被分为两种：静态方法和动态方法
静态方法：仅根据算法本身进行调度，不考虑RS的负载情况
动态方法：主要根据每RS当前的负载状态及调度算法进行调度Overhead=value较小的RS将被调度

lvs静态调度算法

RR：roundrobin 轮询 RS分别被调度，当RS配置有差别时不推荐
WRR：Weighted RR，加权轮询根据RS的配置进行加权调度，性能差的RS被调度的次数少
SH：Source Hashing，实现session sticky，源IP地址hash；将来自于同一个IP地址的请求始终发往第一次挑中的RS，从而实现会话绑定
DH：Destination Hashing；目标地址哈希，第一次轮询调度至RS，后续将发往同一个目标地址的请求始终转发至第一次挑中的RS，典型使用场景是正向代理缓存场景中的负载均衡，如：宽带运营商

lvs动态调度算法

主要根据RS当前的负载状态及调度算法进行调度Overhead=value较小的RS会被调度

LC：least connections（最少链接发）适用于长连接应用Overhead（负载值）=activeconns（活动链接数） x 256+inactiveconns（非活动链接数）
WLC：Weighted LC（权重最少链接）默认调度方法Overhead=(activeconns x 256+inactiveconns)/weight
SED：Shortest Expection Delay, 初始连接高权重优先Overhead=(activeconns+1+inactiveconns) x 256/weight 但是，当node1的权重为1，node2的权重为10，经过运算前几次的调度都会被node2承接
NQ：Never Queue，第一轮均匀分配，后续SED
LBLC：Locality-Based LC，动态的DH算法，使用场景：根据负载状态实现正向代理
LBLCR：LBLC with Replication，带复制功能的LBLC，解决LBLC负载不均衡问题，从负载重的复制到负载轻的RS

在4.15版本内核以后新增调度算法

FO(Weighted Fai Over)调度算法：常用作灰度发布
在此FO算法中，遍历虚拟服务所关联的真实服务器链表，找到还未过载(未设置IP_VS_DEST_F OVERLOAD标志)的且权重最高的真实服务器，进行调度
当服务器承接大量链接，我们可以对此服务器进行过载标记（IP_VS_DEST_F OVERLOAD），那么vs调度器就不会把链接调度到有过载标记的主机中。
OVF(Overflow-connection)调度算法
基于真实服务器的活动连接数量和权重值实现。将新连接调度到权重值最高的真实服务器，直到其活动连接数量超过权重值，之后调度到下一个权重值最高的真实服务器,在此OVF算法中，遍历虚拟服务相关联的真实服务器链表，找到权重值最高的可用真实服务器。一个可用的真实服务器需要同时满足以下条件:

未过载(未设置IP_VS_DEST_F OVERLOAD标志)
- 真实服务器当前的活动连接数量小于其权重值
- 其权重值不为零

lvs部署命令介绍

lvs软件相关信息

程序包：ipvsadm
Unit File: ipvsadm.service
主程序：/usr/sbin/ipvsadm
规则保存工具：/usr/sbin/ipvsadm-save
规则重载工具：/usr/sbin/ipvsadm-restore
配置文件：/etc/sysconfig/ipvsadm-config
ipvs调度规则文件：/etc/sysconfig/ipvsadm

LVS实战案例

NAT模式集群实验：

实验环境：三台虚拟机，相关配置如下：

LVS：充当路由器，开启内核路由功能，外网ip为172.25.254.100/24，内网ip：192.168.0.100/24
RS1：单网卡主机，只有一个ip，192.168.0.10/24
RS2：单网卡主机，只有一个ip，192.268.0.20/24

在实验前关闭vm的DHCP功能

给三台设备配置完IP后检查ip

在lvs中打开内核路由功能：

在rs1和rs2中执行以下命令安装服务：

[root@webserver1 dyj]# dnf install httpd -y
[root@webserver2 dyj]# dnf install httpd -y
测试：

DR模式集群实验

实验准备：

Client：nat模式，IP为172.25.254.200，网关为172.25.254.100
Router：nat模式，VIP为172.25.254.100，仅主机模式，DIP为192.168.0.100，开启内核路由
LVS：仅主机模式，DIP为192.168.0.50，配置回环为192.168.0.200，网关为192.168.0.100
RS1：仅主机模式，RIP为192.168.0.10，配置回环为192.168.0.200
RS2：仅主机模式, RIP为192.168.0.20，配置回环为192.168.0.200

实验步骤：

在客户端上

[root@client ~]# vim/etc/NetworkManager/system-connections/eth0.nmconnection

[connection]

id=eth0

type=ethernet

interface-name=eth0

[ipv4]

method=manual

address1=172.25.254.10/24,172.25.254.100

在lvs上

[root@lvs ~]# dnf install ipvsadm -y
[root@lvs ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1(size=4096)

Prot LocalAddress:Port Scheduler Flags

->RemoteAddress:Port Forward Weight ActiveConn InActConn

TCP 192.168.0.100:80 rr

[root@lvs ~]# ipvsadm -a -t 192.168.0.100:80 -r 172.25.254.10:80 -m

[root@lvs ~]# ipvsadm -a -t 192.168.0.100:80 -r 172.25.254.20:80 -m

[root@lvs ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags
->RemoteAddress:Port Forward Weight ActiveConn InActConn

TCP 192.168.0.100:80 rr
->172.25.254.10:80 Masq 1 0 0
->172.25.254.20:80 Masg 1 0 0

在路由主机上

[root@DR-server ~]# vim /etc/NetworkManager/system-connections/eth0.nmconnection [connection]

id=eth0

type=ethernet

interface-name=eth0

[ipv4]

method=manual

address1=172.25.254.100/24

在client上测试:

[root@client ~]# for i in {1..6}

> do

> curl 192.168.0.200

> done
webserver2 - 192.168.0.20

webserver1 - 192.168.0.10

webserver2 - 192.168.0.20

webserver1 - 192.168.0.10

webserver2 - 192.168.0.20

webserver1 - 192.168.0.10

成功

防火墙标签解决轮询错误

轮询规则中可能会遇到的错误

以http和https为例，当我们在RS中同时开放80和443端口，那么默认控制是分开轮询的，这样我们就出现了一个轮询错乱的问题当我第一次访问80被轮询到RS1后下次访问443仍然可能会被轮询到RS1上问题呈现

在RS1和RS2中安装mod_ssl并重启apache

]# yum install mod_ssl -y

]# systemctl restart httpd

在lvs中设置调度，因为我们要调度80和443两个端口所以我们需要设定两组策略

]# ipvsadm -C

[root@lvs ~]# ipvsadm -A -t 192.168.0.100:80 -s rr

[root@lvs ~]# ipvsadm -A -t 192.168.0.100:443 -s rr

[root@lvs ~]# ipvsadm -a -t 192.168.0.100:80 -r 192.168.0.101:80 -g

[root@lvs ~]# ipvsadm -a -t 192.168.0.100:80 -r 192.168.0.102:80 -g

[root@lvs ~]# ipvsadm -a -t 192.168.0.100:443 -r 192.168.0.102:80 -g

[root@lvs ~]# ipvsadm -a -t 192.168.0.100:443 -r 192.168.0.101:80 -g

[root@lvs ~]# ipvsadm -Ln

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

-> RemoteAddress:Port Forward Weight ActiveConn InActConn

TCP 192.168.0.100:80 rr

-> 192.168.0.101:80 Route 1 0 0

-> 192.168.0.102:80 Route 1 0 0

TCP 192.168.0.100:443 rr

-> 192.168.0.101:443 Route 1 0 0

-> 192.168.0.102:443 Route 1 0 0

测试问题

[root@node10 ~]# curl http://192.168.0.100;curl -k https://192.168.0.100

RS1 server - 192.168.0.101

当访问vip时两次调度都到了

防火墙标记解决轮询调度问题

FWM:FireWall Mark
MARK target 可用于给特定的报文打标记 ,
--set-mark value
其中 :value 可为 0xffff 格式，表示十六进制数字借助于防火墙标记来分类报文，而后基于标记定义集群服务: 可将多个不同的应用使用同一个集群服务进行调度
实现方法 :
在 Director 主机打标记 :

iptables -t mangle -A PREROUTING -d $vip -p $proto -m multiport --dports
$portl,$port2,..-i MARK --set-mark NUMBER

在 Director 主机基于标记定义集群服务 :

ipvsadm -A -f NUMBER [options]

示例如下：

在 vs 调度器中设定端口标签，人为 80 和 443 是一个整体
]# iptables -t mangle -A PREROUTING -d 192.168.0.100 -p tcp -m multiport --dports
80,443 -j MARK --set-mark 6666
设定调度规则
[root@lvs ~]# ipvsadm -A -f 6666 -s rr
[root@lvs ~]# ipvsadm -a -f 6666 -r 192.168.0.101 -g
[root@lvs ~]# ipvsadm -a -f 6666 -r 192.168.0.102 -g

测试结果

[root@node10 ~]# curl -k https://192.168.0.100
RS2 server - 192.168.0.102
[root@node10 ~]# curl -k https://192.168.0.100;curl 192.168.0.100
RS1 server - 192.168.0.101
RS2 server - 192.168.0.102

3.lvs 持久链接
在我们客户上网过程中有很多情况下需要和服务器进行交互，客户需要提交响应信息给服务器，如果单纯的进行调度会导致客户填写的表单丢失，为了解决这个问题我们可以用sh 算法，但是 sh 算法比较简单粗暴，可能会导致调度失衡

解决方案
在进行调度时，不管用什么算法，只要相同源过来的数据包我们就把他的访问记录在内存中，也就是把这个源的主机调度到了那个RS 上
如果在短期（默认 360S ）内同源再来访问我仍然按照内存中记录的调度信息，把这个源的访问还调度到同一台RS 上。
如果过了比较长的时间（默认最长时间 360s ）同源访问再次来访，那么就会被调度到其他的RS 上

ipvsadm -AlE -tlulf service-address [-s scheduler] [-p [timeout]] 默认 360 秒
在 lvs 调度器中设定
[root@lvs ~]# ipvsadm -E -f 6666 -s rr -p [3000]
[root@lvs ~]# ipvsadm -LnC