LVS（调度器）介绍

1.LVS：

用于提高工作效率，多个用户请求访问服务器的时候，服务器可能瘫痪从而导致用户目的未能实现，此时可以在用户和服务器直接搭建lvs调度器，调度器可进行分发用户请求。

.系统性能扩展方式 Scale UP：向上扩展,增强 Scale Out：向外扩展,增加设备，调度分配问题，Cluster

2.2.集群Cluster Cluster: 集群是为了解决某个特定问题将堕胎计算机组合起来形成的单个系统 Cluster常见的三种类型：

LB：LoadBalancing（负载均衡）由多个主机组成，每个主机只承担一部分访问

HA：High Availiablity（高可用）SPOF（single Point Of failure） MTBF:Mean Time Between Failure 平均无故障时间，正常时间 MTTR:Mean Time To Restoration（ repair）平均恢复前时间，故障时间 A=MTBF/（MTBF+MTTR） (0,1)：99%, 99.5%, 99.9%, 99.99%, 99.999%

（高可用 用于生产环境中 当只有一台调度器lvs进行分发用户需求时 产生问题时 导致整个服务系统瘫痪 从而用户达不到目的 再次之前应当在引进lvs调度器 先对工作的lvs进行监督作用 当前出现问题时 立刻投入使用）

SLA：Service level agreement（服务等级协议）是在一定开销下为保障服务的性能和可用性，服 务提供商与用户间定义的一种双方认可的协定。通常这个开销是驱动提供服务质量的主要因素。在 常规的领域中，总是设定所谓的三个9，四个9来进行表示，当没有达到这种水平的时候，就会有一 些列的惩罚措施，而运维，最主要的目标就是达成这种服务水平。 停机时间又分为两种，一种是计划内停机时间，一种是计划外停机时间，而运维则主要关注计划外 停机时间

HPC：High-performance computing（高性能计算，国家战略资源，不在课程范围内）

2.3.分布式 分布式存储:Ceph，GlusterFs，FastDFS，MogileFs

分布式计算:hadoop，Spark

分布式常见应用 分布式应用-服务按照功能拆分，使用微服务

分布式静态资源--静态资源放在不同的存储集群上

分布式数据和存储--使用key-value缓存系统 分布式计算--对特殊业务使用分布式计算，比如Hadoop集群

2.4.集群和分布式 集群：同一个业务系统，部署在多台服务器上，集群中，每一台服务器实现的功能没有差别，数据 和代码都是一样的

分布式：一个业务被拆成多个子业务，或者本身就是不同的业务，部署在多台服务器上。分布式 中，每一台服务器实现的功能是有差别的，数据和代码也是不一样的，分布式每台服务器功能加起 来，才是完整的业务

分布式是以缩短单个任务的执行时间来提升效率的，而集群则是通过提高单位时间内执行的任务数 来提升效率,

对于大型网站，访问用户很多，实现一个群集，在前面部署一个负载均衡服务器，后面几台服务器 完成同一业务。如果有用户进行相应业务访问时，负载均衡器根据后端哪台服务器的负载情况，决 定由给哪一台去完成响应，并且台服务器垮了，其它的服务器可以顶上来。分布式的每一个节点， 都完成不同的业务，如果一个节点垮了，那这个业务可能就会失败

2.lvs简介：

LVS:Linux Virtual Server，负载调度器，内核集成，章文嵩，阿里的四层SLB(Server LoadBalance)是基 于LVS+keepalived实现 LVS 官网: http://www.linuxvirtualserver.org/

LVS 相关术语 VS: Virtual Server，负责调度 RS:RealServer，负责真正提供服务

工作原理： VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS，根据调度算法来挑选RS

2.1LVS概念

VS：Virtual Server

RS：Real Server

CIP：Client IP

VIP: Virtual serve IP VS外网的IP

DIP: Director IP VS内网的IP

RIP: Real server IP

访问流程：CIP VIP == DIP RIP

2.2.lvs集群的类型

lvs-nat： 修改请求报文的目标IP,多目标IP的DNAT

lvs-dr： 操纵封装新的MAC地址

lvs-tun： 在原请求IP报文之外新加一个IP首部

lvs-fullnat： 修改请求报文的源和目标IP

2.2.1 nat模式

Ivs-nat: 本质是多目标IP的DNAT，通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和 PORT实现转发

RIP和DIP应在同一个IP网络，且应使用私网地址;RS的网关要指向DIP

请求报文和响应报文都必须经由Director转发，Director易于成为系统瓶颈

支持端口映射，可修改请求报文的目标PORT

VS必须是Linux系统，RS可以是任意OS系

1.客户端发送访问请求，请求数据包中含有请求来源（cip），访问目标地址（VIP）访问目标端口 （9000port）

2.VS服务器接收到访问请求做DNAT把请求数据包中的目的地由VIP换成RS的RIP和相应端口 3.RS1相应请求，发送响应数据包，包中的相应保温为数据来源（RIP1）响应目标（CIP）相应端口 （9000port）

4.VS服务器接收到响应数据包，改变包中的数据来源（RIP1-->VIP）,响应目标端口（9000-->80） 5.VS服务器把修改过报文的响应数据包回传给客户端 6.lvs的NAT模式接收和返回客户端数据包时都要经过lvs的调度机，所以lvs的调度机容易阻塞

2.3LVS 实战案例nat

4.1.lvs软件相关信息

程序包：ipvsadm

Unit File: ipvsadm.service

主程序：/usr/sbin/ipvsadm

规则保存工具：/usr/sbin/ipvsadm-save

规则重载工具：/usr/sbin/ipvsadm-restore

配置文件：/etc/sysconfig/ipvsadm-config

ipvs调度规则文件：/etc/sysconfig/ipvsadm

1.管理集群服务中的增删改 ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]

-A #添加 -E #修改 -t #tcp服务 -u #udp服务 -s #指定调度算法，默认为WLC -p #设置持久连接超时，持久连接可以理解为在同一个时间段同一个来源的请求调度到同一Realserver -f #firewall mask 火墙标记，是一个数字

lvs中安装ipvsadm软件

俩台server端分别安装htppd

分别写入内容echo webserver1 - 192.168.0.10 > /var/www/html/index.html

echo webserver1 - 192.168.0.20 > /var/www/html/index.html

此时用主机去访问能看到写入的内容

然后再从lvs端写入策略

ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.10:80 -m （访问172.25.254.100是访问到的是由该lvs主机下写入策略192.168.0.10的内容）

ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.20:80 -m

查看写入到俩条策略

测试：

rr是轮询算法 逐个访问保存策略

lvs

核心功能: 集群服务管理:增、删、改

集群服务的RS管理:增、删、改

查看

命令参数

管理集群服务 ipvsadm -A|E -t（tcp）|u（udp）|f（防护墙标签） \

service-address(集群地址) \

[-s scheduler(调度算法)] \

[-p [timeout]] \

[-M netmask] \

[--pepersistence_engine] \

[-b sched-flags]

ipvsadm -D -t|u|f service-address 删除

ipvsadm –C 清空

ipvsadm –R 重载

ipvsadm -S [-n] 保存

管理集群中的real server

ipvsadm -a|e -t|u|f service-address -r server-address [-g | -i| -m](工作模式) [-w weight](权重) ipvsadm -d -t|u|f service-address -r server-address 删除RS

ipvsadm -L|l [options] 查看rs

ipvsadm -Z [-t|u|f service-address] 清楚计数器

2.3.1LVS中增删改

1.管理集群服务中的增删改 ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]

-A #添加

-E #修改

-t #tcp服务

-u #udp服务

-s #指定调度算法，默认为WLC

-p #设置持久连接超时，持久连接可以理解为在同一个时间段同一个来源的请求调度到同一Realserver

-f #firewall mask 火墙标记，是一个数字

例：增加：ipvsadm -A -t 172.25.254.100:80 -s rr

ipvsadm -A -f 66 -p 3000

修改：ipvsadm -E -t 172.25.254.100:80 -s wrr 

删除：ipvsadm -D -t 172.25.254.100:80

2.3.2集群中的增删改

ipvsadm -a|e -t|u|f service-address -r realserver-address [-g|i|m] [-w weight]

-a 添加realserver -e 更改realserver -t tcp协议 

-u udp协议 -f 火墙标签 -r realserver地址 -C 清空LVS策略

-Ln查看策略  --rate 输出速率信息 -w 设定权重 -m nat模式

例：添加：ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.30 -m

ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.40 -m -w 2

更改：ipvsadm -e -t 172.25.254.100:80 -r 192.168.0.30 -m -w 1

ipvsadm -e -t 172.25.254.100:80 -r 192.168.0.30 -i -w 1

删除：ipvsadm -d -t 172.25.254.100:80 -r 192.168.0.30

2.4LVS实战案例DR模式

环境配置：一台client 一台路由器 一台LVS调度器 俩台后端服务器

client：

路由器：

LVS:

俩台后端服务器：

解决vip响应问题

DR模型中各主机上均需要配置VIP，解决地址冲突的方式有三种：

(1)在前端网关做静态绑定 (2)在各RS使用arptables (3)在各RS修改内核参数，来限制arp响应和通告的级别

限制响应级别:arp_ignore

0:默认值，表示可使用本地任意接口上配置的任意地址进行响应

1:仅在请求的目标IP配置在本地主机的接收到请求报文的接口上时，才给予响应

限制通告级别:arp_announce

0:默认值，把本机所有接口的所有信息向每个接口的网络进行通告 1:尽量避免将接口信息向非直接连接网络进行通告 2:必须避免将接口信息向非本网络进行通告

配置要点 1.Director服务器采用双IP桥接网络，一个是VPP，一个DIP 2.Web服务器采用和DIP相同的网段和Director连接 3.每个Web服务器配置VIP 4.每个web服务器可以出外网

俩台服务器端都要写入 以解决服务器响应问题

然后开始再LVS进行写入策略：

ipvsadm -A -t 192.168.0.50：80 -s wrr

ipvsadm -a -t 192.168.0.50 :80 -r 192.168.0.10:80 -g -w 1

ipvsadm -a -t 192.168.0.50:80 -r 192.168.0.20:80 -g -w 2

测试：使用client 写入 ：

for i in{1..10}

do

curl 192.168.0.50

done

2.5LVS调度算法

2.5.1

lvs调度算法类型

ipvs scheduler：根据其调度时是否考虑各RS当前的负载状态被分为两种：静态方法和动态方法

静态方法：仅根据算法本身进行调度，不考虑RS的负载情况

动态方法：主要根据每RS当前的负载状态及调度算法进行调度Overhead=value较小的RS将被调度

lvs静态调度算法 1、RR：roundrobin 轮询 RS分别被调度，当RS配置有差别时不推荐

2、WRR：Weighted RR，加权轮询根据RS的配置进行加权调度，性能差的RS被调度的次数少 3、SH：Source Hashing，实现session sticky，源IP地址hash；将来自于同一个IP地址的请求始终发往 第一次挑中的RS，从而实现会话绑定

4、DH：Destination Hashing；目标地址哈希，第一次轮询调度至RS，后续将发往同一个目标地址的请 求始终转发至第一次挑中的RS，典型使用场景是正向代理缓存场景中的负载均衡，如：宽带运营商 

.lvs动态调度算法 主要根据RS当前的负载状态及调度算法进行调度Overhead=value较小的RS会被调度

1、LC：least connections（最少链接发） 适用于长连接应用Overhead（负载值）=activeconns（活动链接数） x 256+inactiveconns（非活 动链接数）

2、WLC：Weighted LC（权重最少链接） 默认调度方法Overhead=(activeconns x 256+inactiveconns)/weight

3、SED：Shortest Expection Delay, 初始连接高权重优先Overhead=(activeconns+1+inactiveconns) x 256/weight 但是，当node1的权重为1，node2的权重为10，经过运算前几次的调度都会被node2承接

4、NQ：Never Queue，第一轮均匀分配，后续SED

5、LBLC：Locality-Based LC，动态的DH算法，使用场景：根据负载状态实现正向代理

6、LBLCR：LBLC with Replication，带复制功能的LBLC，解决LBLC负载不均衡问题，从负载重的复制到负载轻的RS

.在4.15版本内核以后新增调度算法

1.FO(Weighted Fai Over)调度算法：常用作灰度发布 在此FO算法中，遍历虚拟服务所关联的真实服务器链表，找到还未过载(未设置IP_VS_DEST_F OVERLOAD标志)的且权重最高的真实服务器，进行调度 当服务器承接大量链接，我们可以对此服务器进行过载标记（IP_VS_DEST_F OVERLOAD），那么vs调度 器就不会把链接调度到有过载标记的主机中。

2.OVF(Overflow-connection)调度算法

基于真实服务器的活动连接数量和权重值实现。将新连接调度到权重值最高的真实服务器，直到其活动 连接数量超过权重值，之后调度到下一个权重值最高的真实服务器,在此OVF算法中，遍历虚拟服务相关 联的真实服务器链表，找到权重值最高的可用真实服务器。一个可用的真实服务器需要同时满足以下条 件:

未过载(未设置IP_VS_DEST_F OVERLOAD标志)

真实服务器当前的活动连接数量小于其权重值

其权重值不为零

2.6防火墙标记解决轮询调度问题

解决集群策略中面对不同端口的服务器进行轮询访问调度问题

错误：以http和https为例，当我们在RS中同时开放80和443端口，那么默认控制是分开轮询的，这样我们就出 现了一个轮询错乱的问题 当我第一次访问80被轮询到RS1后下次访问443仍然可能会被轮询到RS1上  解决前：访问的是不同端口的同一台主机

解决后：

FWM:FireWall Mark MARK

target 可用于给特定的报文打标记

,--set-mark value

其中:value 可为0xffff格式，表示十六进制数字借助于防火墙标记来分类报文，而后基于标记定义集群服 务:可将多个不同的应用使用同一个集群服务进行调度

实现方法:

给俩台服务器分别：

在Director主机打标记（lvs）:

定义集群服务：

测试：

2.7lvs session会话连接问题解决

在我们客户上网过程中有很多情况下需要和服务器进行交互，客户需要提交响应信息给服务器，如果单 纯的进行调度会导致客户填写的表单丢失，为了解决这个问题我们可以用sh算法，但是sh算法比较简单 粗暴，可能会导致调度失衡

解决方案 在进行调度时，不管用什么算法，只要相同源过来的数据包我们就把他的访问记录在内存中，也就是把 这个源的主机调度到了那个RS上 如果在短期（默认360S）内同源再来访问我仍然按照内存中记录的调度信息，把这个源的访问还调度到 同一台RS上。 如果过了比较长的时间（默认最长时间360s）同源访问再次来访，那么就会被调度到其他的RS上

ipvsadm -E -f 6666 -s rr -p [3000]