LVS（Linux virual server）详解

一、LVS（Linux virual server）概念

  LVS（Linux virual server）：是 Linux 下的虚拟服务器集群系统。它主要用于实现服务器集群的负载均衡，可以将多台服务器组合成一个高性能、高可用的服务器集群，将外部请求均衡地分配到集群中的各个服务器上，从而提高系统的处理能力和可靠性。 

二、集群Cluster和分布式介绍

1.Cluster:集群是为了解决某个特定问题将多台计算机组合起来形成的单个系统。

cluster常见的三种类型：高可用性集群（High Availability Cluster）：旨在确保关键业务系统持续运行，当一个节点出现故障时，其他节点能够迅速接管，以减少停机时间。
负载均衡集群（Load Balancing Cluster）：将工作负载分布到多个节点上，以提高系统的整体性能和吞吐量，确保资源得到合理利用。高性能计算集群（High Performance Computing Cluster）：主要用于大规模科学计算、数据分析等需要强大计算能力的领域，通过将多个计算节点连接在一起，实现高效的并行计算。

 2.分布式系统是将多台计算机通过网络连接在一起，共同完成特定任务的系统。在分布式系统中，任务被分解成多个子任务，分布到不同的节点上执行，从而实现资源共享、提高系统的性能、扩展性和容错能力。特点有：分布性，并发性，透明性，异构性。

3.

集群：同一个业务系统，部署在多台服务器上，集群中，每一台服务器实现的功能没有差别，数据

和代码都是一样的。

分布式：一个业务被拆成多个子业务，或者本身就是不同的业务，部署在多台服务器上。分布式中，每一台服务器实现的功能是有差别的，数据和代码也是不一样的，分布式每台服务器功能加起来，才是完整的业务。

三、LVS运行的原理

1.LVS概念

VS:Virtual Server
RS:Real Server
CIP:Client IP
VIP: Virtual serve IP VS外网的IP DIP: Director IP VS内网的IP RIP: Real server IP
访问流程:CIP <--> VIP == DIP <--> RIP

2.LVS集群类型

lvs-nat: 修改请求报文的目标IP,多目标IP的DNAT            lvs-dr: 操纵封装新的MAC地址
lvs-tun: 在原请求IP报文之外新加一个IP首部                   lvs-fullnat: 修改请求报文的源和目标IP
(1).

LVS - NAT模式
本质是多目标IP的DNAT，通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和PORT实现转发

RIP和DIP应在同一个IP网络，且应使用私网地址;RS的网关要指向DIP

请求报文和响应报文都必须经由Director转发，Director易于成为系统瓶颈

支持端口映射，可修改请求报文的目标PORT

VS必须是Linux系统，RS可以是任意OS系统

(2).nat模式数据逻辑

 1.客户端发送访问请求，请求数据包中含有请求来源（cip），访问目标地址（VIP）访问目标端口（9000port）

2.VS服务器接收到访问请求做DNAT把请求数据包中的目的地由VIP换成RS的RIP和相应端口

3.RS1相应请求，发送响应数据包，包中的相应保温为数据来源（RIP1）响应目标（CIP）相应端口（9000port）

4.VS服务器接收到响应数据包，改变包中的数据来源（RIP1-->VIP）,响应目标端口（9000-->80）

5.VS服务器把修改过报文的响应数据包回传给客户端

6.lvs的NAT模式接收和返回客户端数据包时都要经过lvs的调度机，所以lvs的调度机容易阻塞

客户请求到达vip后进入PREROUTING,在没有ipvs的时候因该进入本机INPUT,当IPVS存在后访问请求在通过PREROUTING后被ipvs结果并作nat转发

因为ipvs的作用点是在PREROUTING和INPUT链之间，所以如果在prerouting中设定规则会干扰ipvs的工作。所以在做lvs时要把iptables的火墙策略全清理掉。

3. LVS-DR模式
DR 模式集群（Disaster Recovery Cluster） 是一种用于灾难恢复的集群模式。

       在这种模式下，集群中的节点通常处于备用状态，随时准备在主节点发生故障或灾难时接管业务，以确保业务的连续性和数据的安全性。例如，在金融行业，DR 模式集群可以在主数据中心遭受灾害时，迅速切换到备用数据中心，保障业务的正常运行。

(1) DR模式数据传输过程：

客户请求到达vip后进入PREROUTING,在没有ipvs的时候因该进入本机INPUT,当IPVS存在后访问请求在通 过PREROUTING后被ipvs结果并作nat转发
因为ipvs的作用点是在PREROUTING和INPUT链之间，所以如果在prerouting中设定规则会干扰ipvs的工 作。所以在做lvs时要把iptables的火墙策略全清理掉。

(2)DR模式

DR:Direct Routing，直接路由，LVS默认模式,应用最广泛,通过为请求报文重新封装一个MAC首部进行 转发，源MAC是DIP所在的接口的MAC，目标MAC是某挑选出的RS的RIP所在接口的MAC地址;源 IP/PORT，以及目标IP/PORT均保持不变
特点：

1.Director和各RS都配置有VIP

2.确保前端路由器将目标IP为VIP的请求报文发往Director

3.在前端网关做静态绑定VIP和Director的MAC地址

在RS上使用arptables工具
arptables -A IN -d $VIP -j DROP
arptables -A OUT -s $VIP -j mangle --mangle-ip-s $RIP

在RS上修改内核参数以限制arp通告及应答级别
echo 1 > /proc/sys/net/ipv4/conf/all or (lo)/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/all or (lo)/arp_announce

4.RS的RIP可以使用私网地址，也可以是公网地址；RIP与DIP在同一IP网络；

5.RIP的网关不能指向DIP，以确保响应报文不会经由Director

6.RS和Director要在同一个物理网络

7.请求报文要经由Director，但响应报文不经由Director，而由RS直接发往Client

8.不支持端口映射（端口不能修败）

9.RS可使用大多数OS系统

4.LVS- NAT模式和LVS - DR模式总结

lvs-nat与lvs-fullnat：请求和响应报文都经由Director

lvs-nat：RIP的网关要指向DIP

lvs-fullnat：RIP和DIP未必在同一IP网络，但要能通信

lvs-dr与lvs-tun：请求报文要经由Director，但响应报文由RS直接发往Client

lvs-dr：通过封装新的MAC首部实现，通过MAC网络转发

lvs-tun：通过在原IP报文外封装新IP头实现转发，支持远距离通信 

5..lvs的调度算法

(1).lvs调度算法类型
ipvs scheduler:根据其调度时是否考虑各RS当前的负载状态被分为两种:静态方法和动态方法 静态方法:仅根据算法本身进行调度，不考虑RS的负载情况 动态方法:主要根据每RS当前的负载状态及调度算法进行调度Overhead=value较小的RS将被调度
(2).lvs静态调度算法
1、RR:roundrobin 轮询 RS分别被调度，当RS配置有差别时不推荐
2、WRR:Weighted RR，加权轮询根据RS的配置进行加权调度，性能差的RS被调度的次数少
3、SH:Source Hashing，实现session sticky，源IP地址hash;将来自于同一个IP地址的请求始终发往 第一次挑中的RS，从而实现会话绑定
4、DH:Destination Hashing;目标地址哈希，第一次轮询调度至RS，后续将发往同一个目标地址的请 求始终转发至第一次挑中的RS，典型使用场景是正向代理缓存场景中的负载均衡，如:宽带运营商
(3).lvs动态调度算法 主要根据RS当前的负载状态及调度算法进行调度Overhead=value较小的RS会被调度 

1、LC:least connections(最少链接发)
适用于长连接应用Overhead(负载值)=activeconns(活动链接数) x 256+inactiveconns(非活 动链接数)
2、WLC:Weighted LC(权重最少链接) 默认调度方法Overhead=(activeconns x 256+inactiveconns)/weight
3、SED:Shortest Expection Delay, 初始连接高权重优先Overhead=(activeconns+1+inactiveconns) x 256/weight 但是，当node1的权重为1，node2的权重为10，经过运算前几次的调度都会被node2承接
4、NQ:Never Queue，第一轮均匀分配，后续SED
5、LBLC:Locality-Based LC，动态的DH算法，使用场景:根据负载状态实现正向代理
6、LBLCR:LBLC with Replication，带复制功能的LBLC，解决LBLC负载不均衡问题，从负载重的复制 到负载轻的RS
 

四、LVS部署命令介绍

4.1

程序包：ipvsadm
Unit File: ipvsadm.service
主程序：/usr/sbin/ipvsadm
规则保存工具：/usr/sbin/ipvsadm-save
规则重载工具：/usr/sbin/ipvsadm-restore
配置文件：/etc/sysconfig/ipvsadm-config
ipvs调度规则文件：/etc/sysconfig/ipvsadm 

4.2lvs中的增删改
.管理集群服务中的增删改

-A #添加

-E #修改

-t #tcp服务

-u #udp服务

-s #指定调度算法，默认为WLC

-p #设置持久连接超时，持久连接可以理解为在同一个时间段同一个来源的请求调度到同一Realserver

-f #firewall mask 火墙标记，是一个数字

4.2.1

管理集群服务中的增删改：  

-A #添加

-E #修改

-t #tcp服务

-u #udp服务

-s #指定调度算法，默认为WLC

-p #设置持久连接超时，持久连接可以理解为在同一个时间段同一个来源的请求调度到同一Realserver

-f #firewall mask 火墙标记，是一个数字

增加：
[root@haproxy ~]# ipvsadm -A -t 192.168.0.50:80 -s rr
[root@haproxy ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.0.50:80 rr

 
修改：
[root@haproxy ~]# ipvsadm -E -t 192.168.0.50:80 -s wrr
[root@haproxy ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.0.50:80 wrr

删除：
[root@haproxy ~]# ipvsadm -D -t 192.168.0.50:80
[root@haproxy ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

管理集群中RealServer的增删改

参数	说明
-a	添加realserver
-e	更改realserver
-t	tcp协议
-u	udp协议
-f	火墙标签
-r	realserver地址
-g	直连路由模式
-i	ip隧道模式
-m	nat模式
-w	设定权重
-Z	清空计数器
-C	清空lvs策略
-L	查看lvs策略
-n	不做解析
--rate	输出速率信息

#添加
[root@DR-server ~]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.30 -m
[root@DR-server ~]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.40 -m -w 2
#更改
[root@DR-server ~]# ipvsadm -e -t 172.25.254.100:80 -r 192.168.0.30 -m -w 1
[root@DR-server ~]# ipvsadm -e -t 172.25.254.100:80 -r 192.168.0.30 -i -w 1
#删除
[root@DR-server ~]# ipvsadm -d -t 172.25.254.100:80 -r 192.168.0.30
[root@DR-server ~]# ipvsadm -Ln
[root@DR-server ~]# ipvsadm -Ln --rate
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port                 CPS   InPPS   OutPPS   InBPS   OutBPS
 -> RemoteAddress:Port
TCP 172.25.254.100:80                   0       0       0       0       0
 -> 192.168.0.30:80                     0       0       0       0       0
 -> 192.168.0.40:80                     0       0       0       0       0
[root@DR-server ~]# ipvsadm -C
[root@DR-server ~]# ipvsadm -Z -t 172.25.254.20:80
[root@DR-server ~]# ipvsadm -Ln --rate
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port                 CPS   InPPS   OutPPS   InBPS   OutBPS
 -> RemoteAddress:Port
TCP 172.25.254.20:80                   0       0       0       0       0
 -> 192.168.0.30:80                     0       0       0       0       0
 -> 192.168.0.40:80                     0       0       0       0       0

五、LVS部署集群演示

• Director 服务器采用双网卡，一个是桥接网卡连接外网，一个是仅主机网卡与后端Web服务器相连
• Web服务器采用仅主机网卡与director相连
• Web服务器网关指向192.168.0.100
• 后端web服务器不需要连接外网

实验环境：

主机名	角色
LVS	调度器（VS）
webserver1	服务器（RS）
webserver2	服务器（RS）

lvs主机

server1.2

lvs配置

5.1.2 lvs配置:
yum install ipvsadm -y  --- 安装软件ipvsadm
echo "net.ipv4.ip_forward=1" > /etc/sysctl.conf/  --- 启用内核路由，并写入配置文件
布置策略
[root@lvs ~]# ipvsadm -A -t 172.25.254.100:80 -s rr
[root@lvs ~]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.10:80 -m
[root@lvs ~]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.20:80 -m
[root@lvs ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.25.254.100:80 rr
  -> 192.168.0.10:80              Masq    1      0          0         
  -> 192.168.0.20:80              Masq    1      0          0         
[root@lvs ~]# 
 
systemclt stop firewalld
 

webserver1配置:
yum install httpd -y
 echo webserver1 - 192.168.0.10 > /var/www/html/index.html
 systemctl restart httpd
systemctl stop firewalld

 webserver2配置：
yum install httpd -y
 echo webserver2 - 192.168.0.20 > /var/www/html/index.html
 systemctl restart httpd
systemctl stop firewalld

5.1.5 lvs上面测试：
[root@lvs ~]# for i in {1..10}
> do
> curl 172.25.254.100
> done

5.2 部署DR模式集群

创建环境

clinent主机环境：

[root@client ~]# cat /etc/NetworkManager/system-connections/ens160.nmconnection
[connection]
id=ens160
type=ethernet
interface-name=ens160
 
[ipv4]
address1=172.25.254.200/24,172.25.254.100
method=manual
 

router主机环境：

lvs主机

server1

server2

5.2.1 配置要点： 
Director服务器采用双IP桥接网络，一个是VIP，一个DIP
Web服务器采用和DIP相同的网段和Director连接
每个Web服务器配置VIP
每个web服务器可以出外网
所有主机都要关掉防火墙和selinux
5.2.2解决vip响应问题 DR模型中各主机上均需要配置VIP，解决地址冲突的方式有三种:
(1)在前端网关做静态绑定
(2)在各RS使用arptables 

(3)在各RS修改内核参数，来限制arp响应和通告的级别 限制响应级别:arp_ignore

限制响应级别:arp_ignore

0:默认值，表示可使用本地任意接口上配置的任意地址进行响应 

1:仅在请求的目标IP配置在本地主机的接收到请求报文的接口上时，才给予响应
限制通告级别:arp_announce
0:默认值，把本机所有接口的所有信息向每个接口的网络进行通告 

1:尽量避免将接口信息向非直接连接网络进行通告 

2:必须避免将接口信息向非本网络进行通告

lvs配置

设定vip
[root@lvs ~]# ip a a dev lo 192.168.0.200/32
 配置策略：
[root@lvs ~]# ipvsadm -A -t 192.168.0.200:80 -s wrr 
[root@lvs ~]# ipvsadm -a -t 192.168.0.200:80 -r 192.168.0.10:80 -g -w 1
[root@lvs ~]# ipvsadm -a -t 192.168.0.200:80 -r 192.168.0.20:80 -g -w 2
[root@lvs ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.0.200:80 wrr
  -> 192.168.0.10:80              Route   1      0          0         
  -> 192.168.0.20:80              Route   2      0          0         
 

RS1和RS2配置：

[root@webserver1 ~]# ip a a dev lo 192.168.0.200/32
[root@webserver1 ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@webserver1 ~]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce 
[root@webserver1 ~]# echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce 
[root@webserver1 ~]# echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore 
[root@webserver1 ~]# 
 
[root@webserver2 ~]# ip a a dev lo 192.168.0.200/32
[root@webserver2 ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@webserver2 ~]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce 
[root@webserver2 ~]# echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce 
[root@webserver2 ~]# echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore

client 测试效果： 

5.3防火墙标签解决轮询错误

5.3.1 轮询规则中可能会遇到的错误

        以http和https为例，当我们在RS中同时开放80和443端口，那么默认控制是分开轮询的，这样我们就出现了一个轮询错乱的问题。当我第一次访问80被轮询到RS1后下次访问443仍然可能会被轮询到RS1上。

5.3.2防火墙标记解决轮询调度问题
FWM:FireWall Mark MARK

target 可用于给特定的报文打标记,

--set-mark value

其中:value 可为0xffff格式，表示十六进制数字借助于防火墙标记来分类报文，而后基于标记定义集群服 务:可将多个不同的应用使用同一个集群服务进行调度