LVS-集群概念引入及小实验

m0_67751642

已于 2024-08-12 02:11:30 修改

阅读量539

点赞数 12

文章标签： lvs 服务器 linux

于 2024-08-12 02:10:45 首次发布

本文链接：https://blog.csdn.net/m0_67751642/article/details/141037502

版权

1.LVS概念

LVS（Linux Virtual Server）是一种用于实现服务器集群的负载均衡技术。它可以帮助您管理和扩展Web服务或其他网络服务的性能和可靠性。

1.1 集群Cluster

集群Cluster是为了解决某个某个特定问题将堕胎计算机组合起来形成的单个系统

1.1 .1 LB负载均衡概念引入

正常情况下是多台客户机访问一台服务器，这就导致服务器的压力比较大

如果我们想要服务器顶住压力，就必须要扩展系统的性能，有两种方式

Scale UP：向上扩展,增强服务器的硬件性能，但硬件性能有上限，所以有下面第二种方式
Scale Out：向外扩展,即增加服务器的数量

但这也会有调度分配问题，客户机在访问时只知道访问一个ip地址，而流量没有办法自己合理分配到多个服务器上，为了解决调度问题，我们可以在客户机与服务器之间增加一台设备，在中间设备上配置相应算法，使得流量可以平均分摊到多台服务器上，从而实现负载均衡。

LVS相关术语：

VS：负责调度的设备，根据调度算法挑选RS
RS：真正提供服务的服务器

1.1.2 HA 高可用

上面介绍的负载均衡还是有一个致命缺陷，就是调度器VS不能出问题，为弥补这一缺陷，我们可以再增加一台VS调度器，当主VS调度器出问题时，由副VS调度器补上，避免系统中断，而这种保证无故障的方式称为高可用(High Availiablity)，简称HA

1.2 分布式

上面介绍了集群的LB负载均衡和HA高可用

但是生活中服务器需要处理的数据复杂，一台服务器处理比较慢或者繁琐，所以我们可以将程序进行分步处理，分布式主要有两种：

1.2.1 分布式存储

上面的RS既有web又有数据库，太混乱，所以我们可以将原本一台服务器上既有Web又有数据库的服务器一分为二

1.2.2 分布式计算

有的服务器在处理一个请求时需要用CPU进行处理，而处理能力又CPU性能决定，可能会存在CPU计算不了的情况，假设需要计算1+2+3+....+100，使用分布式计算我们可以把前50位的计算交给一台服务器，后50位交给另一台服务器，最后把两个结果相加。

2.LVS实验准备环境

1.四台虚拟机作：客户机、LVS调度服务器、servera、serverb，我使用的是redhat9.3

2.因为实验ip比较复杂，建议将net模式和仅主机模式的网段跟我修改一致

3.新建好LVSserver、lvs_servera、lvs_serverb,将LVSserver新增一块网卡，一共两块网卡，一块网卡为NAT模式，另一块为仅主机模式；servera和serverb的都只有一块网卡，为仅主机模式

3.nat模式实验

实验分析图

实验思路很简单，LVS功能的配置就几条命令，难在网卡ip环境可能会配错，如上图，LVS服务器有两张网卡，一张网卡是net模式，配置ip为172.25.254.100/24，作为客户机的网关；另一张网卡为仅主机模式，配置ip192.168.0.100/24，作为servera和serverb的网关。servera和serverb的网卡为仅主机模式，配置的网关是192.168.0.100

跟着我配置ip的时候注意自己网卡的名称，使用ip a 查看，我的网卡名称统一为eth0、eth1

servera

网卡为仅主机模式，配置ip为192.168.0.98/24,网关为192.168.0.100，配置httpd服务

vim /etc/Networkyanager/system-connections/eth0.nmconnection

[connection]

id=eth0
type=ethernet

interface-name=eth0

[ipv4]
address1=192.168.0.98/24,192.168.0.100

method=manual

配置httpd服务

yum install httpd -y

echo servera---192.168.0.98 > /var/www/html/index.html

systemctl restart httpd

systemctl stop firewalld

serverb

网卡为仅主机模式，配置ip为192.168.0.99/24,网关为192.168.0.100，配置httpd服务

vim /etc/Networkyanager/system-connections/eth0.nmconnection

[connection]

id=eth0
type=ethernet

interface-name=eth0

[ipv4]
address1=192.168.0.99/24,192.168.0.100

method=manual

配置httpd服务

yum install httpd -y

echo serverb---192.168.0.99 > /var/www/html/index.html

systemctl restart httpd

systemctl stop firewalld

LVS服务器

网卡1：网卡名称：eth0，NAT模式，ip：172.25.254.100/24

vim /etc/Networkyanager/system-connections/eth0.nmconnection

[connection]

id=eth0
type=ethernet

interface-name=eth0
[ipv4]

address1=172.25.254.100/24,172 .25 .254.2
method=maual
dns=114.114.114.114;

网卡1：网卡名称：eth1，仅主机模式，ip：192.168.0.100/24

vim /etc/Networkyanager/system-connections/eth1.nmconnection

[connection]

id=eth1
type=ethernet

interface-name=eth1
[ipv4]

address1=192.168.0.100/24,192.168.0.2
method=maual
dns=114.114.114.114;

打开路由功能：

echo net.ipv4.ip_forward=1 >> /etc/sysctl.conf

刷新：

sysctl -p

配置RS

#下载服务

dnf install ipvsadm -y

#配置RS

ipvsadm -A -t 172.25.254.100:80 -s rr

#查看

ipvsadm -Ln

#添加

ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.10:80 -m

ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.20:80 -m

客户机：

网卡为NAT，随便配置一个172.25.254.30/24，网关为172.25.254.100

测试

for i in {1..10}

> do

> curl 172.25.254.100

> done

nat 模式数据传输过程

1.客户端发送访问请求，请求数据包中含有请求来源（cip），访问目标地址（VIP）访问目标端口（9000port）

2.VS服务器接收到访问请求做DNAT把请求数据包中的目的地由VIP换成RS的RIP和相应端口

3.RS1相应请求，发送响应数据包，包中的相应保温为数据来源（RIP1）响应目标（CIP）相应端口（9000port）

4.VS服务器接收到响应数据包，改变包中的数据来源（RIP1-->VIP）,响应目标端口（9000-->80）

5.VS服务器把修改过报文的响应数据包回传给客户端

6.lvs的NAT模式接收和返回客户端数据包时都要经过lvs的调度机，所以lvs的调度机容易阻塞

4.DR实验

DR：Direct Routing，直接路由，LVS默认模式,应用最广泛,通过为请求报文重新封装一个MAC首部进行转发，源MAC是DIP所在的接口的MAC，目标MAC是某挑选出的RS的RIP所在接口的MAC地址；源IP/PORT，以及目标IP/PORT均保持不变

在DR模式中，RS接收到访问请求后不需要回传给VS调度器，直接把回传数据发送给client，所以RS和vs上都要有vip

4.1 实验图

实验说明：

LVS、servera和serverb共同组成公司内网，并且三台服务器都要配置vip用于对外，三台服务器的网关都要指向router服务器的右边的ip(192.168.0.100)，由router服务器接收数据向外转发

router服务器左边配置172.25.254.100连接外网，右边配置192.168.0.100连接公司内网，在中间充当路由器进行数据转发，所以需要打开路由功能。

外网客户机访问时访问vip，LVS服务器、servera、serverb都配有192.168.0.200/32的vip，而我们的负载均衡需要让数据到LVS服务器上再进行负载均衡，所以我们需要把servera和serverb的vip不对外响应，这样其他客户机在访问vip时就只会访问到LVS上。

4.2 实验配置

上面基础实验servera和serverb已经配置98和99的ip，以及网关都是100

所以将servera和serverb环回配置ip192.168.0.200/32充当vip即可，注意掩码必须是32

servera：

#给环回添加临时ip

ip a a 192.168.0.200/32 dev lo

#使vip不对外响应

echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore

serverb：

#给环回添加临时ip

ip a a 192.168.0.200/32 dev lo

#使vip不对外响应

echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore

router：

新建一个虚拟机router，有两张网卡

一张NAT模式配置ip：172.25.254.100/24

另一张仅主机模式配置ip：192.168.0.100/24

执行sysctl -a | grep ip_forward命令，看第一行的值是否为1，如果为1则已经打开，不需要执行下列命令

打开路由功能：

echo net.ipv4.ip_forward=1 >> /etc/sysctl.conf

刷新：

sysctl -p

LVS:

1.基础实验中有两张网卡，删除一张NAT网卡，只留一张仅主机模式的网卡，并配置ip为192.168.0.50/24 网关为：192.168.0.100 lo:192.168.0.200/32

2.配置LVS服务

[root@lvs ~]# ipvsadm -A -t 192.168.0.200:80 -s wrr
[root@lvs ~]# ipvsadm -a -t 192.168.0.200:80 -r 192.168.0.98:80 -g -w 1

[root@lvs ~]# ipvsadm -a -t 192.168.0.200:80 -r 192.168.0.99:80 -g -w 2

客户端测试

for i in {1..10}

> do

> curl 192.168.0.200

> done

4.3 DR模式数据传输过程

1.客户端发送数据帧给vs调度主机帧中内容为客户端IP+客户端的MAC+VIP+VIP的MAC

2.VS调度主机接收到数据帧后把帧中的VIP的MAC该为RS1的MAC，此时帧中的数据为客户端IP+客户端的MAC+VIP+RS1的MAC

3.RS1得到2中的数据包做出响应回传数据包，数据包中的内容为VIP+RS1的MAC+客户端IP+客户端IP的MAC

DR模式的特点：

1.Director和各RS都配置有VIP

2.确保前端路由器将目标IP为VIP的请求报文发往Director

3.在前端网关做静态绑定VIP和Director的MAC地址

4.RS的RIP可以使用私网地址，也可以是公网地址；RIP与DIP在同一IP网络；

5.RIP的网关不能指向DIP，以确保响应报文不会经由Director

6.RS和Director要在同一个物理网络

7.请求报文要经由Director，但响应报文不经由Director，而由RS直接发往Client

8.不支持端口映射（端口不能修败）

9.RS可使用大多数OS系统

5.防火墙标记解决轮询调度问题

RS安装mod_ssl模块让RS支持https

servera

yum install mod_ssl -y

systemctl restart httpd

serverb

yum install mod_ssl -y

systemctl restart httpd

LVS服务器

设置调度添加443端口

ipvsadm -A -t 192.168.0.200:443 -s rr

ipvsadm -a -t 192.168.0.200:443 -r 192.168.0.10:80 -g

ipvsadm -a -t 192.168.0.200:443 -r 192.168.0.20:80 -g

为端口做标记

iptables -t mangle -A PREROUTING -d 192.168.0.200 -p tcp -m multiport --dports 80,443 -j MARK --set-mark 66

基于标记定义集群服务

ipvsadm -A -f 66 -s rr

ipvsadm -a -f 66 -r 192.168.0.10 -g

ipvsadm -a -f 66 -r 192.168.0.20 -g

在客户机上测试

curl 192.168.0.200;curl -k https://192.168.0.200

6.LVS持久链接

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] 默认360秒

ipvsadm -E -f 6666 -s rr -p [3000]

ipvsadm -LnC

7.LVS调度算法

ipvs scheduler：根据其调度时是否考虑各RS当前的负载状态被分为两种：静态方法和动态方法

静态方法：仅根据算法本身进行调度，不考虑RS的负载情况

动态方法：主要根据每RS当前的负载状态及调度算法进行调度Overhead=value较小的RS将被调度

7.1 静态调度算法

1、RR：roundrobin 轮询 RS分别被调度，当RS配置有差别时不推荐

2、WRR：Weighted RR，加权轮询根据RS的配置进行加权调度，性能差的RS被调度的次数少

3、SH：Source Hashing，实现session sticky，源IP地址hash；将来自于同一个IP地址的请求始终发往第一次挑中的RS，从而实现会话绑定

4、DH：Destination Hashing；目标地址哈希，第一次轮询调度至RS，后续将发往同一个目标地址的请求始终转发至第一次挑中的RS，典型使用场景是正向代理缓存场景中的负载均衡，如：宽带运营商

7.2 动态调度算法

主要根据RS当前的负载状态及调度算法进行调度Overhead=value较小的RS会被调度

1、LC：least connections（最少链接发）

适用于长连接应用Overhead（负载值）=activeconns（活动链接数） x 256+inactiveconns（非活动链接数）

2、WLC：Weighted LC（权重最少链接）默认调度方法Overhead=(activeconns x 256+inactiveconns)/weight 3、SED：Shortest Expection Delay,

初始连接高权重优先Overhead=(activeconns+1+inactiveconns) x 256/weight 但是，当node1的权重为1，node2的权重为10，经过运算前几次的调度都会被node2承接

4、NQ：Never Queue，第一轮均匀分配，后续SED 5、LBLC：Locality-Based LC，动态的DH算法，使用场景：根据负载状态实现正向代理

6、LBLCR：LBLC with Replication，带复制功能的LBLC，解决LBLC负载不均衡问题，从负载重的复制到负载轻的RS

7.3 在4.15版本内核以后新增调度算法

1.FO(Weighted Fai Over)调度算法：常用作灰度发布

在此FO算法中，遍历虚拟服务所关联的真实服务器链表，找到还未过载(未设置IP_VS_DEST_F OVERLOAD标志)的且权重最高的真实服务器，进行调度当服务器承接大量链接，我们可以对此服务器进行过载标记（IP_VS_DEST_F OVERLOAD），那么vs调度器就不会把链接调度到有过载标记的主机中。

2.OVF(Overflow-connection)调度算法

基于真实服务器的活动连接数量和权重值实现。将新连接调度到权重值最高的真实服务器，直到其活动连接数量超过权重值，之后调度到下一个权重值最高的真实服务器,在此OVF算法中，遍历虚拟服务相关联的真实服务器链表，找到权重值最高的可用真实服务器。一个可用的真实服务器需要同时满足以下条件:

未过载(未设置IP_VS_DEST_F OVERLOAD标志)
真实服务器当前的活动连接数量小于其权重值
其权重值不为零

8.LVS部署命令总结

8.1 管理集群命令

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]

-A #添加

-E #修改

-t #tcp服务

-u #udp服务

-s #指定调度算法，默认为WLC

-p#设置持久连接超时,持久连接可理解为在同一时间段同一个来源的请求调度到同一个Realserver

-f #firewall mask 火墙标记，是一个数字

演示

#增加

[root@DR-server ~]# ipvsadm -A -t 172.25.254.100:80 -s rr

[root@DR-server ~]# ipvsadm -A -f 66 -p 3000

#修改

[root@DR-server ~]# ipvsadm -E -t 172.25.254.100:80 -s wrr -p 3000

#删除

[root@DR-server ~]# ipvsadm -D -t 172.25.254.100:80

[root@DR-server ~]# ipvsadm -D -f 66

8.2 管理集群中的RealServer

ipvsadm -a|e -t|u|f service-address -r realserver-address [-g|i|m] [-w weight]

-a #添加realserver -e #更改realserver -t #tcp协议

-u #udp协议

-f #火墙标签

-r #realserver地址

-g #直连路由模式

-i #ipip隧道模式

-m #nat模式

-w #设定权重

-Z #清空计数器

-C #清空lvs策略

-L #查看lvs策略

-n #不做解析

--rate ：输出速率信息

演示

#添加

[root@DR-server ~]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.30 -m

[root@DR-server ~]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.40 -m -w 2 #更改

[root@DR-server ~]# ipvsadm -e -t 172.25.254.100:80 -r 192.168.0.30 -m -w 1

[root@DR-server ~]# ipvsadm -e -t 172.25.254.100:80 -r 192.168.0.30 -i -w 1 #删除

[root@DR-server ~]# ipvsadm -d -t 172.25.254.100:80 -r 192.168.0.30

[root@DR-server ~]# ipvsadm -Ln

[root@DR-server ~]# ipvsadm -Ln --rate IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port CPS InPPS OutPPS InBPS OutBPS -> RemoteAddress:Port TCP 172.25.254.100:80 0 0 0 0 0 -> 192.168.0.30:80 0 0 0 0 0 -> 192.168.0.40:80 0 0 0 0 0

[root@DR-server ~]# ipvsadm -C

[root@DR-server ~]# ipvsadm -Z -t 172.25.254.20:80

[root@DR-server ~]# ipvsadm -Ln --rate IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port CPS InPPS OutPPS InBPS OutBPS -> RemoteAddress:Port TCP 172.25.254.20:80 0 0 0 0 0 -> 192.168.0.30:80 0 0 0 0 0 -> 192.168.0.40:80 0 0 0 0 0