LVS就应该这样学

已于 2024-08-08 14:32:49 修改
阅读量935 收藏 14
点赞数 30
分类专栏： 运维 文章标签： lvs 运维 linux
于 2024-08-07 21:38:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m2282475145/article/details/141001616
版权

目录

一.实验环境

二.集群和分布式简介

2.1.系统性能扩展方式

2.2.集群Cluster

2.3.分布式

2.4.集群和分布式

三.lvs（Linux virtual server）运行原理

3.1 lvs简介 （调度器）

3.2 lvs集群体系结构

3.3.LVS概念

3.4.lvs集群的类型

3.4.1.nat模式

3.4.2.nat模式数据逻辑

3.4.3.DR模式 （vs只收不发）（不可以跨网络）

3.4.4.DR模式数逻辑

3.4.5.DR模式数据传输过程

3.4.6.DR模式的特点

3.4.7.TUN模式（了解） （可以跨网络）

3.4.8.TUN模式数据传输过程

3.4.9.TUN模式特点

3.4.10.fullnet模式（了解）

3.4.11.LVS工作模式总结

3.5.lvs的调度算法 （超级重要）

3.5.1.lvs调度算法类型

3.5.2.lvs静态调度算法

3.5.2.lvs动态调度算法

3.5.3.在4.15版本内核以后新增调度算法

四.lvs部署命令介绍

4.1.lvs软件相关信息

4.2.ipvsadm命令

4.3.lvs集群中的增删改

1.管理集群服务中的增删改（集群）

2.管理集群中RealServer的曾增删改 （RealServer）

五.LVS实战案例

5.1部署NAT模式集群案例

lvs

web1

web2

测试

5.2部署DR模式集群案例

client（客户端）

router（路由器）

lvs

webserver1

webserver2

测试：

5.3.防火墙标签解决轮询错误

5.3.1.轮询规则中可能会遇到的错误

5.3.2.防火墙标记解决轮询调度问题

5.4.lvs持久链接

一.实验环境

主机名

角色

server1

调度器（VS）

server2

真实服务器（RS）

server3

真实服务器（RS）

server4

测试机

二.集群和分布式简介

2.1.系统性能扩展方式

·Scale UP：向上扩展,增强 （硬件）

·Scale Out：向外扩展,增加设备，调度分配问题，Cluster

2.2.集群Cluster

Cluster: 集群是为了解决某个特定问题将堕胎计算机组合起来形成的单个系统

Cluster常见的三种类型：

·LB：LoadBalancing（负载均衡）由多个主机组成，每个主机只承担一部分访问

·HA：High Availiablity（高可用（有主备））SPOF（single Point Of failure）

MTBF:Mean Time Between Failure 平均无故障时间，正常时间

MTTR:Mean Time To Restoration（ repair）平均恢复前时间，故障时间

A=MTBF/（MTBF+MTTR）（正常时间/（正常时间+故障时间）） (0,1)：99%, 99.5%, 99.9%, 99.99%, 99.999%

SLA：Service level agreement（服务等级协议）是在一定开销下为保障服务的性能和可用性，服务提供商与用户间定义的一种双方认可的协定。通常这个开销是驱动提供服务质量的主要因素。在常规的领域中，总是设定所谓的三个9，四个9来进行表示，当没有达到这种水平的时候，就会有一些列的惩罚措施，而运维，最主要的目标就是达成这种服务水平。

停机时间又分为两种，一种是计划内停机时间，一种是计划外停机时间，而运维则主要关注计划外停机时间

·HPC：High-performance computing（高性能计算，国家战略资源，不在课程范围内）（在有限的资源中实现无限的运算性能）

2.3.分布式

分布式：把一个请求拆分，使用微服务完成（多台主机完成同一个任务）

分布式存储:Ceph，GlusterFs，FastDFS，MogileFs

分布式计算:hadoop，Spark

分布式常见应用

·分布式应用-服务按照功能拆分，使用微服务

·分布式静态资源--静态资源放在不同的存储集群上

·分布式数据和存储--使用key-value缓存系统

·分布式计算--对特殊业务使用分布式计算，比如Hadoop集群

2.4.集群和分布式

·集群：同一个业务系统，部署在多台服务器上，集群中，每一台服务器实现的功能没有差别，数据和代码都是一样的

·分布式：一个业务被拆成多个子业务，或者本身就是不同的业务，部署在多台服务器上。分布式中，每一台服务器实现的功能是有差别的，数据和代码也是不一样的，分布式每台服务器功能加起来，才是完整的业务

·分布式是以缩短单个任务的执行时间来提升效率的，而集群则是通过提高单位时间内执行的任务数来提升效率,

·对于大型网站，访问用户很多，实现一个群集，在前面部署一个负载均衡服务器，后面几台服务器完成同一业务。如果有用户进行相应业务访问时，负载均衡器根据后端哪台服务器的负载情况，决定由给哪一台去完成响应，并且台服务器垮了，其它的服务器可以顶上来。分布式的每一个节点，都完成不同的业务，如果一个节点垮了，那这个业务可能就会失败

集群就是银行1号窗口和2号窗口,服务是一样的;

分布式就是搬家,你搬冰箱,我搬电脑,目标是一样的；

三.lvs（Linux virtual server）运行原理

3.1 lvs简介 （调度器）

LVS:Linux Virtual Server，负载调度器，内核集成，章文嵩，阿里的四层SLB(Server LoadBalance)是基于LVS+keepalived实现

四层只能解决到传输层次的

LVS 官网: http://www.linuxvirtualserver.org/

LVS 相关术语

·VS: Virtual Server，负责调度

·RS:RealServer，负责真正提供服务

3.2 lvs集群体系结构

工作原理：

VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS，根据调度算法来挑选RS

3.3.LVS概念

·VS：Virtual Server (调度器)

·RS：Real Server （真实的主机）

·CIP：Client IP （客户的ip）

·VIP: Virtual serve IP VS外网的IP （访问lvs的ip）

·DIP: Director IP VS内网的IP （访问内网的ip）

·RIP: Real server IP （真实主机的ip）

访问流程：CIP <--> VIP == DIP <--> RIP

3.4.lvs集群的类型

lvs-nat： 修改请求报文的目标IP,多目标IP的DNAT

lvs-dr：操纵封装新的MAC地址

lvs-tun： 在原请求IP报文之外新加一个IP首部

lvs-fullnat：修改请求报文的源和目标IP （cip和dip都会变化）

3.4.1.nat模式

Ivs-nat:

·本质是多目标IP的DNAT，通过将请求报文中的目标地址和目标端口修改某挑出的RS的RIP和PORT实现转发

·RIP和DIP应在同一个IP网络，且应使用私网地址;RS的网关要指向DIP

·请求报文和响应报文都必须经由Director转发，Director易于成为系统瓶颈

·支持端口映射，可修改请求报文的目标PORT

·VS必须是Linux系统，RS可以是任意OS系统

3.4.2.nat模式数据逻辑

1.客户端发送访问请求，请求数据包中含有请求来源（cip），访问目标地址（VIP）访问目标端口（9000port）

2.VS服务器接收到访问请求做DNAT把请求数据包中的目的地由VIP换成RS的RIP和相应端口

3.RS1相应请求，发送响应数据包，包中的相应保温为数据来源（RIP1）响应目标（CIP）相应端口（9000port）

4.VS服务器接收到响应数据包，改变包中的数据来源（RIP1-->VIP）,响应目标端口（9000-->80）

5.VS服务器把修改过报文的响应数据包回传给客户端

6.lvs的NAT模式接收和返回客户端数据包时都要经过lvs的调度机，所以lvs的调度机容易阻塞

客户请求到达vip后进入PREROUTING,在没有ipvs的时候因该进入本机INPUT,当IPVS存在后访问请求在通过PREROUTING后被ipvs结果并作nat转发因为ipvs的作用点是在PREROUTING和INPUT链之间，所以如果在prerouting中设定规则会干扰ipvs的工作。所以在做lvs时要把iptables的火墙策略全清理掉。

nat缺陷：会造成vs的压力很大

3.4.3.DR模式 （vs只收不发）（不可以跨网络）

DR：Direct Routing，直接路由，LVS默认模式,应用最广泛,通过为请求报文重新封装一个MAC首部进行转发，源MAC是DIP所在的接口的MAC，目标MAC是某挑选出的RS的RIP所在接口的MAC地址；源IP/PORT，以及目标IP/PORT均保持不变(DR模式下ip和端口都不会发生改变)

3.4.4.DR模式数逻辑

在DR模式中，RS接收到访问请求后不需要回传给VS调度器，直接把回传数据发送给client，所以RS和vs上都要有vip，但是不可以跨vlin

3.4.5.DR模式数据传输过程

1.客户端发送数据帧给vs调度主机帧中内容为客户端IP+客户端的MAC+VIP+VIP的MAC

2.VS调度主机接收到数据帧后把帧中的VIP的MAC改为RS1的MAC，此时帧中的数据为客户端IP+客户端的MAC+VIP+RS1的MAC （将vip的MAC改成了RS1的MAC）

3.RS1得到2中的数据包做出响应回传数据包，数据包中的内容为VIP+RS1的MAC+客户端IP+客户端IP的MAC

注意：DR模式不做端口的转换，端口必须要相同

3.4.6.DR模式的特点

1.Director和各RS都配置有VIP

2.确保前端路由器将目标IP为VIP的请求报文发往Director

3.在前端网关做静态绑定VIP和Director的MAC

·在RS上使用arptables工具

arptables -A IN -d $VIP -j DROP
arptables -A OUT -s $VIP -j mangle --mangle-ip-s $RIP

·在RS上修改内核参数以限制arp通告及应答级别

/proc/sys/net/ipv4/conf/all/arp_ignore
/proc/sys/net/ipv4/conf/all/arp_announce

4.RS的RIP可以使用私网地址，也可以是公网地址；RIP与DIP在同一IP网络；

5.RIP的网关不能指向DIP，以确保响应报文不会经由Director

6.RS和Director要在同一个物理网络

7.请求报文要经由Director，但响应报文不经由Director，而由RS直接发往Client

8.不支持端口映射（端口不能修改）

9.RS可使用大多数OS系统

3.4.7.TUN模式（了解） （可以跨网络）

转发方式：不修改请求报文的IP首部（源IP为CIP，目标IP为VIP），而在原IP报文之外再封装一个IP首部 （源IP是DIP，目标IP是RIP），将报文发往挑选出的目标RS；RS直接响应给客户端（源IP是VIP，目标IP是CIP）

3.4.8.TUN模式数据传输过程

1.客户端发送请求数据包，包内有源IP+vip+dport

2.到达vs调度器后对客户端发送过来的数据包重新封装添加IP报文头，新添加的IP报文头中包含TUNSRCIP(DIP)+TUNDESTIP(RSIP1)并发送到RS1

3.RS收到VS调度器发送过来的数据包做出响应，生成的响应报文中包含SRCIP(VIP)+DSTIP（CIP）+port，响应数据包通过网络直接回传给client

3.4.9.TUN模式特点

1.DIP, VIP, RIP都应该是公网地址

2.RS的网关一般不能指向DIP

3.请求报文要经由Director，但响应不能经由Director

4.不支持端口映射

5.RS的OS须支持隧道功能

3.4.10.fullnet模式（了解）

fullnat：通过同时修改请求报文的源IP地址和目标IP地址进行转发

CIP --> DIP

VIP --> RIP

1.VIP是公网地址，RIP和DIP是私网地址，且通常不在同一IP网络；因此，RIP的网关一般不会指向DIP

2.RS收到的请求报文源地址是DIP，因此，只需响应给DIP；但Director还要将其发往Client

3.请求和响应报文都经由Director

4.支持端口映射

注意：此类型kernel默认不支持

3.4.11.LVS工作模式总结

NAT模式

TUN模式

DR模式

RS操作系统

不限

支持隧道

禁用arp

调度器和服务器网络

可跨网络

可跨网络

不可跨网络

调度服务器数量服务器数量

少

多

多

RS服务器网关

指向到调度器DIP

指向到路由

指向到路由

·lvs-nat与lvs-fullnat：请求和响应报文都经由Director

·lvs-nat：RIP的网关要指向DIP

·lvs-fullnat：RIP和DIP未必在同一IP网络，但要能通信

·lvs-dr与lvs-tun：请求报文要经由Director，但响应报文由RS直接发往Client

·lvs-dr：通过封装新的MAC首部实现，通过MAC网络转发

·lvs-tun：通过在原IP报文外封装新IP头实现转发，支持远距离通信

3.5.lvs的调度算法 （超级重要）

3.5.1.lvs调度算法类型

ipvs scheduler：根据其调度时是否考虑各RS当前的负载状态被分为两种：静态方法和动态方法

静态方法：仅根据算法本身进行调度，不考虑RS的负载情况

动态方法：主要根据每RS当前的负载状态及调度算法进行调度Overhead (开销值)=value较小的RS将被调度

3.5.2.lvs静态调度算法

1、RR：roundrobin 轮询 RS分别被调度，当RS配置有差别时不推荐

2、WRR：Weighted RR，加权轮询根据RS的配置进行加权调度，性能差的RS被调度的次数少 （权重轮询）

3、SH：Source Hashing（源hash），实现session sticky，源IP地址hash；将来自于同一个IP地址的请求始终发往第一次挑中的RS，从而实现会话绑定 （将源地址进行hash运算，然后服务器记录这个值，下次遇到这个值直接访问这个服务器）

4、DH：Destination Hashing（目的地地址hash）；目标地址哈希，第一次轮询调度至RS，后续将发往同一个目标地址的请求始终转发至第一次挑中的RS，典型使用场景是正向代理缓存场景中的负载均衡，如：宽带运营商 （只要目的地是同一个就调到同一个地址去）

注意：这四个算法都不会考虑后端的负载

3.5.2.lvs动态调度算法

主要根据RS当前的负载状态及调度算法进行调度Overhead=value较小的RS会被调度

1、LC：least connections（最少链接发）

适用于长连接应用

Overhead（负载值）=activeconns（活动链接数） x 256+inactiveconns（非活动链接数）

活动链接：正在进行数据通信

非活动链接：连着的但是没有进行数据通信

负载值谁小，给谁

2、WLC：Weighted LC（权重最少链接）

默认调度方法

Overhead（负载值）=(activeconns x 256+inactiveconns)/weight （权重）

第一次的流量没有考虑后端的性能，第一次发送可能会到性能不好的主机上

3、SED：Shortest Expection Delay,

初始连接高权重优先

Overhead（负载值）=(activeconns+1+inactiveconns) x 256/weight

但是，当node1的权重为1，node2的权重为10，经过运算前几次的调度都会被node2承接

考虑到了第一次流量可以打给性能好的主机上面，但是无法考虑运算前几次的调度都会被node2承接

4、NQ：Never Queue，第一轮均匀分配，后续SED

5、LBLC：Locality-Based LC，动态的DH算法，使用场景：根据负载状态实现正向代理

6、LBLCR：LBLC with Replication，带复制功能的LBLC，解决LBLC负载不均衡问题，从负载重的复制到负载轻的RS

复制：服务器顶不住了会复制给另一个服务器，让流量分散

3.5.3.在4.15版本内核以后新增调度算法

1.FO(Weighted Fai Over)调度算法：常用作灰度发布

在此FO算法中，遍历虚拟服务所关联的真实服务器链表，找到还未过载(未设置IP_VS_DEST_FOVERLOAD标志（污点）)的且权重最高的真实服务器，进行调度

当服务器承接大量链接，我们可以对此服务器进行过载标记（IP_VS_DEST_F OVERLOAD），那么vs调度器就不会把链接调度到有过载标记的主机中。

有污点标记的服务器就不会被访问，可以用来更新

2.OVF(Overflow-connection)调度算法

基于真实服务器的活动连接数量和权重值实现。将新连接调度到权重值最高的真实服务器，直到其活动连接数量超过权重值，之后调度到下一个权重值最高的真实服务器,在此OVF算法中，遍历虚拟服务相关联的真实服务器链表，找到权重值最高的可用真实服务器。一个可用的真实服务器需要同时满足以下条件:

·未过载(未设置IP_VS_DEST_F OVERLOAD标志)

·真实服务器当前的活动连接数量小于其权重值 （负载值小的）

·其权重值不为零

四.lvs部署命令介绍

4.1.lvs软件相关信息

·程序包：ipvsadm

·Unit File: ipvsadm.service

·主程序：/usr/sbin/ipvsadm

·规则保存工具：/usr/sbin/ipvsadm-save

·规则重载工具：/usr/sbin/ipvsadm-restore

·配置文件：/etc/sysconfig/ipvsadm-config

·ipvs调度规则文件：/etc/sysconfig/ipvsadm

4.2.ipvsadm命令

核心功能:

·集群服务管理:增、删、改

·集群服务的RS管理:增、删、改

·查看

命令参数

管理集群服务
ipvsadm -A|E -t（tcp）|u（udp）|f（防护墙标签） \
service-address(集群地址) \
  [-s scheduler(调度算法)] \
  [-p [timeout]] \
  [-M netmask] \
  [--pepersistence_engine] \
  [-b sched-flags]
ipvsadm -D -t|u|f service-address 删除
ipvsadm –C 清空
ipvsadm –R 重载
ipvsadm -S [-n] 保存

管理集群中的real server
ipvsadm -a|e -t|u|f service-address -r server-address [-g | -i| -m](工作模式) [-w weight](权重)
ipvsadm -d -t|u|f service-address -r server-address 删除RS
ipvsadm -L|l [options] 查看rs
ipvsadm -Z [-t|u|f service-address] 清楚计数器

4.3.lvs集群中的增删改

1.管理集群服务中的增删改（集群）

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]

-A #添加

-E #修改

-D #删除

-C #清空

-t #tcp服务

-u #udp服务

-s #指定调度算法，默认为WLC

-p #设置持久连接超时，持久连接可以理解为在同一个时间段同一个来源的请求调度到同一Realserver

-f #firewall mask 火墙标记，是一个数字

#增加
[root@DR-server ~]# ipvsadm -A -t 172.25.254.100:80 -s rr
[root@DR-server ~]# ipvsadm -A -f 66 -p 3000

#修改
[root@DR-server ~]# ipvsadm -E -t 172.25.254.100:80 -s wrr -p 3000

#删除
[root@DR-server ~]# ipvsadm -D -t 172.25.254.100:80
[root@DR-server ~]# ipvsadm -D -f 66

2.管理集群中RealServer的曾增删改 （RealServer）

ipvsadm -a|e -t|u|f service-address -r realserver-address [-g|i|m] [-w weight]

-a #添加realserver

-e #更改realserver

-t #tcp协议

-u #udp协议

-f #火墙 标签

-r #realserver地址

-g #直连路由模式

-i #ipip隧道模式

-m #nat模式

-w #设定权重

-Z #清空计数器

-C #清空lvs策略

-L #查看lvs策略

-n #不做解析

--rate ：输出速率信息

-a #添加realserver
-e #更改realserver
-t #tcp协议
-u #udp协议
-f #火墙 标签
-r #realserver地址
-g #直连路由模式
-i #ipip隧道模式
-m #nat模式
-w #设定权重
-Z #清空计数器
-C #清空lvs策略
-L #查看lvs策略
-n #不做解析
--rate ：输出速率信息

#添加
[root@DR-server ~]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.30 -m
[root@DR-server ~]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.40 -m -w 2

#更改
[root@DR-server ~]# ipvsadm -e -t 172.25.254.100:80 -r 192.168.0.30 -m -w 1
[root@DR-server ~]# ipvsadm -e -t 172.25.254.100:80 -r 192.168.0.30 -i -w 1

#删除
[root@DR-server ~]# ipvsadm -d -t 172.25.254.100:80 -r 192.168.0.30
[root@DR-server ~]# ipvsadm -Ln
[root@DR-server ~]# ipvsadm -Ln --rate
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port                 CPS    InPPS   OutPPS    InBPS   OutBPS
  -> RemoteAddress:Port
TCP  172.25.254.100:80                   0        0        0        1        1
  -> 192.168.0.30:80                     0        0        0        0        1
  -> 192.168.0.40:80                     0        0        0        0        0

[root@DR-server ~]# ipvsadm -C
[root@DR-server ~]# ipvsadm -Z -t 172.25.254.20:80
[root@DR-server ~]# ipvsadm -Ln --rate
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port                 CPS    InPPS   OutPPS    InBPS   OutBPS
  -> RemoteAddress:Port
TCP  172.25.254.20:80                   0        0        0        0        0
  -> 192.168.0.30:80                     0        0        0        0        0
  -> 192.168.0.40:80                     0        0        0        0        0

pvs规则：/proc/net/ip_vs

ipvs连接：/proc/net/ip_vs_conn

保存规则

#保存设置
[root@lvs ~]# ipvsadm-save > /etc/sysconfig/ipvsadm

保存后查看文件

[root@lvs ~]# vim /etc/sysconfig/ipvsadm
-A -t 172.25.254.100:80 -s rr
-a -t 172.25.254.100:80 -r 192.168.0.10:80 -m -w 1
-a -t 172.25.254.100:80 -r 192.168.0.20:80 -m -w 1

如果还没保存规则，但是不小心清空了，解决方法

[root@lvs ~]# ipvsadm -C
[root@lvs ~]# ipvsadm-restore </etc/sysconfig/ipvsadm

启动服务：（第一次不要启动）

[root@lvs ~]# systemctl start  ipvsadm.service

如果启动失败：

先查看是否有文件

[root@lvs ~]# ll /etc/sysconfig/ipvsadm

没有则创建一个之后启动

五.LVS实战案例

5.1部署NAT模式集群案例

lvs
#配置环境，两个网卡
[root@lvs ~]# cd /etc/NetworkManager/system-connections/
[root@lvs system-connections]# ls
ens160.nmconnection  eth0.nmconnection  eth1.nmconnection
[root@lvs system-connections]# vim eth0.nmconnection 
[connection]
id=eth0
type=ethernet
interface-name=eth0
[ipv4]
address1=172.25.254.100/24,172.25.254.2
method=manual
dns=114.114.114.114;


[root@lvs system-connections]# vim eth1.nmconnection 
[connection]
id=eth1
type=ethernet
interface-name=eth1
[ipv4]
address1=192.168.0.100/24
method=manual
dns=114.114.114.114;


[root@lvs ~]# sysctl -a | grep ip_forward
net.ipv4.ip_forward = 0
net.ipv4.ip_forward_update_priority = 1
net.ipv4.ip_forward_use_pmtu = 0

#打开内核路由功能
[root@lvs ~]# vim /etc/sysctl.conf 
#添加
net.ipv4.ip_forward = 1

#查看
[root@lvs ~]# sysctl -p
net.ipv4.ip_forward = 1

#安装lvs
[root@lvs ~]# dnf install ipvsadm -y

#查看策略
[root@lvs ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags

#-A增加 -t tcp -s指定调度算法 rr静态算法（你一个我一个）
[root@lvs ~]# ipvsadm -A -t 172.25.254.100:80 -s rr

#查看策略
[root@lvs ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.25.254.100:80 rr


[root@lvs ~]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.10:80 -m
[root@lvs ~]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.20:80 -m
[root@lvs ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.25.254.100:80 rr
-> 192.168.0.10:80              Masq    1      0          3         
-> 192.168.0.20:80              Masq    1      0          2 

#保存设置
[root@lvs ~]# ipvsadm-save > /etc/sysconfig/ipvsadm
web1
#配置IP
[root@webserver1 ~]# cd /etc/NetworkManager/system-connections/
[root@webserver1 system-connections]# vim eth0.nmconnectio
[connection]
id=eth0
type=ethernet
interface-name=eth0

[ipv4]
address1=192.168.0.10/24,192.168.0.100
method=manual
dns=114.114.114.114;

#下载并启动httpd
[root@webserver1 system-connections]# cd
[root@webserver1 ~]# yum install httpd -y
[root@webserver1 ~]# echo webserver1 - 192.168.0.10 > /var/www/html/index.html
[root@webserver1 ~]# systemctl enable httpd
web2
#配置IP
[root@webserver2 ~]# cd /etc/NetworkManager/system-connections/
[root@webserver2 system-connections]# vim eth0.nmconnectio
[connection]
id=eth0
type=ethernet
interface-name=eth0

[ipv4]
address1=192.168.0.20/24,192.168.0.100
method=manual
dns=114.114.114.114;

#下载并启动httpd
[root@webserver2 system-connections]# cd
[root@webserver2 ~]# yum install httpd -y
[root@webserver2 ~]# echo webserver1 - 192.168.0.20 > /var/www/html/index.html
[root@webserver2 ~]# systemctl enable httpd
测试
#注意测试的主机不能安装httpd
[root@lvs ~]# curl 172.25.254.100
webserver1 - 192.168.0.10
[root@lvs ~]# curl 172.25.254.100
webserver2 - 192.168.0.20
[root@lvs ~]# curl 172.25.254.100
webserver1 - 192.168.0.10

划重点：

#打开内核路由功能

[root@lvs ~]# vim /etc/sysctl.conf

#添加

net.ipv4.ip_forward = 1

#安装lvs

[root@lvs ~]# dnf install ipvsadm -y

5.2部署DR模式集群案例

需要5个主机client，router，lvs，webserver1，webserver2

client（客户端）

ip配置为172.25.254.200

网关为172.25.254.100

[root@client ~]# vim /etc/NetworkManager/system-connections/eth0.nmconnection 
[connection]
id=eth0
type=ethernet
interface-name=eth0
[ipv4]
address1=172.25.254.200/24,172.25.254.100
method=manual
router（路由器）

nat的ip为172.25.254.100

仅主机的ip为192.168.0.100

打开内核路由功能

[root@router ~]# vim /etc/NetworkManager/system-connections/eth0.nmconnection
[connection]
id=eth0
type=ethernet
interface-name=eth0
[ipv4]
address1=172.25.254.100/24,172.25.254.2
method=manual
dns=114.114.114.114;

[root@router ~]# vim /etc/NetworkManager/system-connections/eth1.nmconnection
[connection]
id=eth1
type=ethernet
interface-name=eth1
[ipv4]
address1=192.168.0.100/24
method=manual


[root@router ~]# sysctl -a | grep ip_forward
net.ipv4.ip_forward = 0
net.ipv4.ip_forward_update_priority = 1
net.ipv4.ip_forward_use_pmtu = 0


#打开内核路由功能
[root@lvs ~]# vim /etc/sysctl.conf 
#添加
net.ipv4.ip_forward = 1

#查看
[root@lvs ~]# sysctl -p
net.ipv4.ip_forward = 1
lvs

仅主机的ip为192.168.0.50

vip为192.168.0.200

配置 ipvsadm策略

[root@lvs ~]# vim /etc/NetworkManager/system-connections/eth1.nmconnection
[connection]
id=eth1
type=ethernet
interface-name=eth1
[ipv4]
address1=192.168.0.50/24,192.168.0.100
method=manual

[root@lvs ~]# sysctl -a | grep ip_forward
net.ipv4.ip_forward = 0
net.ipv4.ip_forward_update_priority = 1
net.ipv4.ip_forward_use_pmtu = 0

#打开内核路由功能
[root@lvs ~]# vim /etc/sysctl.conf 
#添加
net.ipv4.ip_forward = 1

#查看
[root@lvs ~]# sysctl -p
net.ipv4.ip_forward = 1

#安装lvs
[root@lvs ~]# dnf install ipvsadm -y

#查看策略
[root@lvs ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags

#写策略
[root@lvs ~]#ipvsadm -A -t 192.168.0.200:80 -s wrr
[root@lvs ~]#ipvsadm -a -t 192.168.0.200:80 -r 192.168.0.10:80 -g -w 1
[root@lvs ~]#ipvsadm -a -t 192.168.0.200:80 -r 192.168.0.20:80 -g -w 2

#配置vip
[root@lvs ~]# ip addr add 192.168.0.200/32 dev lo
webserver1

仅主机ip为192.168.0.10

vip为192.168.0.200

启动httpd

[root@webserver1 ~]# vim /etc/NetworkManager/system-connections/eth0.nmconnection
[connection]
id=eth0
type=ethernet
interface-name=eth0
[ipv4]
address1=192.168.0.10/24,192.168.0.100
method=manual
dns=114.114.114.114;

#下载并启动httpd
[root@webserver1 system-connections]# cd
[root@webserver1 ~]# yum install httpd -y
[root@webserver1 ~]# echo webserver1 - 192.168.0.20 > /var/www/html/index.html
[root@webserver1 ~]# systemctl enable httpd

[root@webserver1 ~]#  echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@webserver1 ~]# echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
[root@webserver1 ~]# echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
[root@webserver1 ~]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
[root@webserver1 ~]# vim /etc/NetworkManager/system-connections/eth0.nmconnection 

#配置vip
[root@webserver1 ~]# ip addr add 192.168.0.200/32 dev lo
webserver2

仅主机ip为192.168.0.20

vip为192.168.0.200

启动httpd

[root@webserver2 ~]# vim /etc/NetworkManager/system-connections/eth0.nmconnection
[connection]
id=eth0
type=ethernet
interface-name=eth0
[ipv4]
address1=192.168.0.20/24,192.168.0.100
method=manual
dns=114.114.114.114;

#下载并启动httpd
[root@webserver2 system-connections]# cd
[root@webserver2 ~]# yum install httpd -y
[root@webserver2 ~]# echo webserver1 - 192.168.0.20 > /var/www/html/index.html
[root@webserver2 ~]# systemctl enable httpd

[root@webserver2 ~]#  echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@webserver2 ~]# echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
[root@webserver2 ~]# echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
[root@webserver2 ~]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
[root@webserver2 ~]# vim /etc/NetworkManager/system-connections/eth0.nmconnection

#配置vip
[root@webserver2 ~]# ip addr add 192.168.0.200/32 dev lo
测试：
[root@client ~]# for i in {1..10}
> do
> curl 192.168.0.200
> done
webserver1 - 192.168.0.10
webserver2 - 192.168.0.20
webserver2 - 192.168.0.20
webserver1 - 192.168.0.10
webserver2 - 192.168.0.20
webserver2 - 192.168.0.20
webserver1 - 192.168.0.10
webserver2 - 192.168.0.20
webserver2 - 192.168.0.20
webserver1 - 192.168.0.10

5.3.防火墙标签解决轮询错误

5.3.1.轮询规则中可能会遇到的错误

以http和https为例，当我们在RS中同时开放80和443端口，那么默认控制是分开轮询的，这样我们就出现了一个轮询错乱的问题

当我第一次访问80被轮询到RS1后下次访问443仍然可能会被轮询到RS1上

问题呈现

#在RS1和RS2中安装mod_ssl并重启apache，https的插件
[root@webserver1 ~]# yum install mod_ssl -y
[root@webserver2 ~]# yum install mod_ssl -y

#重启http服务
[root@webserver1 ~]# systemctl restart httpd
[root@webserver2 ~]# systemctl restart httpd

#lvs上面配置策略，因为我们要调度80和443两个端口所以我们需要设定两组策略
[root@lvs ~]# ipvsadm -A -t 192.168.0.50:80 -s rr
[root@lvs ~]# ipvsadm -a -t 192.168.0.50:80 -r 192.168.0.10:80 -g
[root@lvs ~]# ipvsadm -a -t 192.168.0.50:80 -r 192.168.0.20:80 -g
[root@lvs ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.0.50:80 rr
  -> 192.168.0.10:80              Route   1      0          0         
  -> 192.168.0.20:80              Route   1      0          0    

#添加443端口的规则
[root@lvs ~]# ipvsadm -A -t 192.168.0.200:443 -s rr
[root@lvs ~]# ipvsadm -a -t 192.168.0.200:443 -r 192.168.0.10:443 -g
[root@lvs ~]# ipvsadm -a -t 192.168.0.200:443 -r 192.168.0.20:443 -g
[root@lvs ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.0.200:80 rr
  -> 192.168.0.10:80              Route   1      0          1         
  -> 192.168.0.20:80              Route   1      0          0         
TCP  192.168.0.200:443 rr
  -> 192.168.0.10:443             Route   1      0          0         
  -> 192.168.0.20:443             Route   1      0          0  

#路由器访问，发现80的和443的各自访问各自的
[root@router ~]# curl 192.168.0.200;curl -k https://192.168.0.200
webserver2 - 192.168.0.20
webserver2 - 192.168.0.20

5.3.2.防火墙标记解决轮询调度问题

FWM:FireWall Mark

MARK target 可用于给特定的报文打标记,

--set-mark value

其中:value 可为0xffff格式，表示十六进制数字借助于防火墙标记来分类报文，而后基于标记定义集群服务:可将多个不同的应用使用同一个集群服务进行调度

实现方法:

在Director主机打标记:

iptables -t mangle -A PREROUTING -d $vip -p $proto -m multiport --dports
$portl,$port2,..-i MARK --set-mark NUMBER

在Director主机基于标记定义集群服务:

ipvsadm -A -f NUMBER [options]

示例：

iptables -t mangle -A PREROUTING -d 192.168.0.200 -p tcp -m multiport --dports 80,443 -j MARK --set-mark 6666

  • iptables -t mangle：指定操作的表是 mangle 表，这个表允许我们修改数据包的标头信息，比如打上标记、修改源/目标 IP 或端口等。
  • -A PREROUTING：表示在 PREROUTING 表的末尾添加这条规则。PREROUTING 表是处理入站数据包在路由到目标前的规则，它通常用于处理 NAT（网络地址转换）规则。
  • -d 192.168.0.100：指定数据包的源 IP 地址为 192.168.0.100。这表示规则只适用于从这个 IP 地址发出的数据包。
  • -p tcp：指明这个规则只适用于 TCP 协议的数据包。
  • -m multiport --dports 80,443：使用 multiport 模块来指定目标端口。这里指定的是 80 和 443 这两个端口。这意味着规则将匹配所有目标端口为 80 或 443 的数据包。
  • -j MARK --set-mark 6666：使用 MARK 指令来给匹配的数据包打上标记。标记值为 6666。标记可以用于后续的路由决策或防火墙规则，以进一步控制这些数据包的流向或处理方式。
#在vs调度器中设定端口标签，人为80和443是一个整体，
#iptables -t mangle：指定操作的表是 mangle 表，这个表允许我们修改数据包的标头信息，比如打上标记、修改源/目标 IP 或端口等。
#-A PREROUTING：表示在 PREROUTING 表的末尾添加这条规则。PREROUTING 表是处理入站数据包在路由到目标前的规则，它通常用于处理 NAT（网络地址转换）规则。
#-d 192.168.0.100：指定数据包的源 IP 地址为 192.168.0.100。这表示规则只适用于从这个 IP 地址发出的数据包。
#-p tcp：指明这个规则只适用于 TCP 协议的数据包。
#-m multiport --dports 80,443：使用 multiport 模块来指定目标端口。这里指定的是 80 和 443 这两个端口。这意味着规则将匹配所有目标端口为 80 或 443 的数据包。
#-j MARK --set-mark 6666：使用 MARK 指令来给匹配的数据包打上标记。标记值为 6666。标记可以用于后续的路由决策或防火墙规则，以进一步控制这些数据包的流向或处理方式。
[root@lvs ~]# iptables -t mangle -A PREROUTING -d 192.168.0.200 -p tcp -m multiport --dports 80,443 -j MARK --set-mark 6666

#设定调度规则
[root@lvs ~]# ipvsadm -A -f 6666 -s rr
[root@lvs ~]# ipvsadm -a -f 6666 -r 192.168.0.10 -g
[root@lvs ~]# ipvsadm -a -f 6666 -r 192.168.0.20 -g
[root@lvs ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.0.200:80 rr
  -> 192.168.0.10:80              Route   1      0          0         
  -> 192.168.0.20:80              Route   1      0          0         
TCP  192.168.0.200:443 rr
  -> 192.168.0.10:443             Route   1      0          0         
  -> 192.168.0.20:443             Route   1      0          0         
FWM  6666 rr
  -> 192.168.0.10:0               Route   1      0          0         
  -> 192.168.0.20:0               Route   1      0          0

测试结果


#再次测试
[root@router ~]# curl 192.168.0.200;curl -k https://192.168.0.200
webserver2 - 192.168.0.20
webserver1 - 192.168.0.10

5.4.lvs持久链接

在我们客户上网过程中有很多情况下需要和服务器进行交互，客户需要提交响应信息给服务器，如果单纯的进行调度会导致客户填写的表单丢失，为了解决这个问题我们可以用sh算法，但是sh算法比较简单粗暴，可能会导致调度失衡

解决方案

在进行调度时，不管用什么算法，只要相同源过来的数据包我们就把他的访问记录在内存中，也就是把

这个源的主机调度到了那个RS上

如果在短期（默认360S）内同源再来访问我仍然按照内存中记录的调度信息，把这个源的访问还调度到

同一台RS上。如果过了比较长的时间（默认最长时间360s）同源访问再次来访，那么就会被调度到其他的RS上

ipvsadm -AlE -tlulf service-address [-s scheduler] [-p [timeout]]默认360秒
在lvs调度器中设定
[root@lvs ~]# ipvsadm -E -f 6666 -s rr -p 3000
[root@lvs ~]# ipvsadm -LnC
[禾火]
关注
  • 30
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
集群学习：LVS集群
wzq88488的博客
10-27 797
Web集群学习
学习网站集群架构设计LVS实现网络负载均衡实例精讲.ppt
11-12
网站集群架构设计LVS实现网络负载均衡实例精讲 本资源概括了网站集群架构设计的重要组件LVS（Linux Virtual Server），介绍了LVS的概念、架构、优点和缺点，并且详细讲解了LVS在实现网络负载均衡中的应用。 LVS的...
LVS学习贴
qq_45186067的博客
10-27 326
提示：所有的而操作都时在虚拟机中完成学习LVS的经验贴，自己实际操作时碰到的问题和解决方法。虚拟机环境如下系统：CentOS 7。
物理验证LVS学习随记
W215879wjj的博客
01-12 1458
在跑lvs时，最想看到的就是上边这张笑脸了。LVS可以视为物理版图（GDS）和原理图（Schematic）的比对规则文件（LVS）完成的一致性比较。所以LVS的全称即是：Layout Versus Schematic。版图（Layout）是指：工具（Calibre）对二进制文件（GDS）进行到spice网表的转化。原理图（Schematic）是指：工具（v2lvs）将verilog进行spice的网表转化。规则文件（LVS）：是对GDS的操作，以及LVS比对是的常规配置。
lvs学习篇
a17783481239的博客
08-11 1060
我们的用户发出请求后，请求报文里会携带源客户端ip地址以及目的ip地址即中间虚拟服务器的外网ip地址以及端口，当我们的请求到达中间虚拟服务器后，会将请求报文的目的ip地址替换成真实后端服务器的ip地址以及端口，因为虚拟服务器的内网ip地址是和后端服务器处于同一网段，所以我们的请求会继续通过虚拟服务器的内网ip地址将请求转发到后端服务器，请求到达后端服务器后，会将源ip地址替换成后端服务器的ip地址，目标ip地址替换成客户端的ip地址以及端口，最后将数据包通过虚拟服务器返回给客户端，从而实现数据的双向交互。
Linux学习-LVS学习
丢爸
05-02 300
Cluster(集群) 一组通过网络连接的计算机，提供高可用性和伸缩性。 集群类型 LB(Load Balance)负载均衡：分摊到多个操作单元上进行执行，例如Web服务器、FTP服务器、企业关键应用服务器和其它关键任务服务器等，从而共同完成工作任务，减轻因负载过重造成单节点压力过大问题。 HA(High Avaliablility)高可用：指的是通过尽量缩短因日常维护操作（计划）和突发的系统崩溃（非计划）所导致的停机时间，以提高系统和应用的可用性。 系统扩展方式 scale up(向上扩展)：扩展一
LVS的学习实验和总结
dou_ding91的博客
08-11 198
LVS是Linux virtual server的缩写，为linux虚拟服务器，是一个虚拟的服务器集群系统。LVS简单工作原理为用户请求LVS VIP，LVS根据转发方式和算法，将请求转发给后端服务器，后端服务器接收到请求，返回给用户。实验环境：准备一台客户端client，路由器router（其中路由器router要设置两块网卡，一个仅主机一个NAT），一台LVS，两台RS1和RS2。LVS中配置两块网卡，一块仅主机一块NAT，eth0，eth1的IP配置如下。在LVS和两台RS中添加lo路由回环32。
全网最详细教你学习LVS（Linux virual server）
2201_75769266的博客
08-09 736
是一个基于 Linux 操作系统的开源软件负载均衡项目。LVS 主要用于实现服务器的负载均衡和高可用性。它工作在网络的第四层，可以对 TCP 和 UDP 协议进行负载均衡。通过将客户端的请求分发到多台服务器上，从而提高系统的整体性能和可靠性。
LVS学习与练习
qq_44997937的博客
08-10 929
LVS (Linux Virtual Server) 是一种高性能的负载均衡解决方案，它基于 Linux 内核实现。LVS 可以用来构建高可用性和高性能的 Web 服务器集群。LVS 支持多种负载均衡算法和模式，可以有效地分发网络请求到多台后端服务器上。LVS 的主要组成部分1. Director(调度器):- 负责接收客户端的请求，并根据一定的策略将请求分发给后端的真实服务器 (Real Server)。- Director 可以是一台专门的机器，也可以是集群中的一台或多台机器。
数字IC后端小白学习日志---005 day（LVS的实战演示流程）
LEBRON599的博客
05-20 1506
理论的部分请看中5月20日及之前的部分。当然此处的内容并非自己做的，而是对资料的总结，应该最近会使用一个真实的Lab进行完全流程的LVS，请后续观看。
DRC LVS及后仿真PPT学习教案.pptx
10-01
DRC LVS 及后仿真 PPT 学习教案 DRC（Design Rule Check）是一种用于检查版图设计与工艺规则的一致性的验证工具。该工具可以检查版图设计是否符合工艺规则，确保设计的可靠性和正确性。DRC 工具可以检查设计规则，...
LVS笔记.docx
06-21
### LVS集群环境搭建详解 #### 一、LVS简介及应用场景 **LVS**(Linux Virtual Server)是一种基于Linux内核的虚拟服务器集群系统，它能够实现高效的负载均衡和服务高可用性。对于需要处理大量并发连接和高流量的...
LVS--负载均衡调度器
flytalei的博客
09-05 1381
LVS: (Linux Virtual Server)，是全球最流行的四层负载均衡开源软件，内核集成，由章文嵩博士（当前阿里云产品技术负责人）在1998年5月创立，可以实现LINUX平台下的负载均衡。LVS是 基于linux netfilter框架实现（同iptables）的一个内核模块，名称为ipvs；其钩子函数分别HOOK在LOCAL_IN和FORWARD两个HOOK点LVS是一种用于实现高可用性和负载均衡的技术。
keepalived和lvs高可用集群
qq_2382495516的博客
09-06 740
当主节点（192.168.3.86 zyj86）宕机后vip虚拟地址（192.168.3.188）会飘移到备用节点上即（192.168.3.87 zyj87）主机上。安装ipvsadm keepalived。安装ipvsadm keepalived。安装ipvsadm keepalived。安装ipvsadm keepalived。修改负载调度服务器 zyj86配置。安装web服务器 写入测试页面。安装web服务器 写入测试页面。安装web服务器 写入测试页面。安装web服务器 写入测试页面。
lvs dr模式集群搭建
qq_2382495516的博客
09-06 586
同一个广播域：配置了多个相同的VIP是不允许的, 要想实现就必须让外面的网络, 无法发现这个VIP的存在。同一个广播域：配置了多个相同的VIP是不允许的, 要想实现就必须让外面的网络, 无法发现这个VIP的存在。浏览器访问，注意访问后立即刷新页面肯能没有变化，稍等片刻再次刷新页面就会有变化了。调整/proc响应参数关闭ARP 应答和广播。调整/proc响应参数关闭ARP 应答和广播。安装 ipvsadm。
如何解析域名到网站？
最新发布
聚名网
09-11 329
用户通过输入易于记忆的域名来访问网站，而背后则是复杂的域名解析机制将域名转换为服务器的IP地址，使得浏览器能够找到并加载目标网站。顶级域名服务器：顶级域名服务器会返回负责该域名的权威DNS服务器的地址。返回结果：一旦本地DNS服务器获得了IP地址，它会将该信息缓存一段时间(TTL，生存时间)，然后将结果返回给用户的浏览器。用户输入域名：当用户在浏览器中输入一个域名并按下回车键时，浏览器会检查本地缓存，查看是否已经存储了该域名的IP地址。权威DNS服务器：存储特定域名的DNS记录，提供最终的IP地址。
mycat双主高可用架构部署-mycat安装
龙哥·三年风水从2011年开始做IT工作，从ps画图到前端开发->后端开发->框架开发->业务架构设计及开发->业务需求整理、开发->技术经理->技术总监
09-08 943
mycat双主高可用架构部署-mycat安装
使用通义灵码，参与开源项目全程纪实
TONGYILingma的博客
09-10 847
关联比赛: 2024天池云原生编程挑战赛-赛道3：用通义灵码,人人都是开源贡献者。
学习网站集群架构设计LVS实现网络负载均衡实例精讲
本文将介绍关于学习网站集群架构设计LVS实现网络负载均衡的内容，重点包括LVS出现的原因、LVS的实现方式、LVS的需求、LVS的应用延伸以及互联网的发展和群集概念的出现。文章将详细阐述这些内容，以帮助读者更好地...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值