LVS (Linux Virtual Server) 是一个用于构建高度可扩展和高可用性服务的开源项目。LVS 可以通过负载均衡技术将多个服务器虚拟为一个高性能、高可用性的虚拟服务器,用户通过访问这个虚拟服务器的IP地址来访问分布在多个后端服务器上的服务。LVS 是 Linux 操作系统中的一部分,并且通常用于负载均衡 web 服务器、数据库服务器、应用服务器等。
一、集群和分布式简介
1.1.系统性能扩展方式
-
Scale UP:向上扩展,增强
-
Scale Out:向外扩展,增加设备,调度分配问题,Cluster
1.2.集群Cluster
Cluster: 集群是为了解决某个特定问题将堕胎计算机组合起来形成的单个系统
Cluster常见的三种类型:
-
LB:LoadBalancing(负载均衡)由多个主机组成,每个主机只承担一部分访问
-
HA:
-
High Availiablity(高可用)SPOF(single Point Of failure)
-
MTBF:Mean Time Between Failure 平均无故障时间,正常时间
-
MTTR:Mean Time To Restoration( repair)平均恢复前时间,故障时间
A=MTBF/(MTBF+MTTR) (0,1):99%, 99.5%, 99.9%, 99.99%, 99.999%
-
SLA:Service level agreement(服务等级协议)是在一定开销下为保障服务的性能和可用性,服务提供商与用户间定义的一种双方认可的协定。通常这个开销是驱动提供服务质量的主要因素。在常规的领域中,总是设定所谓的三个9,四个9来进行表示,当没有达到这种水平的时候,就会有一些列的惩罚措施,而运维,最主要的目标就是达成这种服务水平。
-
停机时间又分为两种,一种是计划内停机时间,一种是计划外停机时间,而运维则主要关注计划外
停机时间
-
-
HPC:High-performance computing(高性能计算,国家战略资源,不在课程范围内)
1.3分布式
分布式存储:Ceph,GlusterFs,FastDFS,MogileFs
分布式计算:hadoop,Spark
分布式常见应用
-
分布式应用-服务按照功能拆分,使用微服务
-
分布式静态资源–静态资源放在不同的存储集群上
-
分布式数据和存储–使用key-value缓存系统
-
分布式计算–对特殊业务使用分布式计算,比如Hadoop集群
1.4集群和分布式
-
集群:同一个业务系统,部署在多台服务器上,集群中,每一台服务器实现的功能没有差别,数据和代码都是一样的
-
分布式:一个业务被拆成多个子业务,或者本身就是不同的业务,部署在多台服务器上。分布式中,每一台服务器实现的功能是有差别的,数据和代码也是不一样的,分布式每台服务器功能加起来,才是完整的业务
-
分布式是以缩短单个任务的执行时间来提升效率的,而集群则是通过提高单位时间内执行的任务数来提升效率
-
对于大型网站,访问用户很多,实现一个群集,在前面部署一个负载均衡服务器,后面几台服务器完成同一业务。如果有用户进行相应业务访问时,负载均衡器根据后端哪台服务器的负载情况,决定由给哪一台去完成响应,并且台服务器垮了,其它的服务器可以顶上来。分布式的每一个节点,都完成不同的业务,如果一个节点垮了,那这个业务可能就会失败
二、LVS的运行原理
2.1 lvs简介
LVS:Linux Virtual Server,负载调度器,内核集成
-
阿里的四层SLB(Server LoadBalance)是基于LVS+keepalived实现
-
LVS 官网: http://www.linuxvirtualserver.org/
LVS 相关术语
-
VS: Virtual Server,负责调度
-
RS:RealServer,负责真正提供服务
-
CIP:Client IP ,客户端的IP
-
VIP: Virtual serve IP, VS外网的IP
-
DIP: Director IP, VS内网的IP
-
RIP: Real server IP ,真实服务器的IP
访问流程:CIP <–> VIP == DIP <–> RIP
2.2LVS集群的体系结构
工作原理:
VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS,根据调度算法来挑选RS
负载均衡器(Load Balancer):通常是一台或多台前端服务器,负责接收客户端的请求并将请求转发到合适的后端服务器。LVS 的负载均衡器运行在 Linux 内核中,使用 IPVS (IP Virtual Server) 进行网络包的调度和转发。
后端服务器(Real Servers):处理实际的客户端请求的服务器群组。后端服务器可以是 Web 服务器、数据库服务器或其他应用服务器。
客户端(Clients):请求服务的用户或应用程序。
2.3 LVS集群的类型
-
LVS-NAT: 修改请求报文的目标IP,多目标IP的DNAT
-
LVS-DR: 操纵封装新的MAC地址
-
LVS-TUN: 在原请求IP报文之外新加一个IP首部
-
LVS-fullnat: 修改请求报文的源和目标IP
2.3.1NAT模式
LVS-NAT:调度器修改请求包的目标 IP 地址,将请求转发到后端服务器。后端服务器处理请求后,返回包通过调度器进行源地址修改,然后返回给客户端。
-
本质是多目标IP的DNAT,通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和PORT实现转发
-
RIP和DIP应在同一个IP网络,且应使用私网地址;RS的网关要指向DIP
-
请求报文和响应报文都必须经由Director转发,Director易于成为系统瓶颈
-
支持端口映射,可修改请求报文的目标PORT
-
VS必须是Linux系统,RS可以是任意OS系统
-
适用于小规模集群,因为所有入站和出站流量都经过调度器,增加了调度器的负载。
2.3.1.1NAT模式数据逻辑
1.客户端发送访问请求,请求数据包中含有请求来源(cip),访问目标地址(VIP)访问目标端口
(9000port)
2.VS服务器接收到访问请求做DNAT把请求数据包中的目的地由VIP换成RS的RIP和相应端口
3.RS1相应请求,发送响应数据包,包中的相应保温为数据来源(RIP1)响应目标(CIP)相应端口
(9000port)
4.VS服务器接收到响应数据包,改变包中的数据来源(RIP1–>VIP),响应目标端口(9000–>80)
5.VS服务器把修改过报文的响应数据包回传给客户端
6.lvs的NAT模式接收和返回客户端数据包时都要经过lvs的调度机,所以lvs的调度机容易阻塞
2.3.1.2NAT模式数据传输过程
客户请求到达vip后进入PREROUTING,在没有ipvs的时候因该进入本机INPUT,当IPVS存在后访问请求在通
过PREROUTING后被ipvs结果并作nat转发
因为ipvs的作用点是在PREROUTING和INPUT链之间,所以如果在prerouting中设定规则会干扰ipvs的工
作。所以在做lvs时要把iptables的火墙策略全清理掉。
2.3.2DR模式
DR:Direct Routing,直接路由,LVS默认模式,应用最广泛,通过为请求报文重新封装一个MAC首部进行转发,源MAC是DIP所在的接口的MAC,目标MAC是某挑选出的RS的RIP所在接口的MAC地址;源IP/PORT,以及目标IP/PORT均保持不变
-
调度器仅修改请求包的 MAC 地址,将其直接发送到后端服务器。后端服务器直接响应客户端请求,出站流量不经过调度器。
-
适用于大规模、高性能集群,因为它减少了调度器的负载。
2.3.2.1DR模式数据逻辑
在DR模式中,RS接收到访问请求后不需要回传给VS调度器,直接把回传数据发送给client,所以RS和vs上都要有vip
2.3.2.2DR模式数据传输过程
1.客户端发送数据帧给vs调度主机帧中内容为客户端IP+客户端的MAC+VIP+VIP的MAC
2.VS调度主机接收到数据帧后把帧中的VIP的MAC该为RS1的MAC,此时帧中的数据为客户端IP+客户端
的MAC+VIP+RS1的MAC
3.RS1得到2中的数据包做出响应回传数据包,数据包中的内容为VIP+RS1的MAC+客户端IP+客户端IP的
MAC
2.3.2.3DR模式的特点
1.Director和各RS都配置有VIP
2.确保前端路由器将目标IP为VIP的请求报文发往Director
3.在前端网关做静态绑定VIP和Director的MAC地址
-
在RS上使用arptables工具
arptables -A IN -d $VIP -j DROP arptables -A OUT -s $VIP -j mangle --mangle-ip-s $RIP
-
在RS上修改内核参数以限制arp通告及应答级别
/proc/sys/net/ipv4/conf/all/arp_ignore /proc/sys/net/ipv4/conf/all/arp_announce
4.RS的RIP可以使用私网地址,也可以是公网地址;RIP与DIP在同一IP网络;
5.RIP的网关不能指向DIP,以确保响应报文不会经由Director
6.RS和Director要在同一个物理网络
7.请求报文要经由Director,但响应报文不经由Director,而由RS直接发往Client
8.不支持端口映射(端口不能修败)
9.RS可使用大多数OS系统
2.3.3TUN模式
转发方式:不修改请求报文的IP首部(源IP为CIP,目标IP为VIP),而在原IP报文之外再封装一个IP首部(源IP是DIP,目标IP是RIP),将报文发往挑选出的目标RS;RS直接响应给客户端(源IP是VIP,目标IP是CIP)
-
调度器通过 IP 隧道将请求包发送到后端服务器,后端服务器处理后直接响应客户端。
-
适用于地理上分布较广的服务器集群。
2.3.3.1TUN模式数据传输过程
1.客户端发送请求数据包,包内有源IP+vip+dport
2.到达vs调度器后对客户端发送过来的数据包重新封装添加IP报文头,新添加的IP报文头中包含TUNSRCIP(DIP)+TUNDESTIP(RSIP1)并发送到RS1
3.RS收到VS调度器发送过来的数据包做出响应,生成的响应报文中包含SRCIP(VIP)+DSTIP(CIP)+port,响应数据包通过网络直接回传给client
2.3.3.2TUN模式特点
1.DIP, VIP, RIP都应该是公网地址
2.RS的网关一般不能指向DIP
3.请求报文要经由Director,但响应不能经由Director
4.不支持端口映射
5.RS的OS须支持隧道功能
2.3.4fullnet模式
该模式为阿里开发
fullnat:通过同时修改请求报文的源IP地址和目标IP地址进行转发
CIP --> DIP
VIP --> RIP
1.VIP是公网地址,RIP和DIP是私网地址,且通常不在同一IP网络;因此,RIP的网关一般不会指向DIP
2.RS收到的请求报文源地址是DIP,因此,只需响应给DIP;但Director还要将其发往Client
3.请求和响应报文都经由Director
4.支持端口映射
注意:此类型kernel默认不支持
2.4LVS工作模式总结
NAT模式 | TUN模式 | DR模式 | |
---|---|---|---|
RS操作系统 | 不限 | 支持隧道 | 禁用arp |
调度器和服务器网络 | 可跨网络 | 可跨网络 | 不可跨网络 |
调度服务器数量服务器数量 | 少 | 多 | 多 |
RS服务器网关 | 指向到调度器DIP | 指向到路由 | 指向到路由 |
-
lvs-nat与lvs-fullnat:请求和响应报文都经由Director
-
lvs-nat:RIP的网关要指向DIP
-
lvs-fullnat:RIP和DIP未必在同一IP网络,但要能通信
-
lvs-dr与lvs-tun:请求报文要经由Director,但响应报文由RS直接发往Client
-
lvs-dr:通过封装新的MAC首部实现,通过MAC网络转发
-
lvs-tun:通过在原IP报文外封装新IP头实现转发,支持远距离通信
2.5LVS的调度算法
2.5.1.lvs调度算法类型
ipvs scheduler:根据其调度时是否考虑各RS当前的负载状态被分为两种:静态方法和动态方法
-
静态方法:仅根据算法本身进行调度,不考虑RS的负载情况
-
动态方法:主要根据每RS当前的负载状态及调度算法进行调度Overhead=value较小的RS将被调度
2.5.2lvs静态调度算法
-
RR:roundrobin 轮询 RS分别被调度,当RS配置有差别时不推荐
-
WRR:Weighted RR,加权轮询根据RS的配置进行加权调度,性能差的RS被调度的次数少
-
SH:Source Hashing,实现session sticky,源IP地址hash;将来自于同一个IP地址的请求始终发往第一次挑中的RS,从而实现会话绑定
-
DH:Destination Hashing;目标地址哈希,第一次轮询调度至RS,后续将发往同一个目标地址的请求始终转发至第一次挑中的RS,典型使用场景是正向代理缓存场景中的负载均衡,如:宽带运营商
2.5.3.lvs动态调度算法
主要根据RS当前的负载状态及调度算法进行调度Overhead=value较小的RS会被调度
-
LC:least connections(最少链接发)
适用于长连接应用Overhead(负载值)=activeconns(活动链接数) x 256+inactiveconns(非活动链接数)
-
WLC:Weighted LC(权重最少链接)
默认调度方法Overhead=(activeconns x 256+inactiveconns)/weight
-
SED:Shortest Expection Delay,
初始连接高权重优先Overhead=(activeconns+1+inactiveconns) x 256/weight
但是,当node1的权重为1,node2的权重为10,经过运算前几次的调度都会被node2承接
-
NQ:Never Queue
第一轮均匀分配,后续SED
-
LBLC:Locality-Based LC
动态的DH算法,使用场景:根据负载状态实现正向代理
-
LBLCR:LBLC with Replication
带复制功能的LBLC,解决LBLC负载不均衡问题,从负载重的复制到负载轻的RS
2.5.5在4.15版本内核以后新增调度算法
-
FO(Weighted Fai Over)调度算法:常用作灰度发布
-
在此FO算法中,遍历虚拟服务所关联的真实服务器链表,找到还未过载(未设置IP_VS_DEST_FOVERLOAD标志)的且权重最高的真实服务器,进行调度
-
当服务器承接大量链接,我们可以对此服务器进行过载标记(IP_VS_DEST_F OVERLOAD),那么vs调度器就不会把链接调度到有过载标记的主机中。
-
-
OVF(Overflow-connection)调度算法
-
基于真实服务器的活动连接数量和权重值实现。将新连接调度到权重值最高的真实服务器,直到其活动
连接数量超过权重值,之后调度到下一个权重值最高的真实服务器,在此OVF算法中,遍历虚拟服务相关
联的真实服务器链表,找到权重值最高的可用真实服务器。一个可用的真实服务器需要同时满足以下条
件:
- 未过载(未设置IP_VS_DEST_F OVERLOAD标志)
- 真实服务器当前的活动连接数量小于其权重值
- 其权重值不为零
-
三、LVS的部署及命令
3.1LVS的安装及软件相关信息
# 程序包:ipvsadm
[root@LVS ~]# yum install ipvsadm -y # 下载vs调度器服务
[root@LVS ~]# rpm -ql ipvsadm # 查询lvs的安装文件
ipvsadm.service -- 启动文件
/usr/sbin/ipvsadm -- 主程序
/usr/sbin/ipvsadm-save -- 规则保存工具:
/usr/sbin/ipvsadm-restore -- 规则重载工具
/etc/sysconfig/ipvsadm-config -- 配置文件
/etc/sysconfig/ipvsadm -- ipvs调度规则文件:
3.2ipvsadm命令
核心功能:
-
集群服务管理:增、删、改
-
集群服务的RS管理:增、删、改
-
查看
命令参数
管理集群服务
ipvsadm -A|E -t(tcp)|u(udp)|f(防护墙标签)
service-address(集群地址)
[-s scheduler(调度算法)]
[-p [timeout]]
[-M netmask]
[--pepersistence_engine]
[-b sched-flags]
ipvsadm -D -t|u|f service-address 删除
ipvsadm –C 清空
ipvsadm –R 重载
ipvsadm -S [-n] 保存
管理集群中的real server
ipvsadm -a|e -t|u|f service-address -r server-address [-g | -i| -m](工作模式) [-w
weight](权重)
ipvsadm -d -t|u|f service-address -r server-address 删除RS
ipvsadm -L|l [options] 查看rs
ipvsadm -Z [-t|u|f service-address] 清楚计数器
3.3lvs集群中的增删改
3.3.1 .管理集群服务中的增删改
格式:
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]
参数 | 作用 |
---|---|
-A | 添加 |
-E | 修改 |
-t | tcp服务 |
-u | udp服务 |
-s | 指定调度算法,默认为WLC |
-p | 设置持久连接超时,持久连接可以理解为在同一个时间段同一个来源的请求调度到同一Realserver |
-f | firewall mask 火墙标记,是一个数字 |
示例:
#增加
[root@LVS ~]# ipvsadm -A -t 172.25.254.105:80 -s rr
[root@LVS ~]# ipvsadm -A -f 66 -p 3000
#修改
[root@LVS ~]# ipvsadm -E -t 172.25.254.105:80 -s wrr -p 3000
#删除
[root@LVS ~]# ipvsadm -D -t 172.25.254.105:80
[root@LVS ~]# ipvsadm -D -f 66
3.3.2管理集群中RealServer的增删改
格式:
ipvsadm -a|e -t|u|f service-address -r realserver-address [-g|i|m] [-w weight]
参数 | 作用 |
---|---|
-a | 添加realserver |
-e | 更改realserver |
-t | tcp协议 |
-u | \udp协议 |
-f | 火墙 标签 |
-r | realserver地址 |
-g | 直连路由模式 |
-i | \ipip隧道模式 |
-m | nat模式 |
-w | 设定权重 |
-Z | 清空计数器 |
-C | 清空lvs策略 |
-L | 查看lvs策略 |
-n | 不做解析 |
–rate | 输出速率信息 |
示例:
#添加
[root@LVS ~]# ipvsadm -a -t 172.25.254.105:80 -r 192.168.0.10 -m
[root@LVS ~]# ipvsadm -a -t 172.25.254.105:80 -r 192.168.0.20 -m -w 2
#更改
[root@LVS ~]]# ipvsadm -e -t 172.25.254.105:80 -r 192.168.0.20 -m -w 1
[root@LVS ~]# ipvsadm -e -t 172.25.254.105:80 -r 192.168.0.20 -i -w 1
#删除
[root@LVS ~]# ipvsadm -d -t 172.25.254.105:80 -r 192.168.0.20
查看策略:
[root@DR-server ~]# ipvsadm -Ln
[root@DR-server ~]# ipvsadm -Ln --rate
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port CPS InPPS OutPPS InBPS OutBPS
-> RemoteAddress:Port
TCP 172.25.254.105:80 0 0 0 0 0
-> 192.168.0.10:80 0 0 0 0 0
-> 192.168.0.20:80 0 0 0 0 0
[root@DR-server ~]# ipvsadm -C # 清空策略
[root@DR-server ~]# ipvsadm -Z -t 172.25.254.20:80
[root@DR-server ~]# ipvsadm -Ln --rate
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port CPS InPPS OutPPS InBPS OutBPS
-> RemoteAddress:Port
TCP 172.25.254.200 0 0 0 0 0
-> 192.168.0.10:80 0 0 0 0 0
-> 192.168.0.20:80 0 0 0 0 0
pvs规则:/proc/net/ip_vs
ipvs连接:/proc/net/ip_vs_conn
四、LVS的集群案例
1.LVS的NAT模式集群案例
1.1实验环境
主机名 | IP | VIP | 角色 |
---|---|---|---|
client | 172.25.254.101 VMware NAT | null | 测试机 |
LVS | 仅主机eth1(DIP):192.168.0.105 | NAT-eth0:172.25.254.105 | 调度器(VS) |
webserver1 | 仅主机eth0:192.168.0.10 GW:192.168.0.105 | null | 真实服务器(RS) |
webserver2 | 仅主机eth0:192.168.0.20 GW:192.168.0.105 | null | 真实服务器(RS) |
1.2 LVS集群的NAT模式过程
1.LVS服务器采用双网卡,一个是NAT网卡连接外网,一个是仅主机网卡与后端Web服务器相连
2.Web服务器采用仅主机网卡与VS相连
3…Web服务器网关指向192.168.0.105
4.后端web服务器不需要连接外网
1.3VMware主机设定
保证网络中的IP设定
LVS主机中添加新的网卡,且条为仅主机模式;
将两台RS真实服务器的网卡设备也修改为仅主机模式
1.4网络配置
1.4.1LVS网络配置
[root@LVS ~]# vmset.sh eth0 172.25.254.105 LVS.HaHa.org -- 调用脚本设置为VIP网卡
[root@LVS ~]# vmset.sh eth1 192.168.0.105 LVS.HaHa.org -- 调用脚本设置为DIP网卡
[root@LVS system-connections]# cat /etc/NetworkManager/system-connections/eth1.nmconnection -- 修改DIP网卡的配置
[connection]
id=eth1
type=ethernet
interface-name=eth1
[ipv4]
address1=192.168.0.105/24 -- 此处为VS调度机的ip,不需要网关,将网关及DNS去掉
method=manual
[root@LVS system-connections]# nmcli connection reload # 重新加载网卡
[root@LVS system-connections]# nmcli connection up eth1 # 重启(DIP)网卡
1.4.2RS真实服务器的网络配置
### RS1(webserver1)
[root@webserver1 ~]# vmset.sh eth0 192.168.0.10 webserver1.HaHa.org # 调用脚本配置RS真实服务器1的IP及主机名
[root@webserver1 ~]# vim /etc/NetworkManager/system-connections/eth0.nmconnection # 编辑网络文件
[root@webserver1 ~]# cat /etc/NetworkManager/system-connections/eth0.nmconnection
[connection]
id=eth0
type=ethernet
interface-name=eth0
[ipv4]
address1=192.168.0.10/24,192.168.0.105 -- 修改网关保证其与lvs的通信
method=manual
dns=114.114.114.114;
[root@webserver1 system-connections]# nmcli connection reload # 重新加载网卡
[root@webserver1 system-connections]# nmcli connection up eth1 # 重启网卡
### RS2(webserver2)-- 同RS1的配置
[root@webserver2 ~]# vmset.sh eth0 192.168.0.20 webserver2.HaHa.org # 调用脚本配置RS真实服务器2的IP及主机名
[root@webserver2 ~]# vim /etc/NetworkManager/system-connections/eth0.nmconnection # 编辑网络文件
[root@webserver2 ~]# cat /etc/NetworkManager/system-connections/eth0.nmconnection
[connection]
id=eth0
type=ethernet
interface-name=eth0
[ipv4]
address1=192.168.0.20/24,192.168.0.105
method=manual
dns=114.114.114.114;
[root@webserver2 system-connections]# nmcli connection reload # 重新加载网卡
[root@webserver2 system-connections]# nmcli connection up eth1 # 重启网卡
1.5下载相关服务
1.5.1RS主机下载httpd(apache服务)
# RS1(webserver1)
[root@webserver1 ~]# yum install httpd -y # 下载httpd服务
[root@webserver1 ~]# systemctl enable --now httpd # 设置httpd服务立即启动和开机启动
[root@webserver1 ~]# echo webserver1 - 192.168.0.10 > /var/www/html/index.html # 写入内容到httpd的发布目录,便于测试
[root@webserver1 ~]# systemctl stop firewalld # 关闭防火墙
[root@webserver1 ~]# systemctl mask firewalld # 并设置永久关闭防火墙
[root@webserver1 ~]# setenforce 0 # 设置selinux为宽容模式
[root@LVS ~]# curl 192.168.0.10 # 在lvs中进行测试
webserver1 - 192.168.0.11
# RS2(webserver2)
[root@webserver2 ~]# yum install httpd -y # 下载httpd服务
[root@webserver2 ~]# systemctl enable --now httpd # 设置httpd服务立即启动和开机启动
[root@webserver2 ~]# echo webserver2 - 192.168.0.20 > /var/www/html/index.html # 写入内容到httpd的发布目录,便于测试
[root@webserver1 ~]# systemctl stop firewalld
[root@webserver1 ~]# systemctl mask firewalld
[root@webserver1 ~]# setenforce 0
[root@LVS ~]# curl 192.168.0.20 # 在lvs中进行测试
webserver2 - 192.168.0.20
1.5.2LVS下载相关服务及配置
[root@LVS ~]# sysctl -a | grep ip_forward # 查看当前系统是否启用了 IP 转发功能
net.ipv4.ip_forward = 0
net.ipv4.ip_forward_update_priority = 1
net.ipv4.ip_forward_use_pmtu = 0
[root@LVS ~]# vim /etc/sysctl.conf # 修改系统的内核参数配置
13 net.ipv4.ip_forward = 1 -- 打开路由转发功能
[root@LVS ~]# yum install ipvsadm -y # 下载vs调度器服务
[root@LVS ~]# ipvsadm -A -t 172.25.254.105:80 -s rr -- 添加虚拟服务(为VIP的虚拟服务),并指定服务IP地址及端口(80:TCP),-s指定轮询(rr)的的调度算法
# 将两台真实服务器添加到虚拟服务中
[root@LVS ~]# ipvsadm -a -t 172.25.254.105:80 -r 192.168.0.10 -m
[root@LVS ~]# ipvsadm -a -t 172.25.254.105:80 -r 192.168.0.20 -m
[root@LVS ~]# ipvsadm -Ln # 显示 IPVS 表的内容,查看lvs规则(策略)
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 172.25.254.105:80 rr
-> 192.168.0.10:80 Masq 1 0 0
-> 192.168.0.20:80 Masq 1 0 0
以上ipvsadm为临时内容,若系统重启或重启服务后策略清空,因此可以使用以下命令进行保存,便于开机后直接使用
[root@LVS ~]# mkdir /etc/sysconfig/ipvsadm # 创建保存策略的目录
[root@LVS ~]# ipvsadm-save < /etc/sysconfig/ipvsadm # 保存规则(策略)
或
[root@LVS sysconfig]# ipvsadm -Sn # 查看当前保存的配置,此命令对于备份和查看LVS规则非常有用
[root@LVS ~]# ipvsadm -Sn > /etc/sysconfig/ipvsadm # 保存规则
1.6对规则(策略)的操作
# 清空所有策略
[root@LVS ~]# ipvsadm -C
[root@LVS ~]# ipvsadm -Ln
#重新加载规则
[root@LVS ~]# ipvsadm -R < /etc/sysconfig/ipvsadm-config
[root@LVS ~]# ipvsadm -Ln
1.7测试
# 使用客户机进行测试
[root@client ~]# for i in {1..10} -- 为更好看到测试效果,可使用for循环进行测试
> do
> curl 172.25.254.105
> done
webserver1 - 192.168.0.10
webserver2 - 192.168.0.20
webserver1 - 192.168.0.10
webserver2 - 192.168.0.20
webserver1 - 192.168.0.10
webserver2 - 192.168.0.20
webserver1 - 192.168.0.10
webserver2 - 192.168.0.20
webserver1 - 192.168.0.10
webserver2 - 192.168.0.20
注:一定要严格区分保证实验的网络环境配置,否则一旦网络环境出问题,此实验就会失败
1.8修改为权重调用算法
# 修改ipvsadm的规则
[root@LVS ~]# ipvsadm -E -t 172.25.254.105:80 -s wrr
[root@LVS ~]# ipvsadm -e -t 172.25.254.105:80 -r 192.168.0.10:80 -m -w 2
[root@LVS ~]# ipvsadm -e -t 172.25.254.105:80 -r 192.168.0.20:80 -m -w 1
测试效果
[root@LVS ~]# for i in {1..6};do curl 172.25.254.105;done
webserver2 - 192.168.0.20
webserver1 - 192.168.0.10
webserver1 - 192.168.0.10
webserver2 - 192.168.0.20
webserver1 - 192.168.0.10
webserver1 - 192.168.0.10
2.LVS的DR模式集群案例
2.1实验环境
主机名 | IP | VIP | 角色 |
---|---|---|---|
client | 172.25.254.206 VMware NAT GW:172.25.254.106 | null | 测试机 |
router | NAT-eth0:172.25.254.106, 仅主机:eth1:192.168.0.106 | null | 路由器 |
LVS | 仅主机 eth0(DIP):192.168.0.50 GW:192.168.0.106 | lo:192.168.0.206 | 调度器(VS) |
webserver1 | 仅主机 eth0:192.168.0.11 GW:192.168.0.106 | lo:192.168.0.206 | 真实服务器(RS) |
webserver2 | 仅主机 eth0:192.168.0.22 GW:192.168.0.106 | lo:192.168.0.206 | 真实服务器(RS) |
2.2LVS集群的DR模式过程
1.Router采用双网卡,一个是NAT网卡连接外网,一个是仅主机网卡与lvs服务器相连
2.VS服务器及web服务器的VIP都为192.168.0.206
3.Web服务器采用仅主机网卡与VS相连
4…Web服务器网关指向192.168.0.106
5.后端web服务器不需要连接外网
2.3实验步骤
2.3.1添加实验主机,并设定网络配置,以及关闭防火墙
- Client(测试机)
[root@client ~]# vim /etc/NetworkManager/system-connections/eth0.nmconnection
[connection]
id=eth0
type=ethernet
interface-name=eth0
[ipv4]
address1=172.25.254.206/24,172.25.254.106
method=manual
dns=114.114.114.114;
[root@client ~]# nmcli connection reload # 重新加载网络
[root@client ~]# nmcli connection up eth0 # 重启网卡
[root@client ~]# route -n # 检查路由查看网关
[root@client ~]# systemctl stop firewalld # 停止防火墙
[root@client ~]# systemctl mask firewalld # 永久关闭防火墙
[root@client ~]# setenforce 0 # 设置Selinux为宽容模式
- Router
[root@router ~]# vim /etc/NetworkManager/system-connections/eth0.nmconnection
[connection]
id=eth0
type=ethernet
interface-name=eth0
[ipv4]
address1=172.25.254.106/24,172.25.254.2
method=manual
dns=114.114.114.114;
[root@router ~]# vim /etc/NetworkManager/system-connections/eth1.nmconnection
[connection]
id=eth1
type=ethernet
interface-name=eth1
[ipv4]
address1=192.168.0.106/24
method=manual
[root@router ~]# nmcli connection reload # 重新加载网络
[root@router ~]# nmcli connection up eth0 / eth1 # 重启网卡
[root@router ~]# route -n # 检查路由查看网关
[root@router ~]# systemctl stop firewalld # 停止防火墙
[root@router ~]# systemctl mask firewalld # 永久关闭防火墙
[root@router ~]# setenforce 0 # 设置Selinux为宽容模式
# 打开路由转发功能
[root@router ~]# vim /etc/sysctl.conf # 修改系统的内核参数配置
13 net.ipv4.ip_forward = 1
[root@router ~]# sysctl -p # 刷新配置
[root@router ~]# sysctl -a | grep ip_forward # 查看路由功能
- LVS(VS调度器)
[root@LVS ~]# vim /etc/NetworkManager/system-connections/eth0.nmconnection
[connection]
id=eth0
type=ethernet
interface-name=eth0
[ipv4]
address1=192.168.0.50/24,192.168.0.106
method=manual
[root@LVS ~]# nmcli connection reload # 重新加载网络
[root@LVS ~]# nmcli connection up eth0 # 重启网卡
[root@LVS ~]# route -n # 检查路由查看网关
[root@LVS ~]# systemctl stop firewalld # 停止防火墙
[root@LVS ~]# systemctl mask firewalld # 永久关闭防火墙
[root@LVS ~]# setenforce 0 # 设置Selinux为宽容模式
# 打开路由转发功能
[root@LVS ~]# vim /etc/sysctl.conf # 修改系统的内核参数配置
13 net.ipv4.ip_forward = 1
[root@router ~]# sysctl -p # 刷新配置
[root@router ~]# sysctl -a | grep ip_forward # 查看路由功能
- webserver1(真实服务器RS)
[root@webserver1 ~]# vim /etc/NetworkManager/system-connections/eth0.nmconnection
[connection]
id=eth0
type=ethernet
interface-name=eth0
[ipv4]
address1=192.168.0.11/24,192.168.0.106
method=manual
[root@webserver1 ~]# nmcli connection reload # 重新加载网络
[root@webserver1 ~]# nmcli connection up eth0 # 重启网卡
[root@webserver1 ~]# route -n # 检查路由查看网关
[root@webserver1 ~]# systemctl stop firewalld # 停止防火墙
[root@webserver1 ~]# systemctl mask firewalld # 永久关闭防火墙
[root@webserver1 ~]# setenforce 0 # 设置Selinux为宽容模式
- webserver2(真实服务器RS)
[root@webserver2 ~]# vim /etc/NetworkManager/system-connections/eth0.nmconnection
[connection]
id=eth0
type=ethernet
interface-name=eth0
[ipv4]
address1=192.168.0.22/24,192.168.0.106
method=manual
[root@webserver2 ~]# nmcli connection reload # 重新加载网络
[root@webserver2 ~]# nmcli connection up eth0 # 重启网卡
[root@webserver2 ~]# route -n # 检查路由查看网关
[root@webserver2 ~]# systemctl stop firewalld # 停止防火墙
[root@webserver2 ~]# systemctl mask firewalld # 永久关闭防火墙
[root@webserver2 ~]# setenforce 0 # 设置Selinux为宽容模式
确保每台主机ping都可以通信
2.3.2真实服务器RS下载apcache服务
# RS1(webserver1)
[root@webserver1 ~]# yum install httpd -y # 下载httpd服务
[root@webserver1 ~]# systemctl enable --now httpd # 设置httpd服务立即启动和开机启动
[root@webserver1 ~]# echo webserver1 - 192.168.0.11 > /var/www/html/index.html # 写入内容到httpd的发布目录,便于测试
[root@LVS ~]# curl 192.168.0.11 # 在测试机中进行测试
webserver1 - 192.168.0.11
# RS2(webserver2)
[root@webserver2 ~]# yum install httpd -y # 下载httpd服务
[root@webserver2 ~]# systemctl enable --now httpd # 设置httpd服务立即启动和开机启动
[root@webserver2 ~]# echo webserver2 - 192.168.0.22 > /var/www/html/index.html # 写入内容到httpd的发布目录,便于测试
[root@client ~]# curl 192.168.0.20 # 在测试机中进行测试
webserver2 - 192.168.0.22
2.3.3下载LVS服务(ipvsadm)
[root@LVS ~]# yum install ipvsadm -y # 下载vs调度器服务
# 配置策略
[root@LVS ~]# ipvsadm -A -t 192.168.0.206:80 -s wrr -- 添加虚拟服务(为VIP的虚拟服务),并指定服务IP地址及端口(80:TCP),-s指定轮询(rr)的的调度算法
# 将两台真实服务器添加到虚拟服务中
[root@LVS ~]# ipvsadm -a -t 192.168.0.206:80 -r 192.168.0.11 -g -w 1
[root@LVS ~]# ipvsadm -a -t 192.168.0.206:80 -r 192.168.0.22 -g -w 2
[root@LVS ~]# ipvsadm -Ln # 显示 IPVS 表的内容,查看lvs规则(策略)
[root@LVS ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.0.206:80 wrr
-> 192.168.0.11:80 Route 1 0 3
-> 192.168.0.22:80 Route 2 0 4
以上ipvsadm为临时内容,若系统重启或重启服务后策略清空,因此可以使用以下命令进行保存,便于开机后直接使用
[root@LVS ~]# mkdir /etc/sysconfig/ipvsadm # 创建保存策略的目录
[root@LVS ~]# ipvsadm-save < /etc/sysconfig/ipvsadm # 保存规则(策略)
或
[root@LVS sysconfig]# ipvsadm -Sn # 查看当前保存的配置,此命令对于备份和查看LVS规则非常有用
[root@LVS ~]# ipvsadm -Sn > /etc/sysconfig/ipvsadm # 保存规则
2.3.4解决VIP响应问题
DR模型中各主机上均需要配置VIP,解决地址冲突的方式有三种:
(1)在前端网关做静态绑定
(2)在各RS使用arptables
(3)在各RS修改内核参数,来限制arp响应和通告的级别
-
限制响应级别:arp_ignore
0:默认值,表示可使用本地任意接口上配置的任意地址进行响应
1:仅在请求的目标IP配置在本地主机的接收到请求报文的接口上时,才给予响应
-
限制通告级别:arp_announce
0:默认值,把本机所有接口的所有信息向每个接口的网络进行通告
1:尽量避免将接口信息向非直接连接网络进行通告
2:必须避免将接口信息向非本网络进行通告
配置详情
配置要点
1.Director服务器采用双IP桥接网络,一个是VPP,一个DIP
2.Web服务器采用和DIP相同的网段和Director连接
3.每个Web服务器配置VIP
4.每个web服务器可以出外网
配置内容如下:
# 在LVS和RS 中设定VIP [root@LVS ~]# ip address add 192.168.0.206/32 dev lo [root@webserver1 ~]# ip address add 192.168.0.206/32 dev lo [root@webserver2 ~]# ip address add 192.168.0.206/32 dev lo # 在RS中解决响应问题 # webserver1 [root@webserver1 ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore [root@webserver1 ~]# echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore [root@webserver1 ~]# echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce [root@webserver1 ~]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce # webserver2 [root@webserver2 ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore [root@webserver2 ~]# echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore [root@webserver2 ~]# echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce [root@webserver2 ~]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
注:以上都为临时设定,重启开机后配置消失
若想永久保存ARP配置则可将其配置写入到系统配置文件中(/etc/sysctl.conf )
[root@webserver1 ~]# sysctl -a | grep arp_ignore net.ipv4.conf.all.arp_ignore = 0 net.ipv4.conf.default.arp_ignore = 0 net.ipv4.conf.eth0.arp_ignore = 0 net.ipv4.conf.lo.arp_ignore = 0 [root@webserver1 ~]# vim /etc/sysctl.conf net.ipv4.conf.all.arp_ignore = 1 net.ipv4.conf.all.arp_announce = 2 [root@webserver1 ~]# sysctl -p # 设定
2.3.5测试结果
[root@client ~]# for i in {1..6};do curl 192.168.0.206;done
webserver2 - 192.168.0.22
webserver2 - 192.168.0.22
webserver1 - 192.168.0.11
webserver2 - 192.168.0.22
webserver2 - 192.168.0.22
webserver1 - 192.168.0.11
3.防火墙标签解决轮询中的错误
3.1.轮询规则中可能会遇到的错误
以http和https为例,当我们在RS中同时开放80和443端口,那么默认控制是分开轮询的,这样我们就出
现了一个轮询错乱的问题
当我第一次访问80被轮询到RS1后下次访问443仍然可能会被轮询到RS1上
问题呈现
1.在RS中下载安装mod_ssl模块让RS支持https,并重启apache
# 以DR模式的环境进行继续实验
# webserver1
[root@webserver1 ~]# yum install mod_ssl -y
[root@webserver1 ~]# systemctl restart httpd
# webserver2
[root@webscerver2 ~]# yum install mod_ssl -y
[root@webscerver2 ~]# systemctl restart httpd
2.在lvs中设置调度,因为我们要调度80和443两个端口所以我们需要设定两组策略
[root@LVS ~]# ipvsadm -A -t 192.168.0.206:80 -s rr
[root@LVS ~]# ipvsadm -a -t 192.168.0.206:80 -r 192.168.0.11 -g
[root@LVS ~]# ipvsadm -a -t 192.168.0.206:80 -r 192.168.0.22 -g
[root@LVS ~]# ipvsadm -A -t 192.168.0.206:443 -s rr
[root@LVS ~]# ipvsadm -a -t 192.168.0.206:443 -r 192.168.0.11 -g
[root@LVS ~]# ipvsadm -a -t 192.168.0.206:443 -r 192.168.0.22 -g
[root@LVS ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.0.206:80 rr
-> 192.168.0.11:80 Route 1 0 0
-> 192.168.0.22:80 Route 1 0 0
TCP 192.168.0.206:443 rr
-> 192.168.0.11:443 Route 1 0 0
-> 192.168.0.22:443 Route 1 0 0
3.测试问题
[root@client ~]# curl http://192.168.0.206;curl -k https://192.168.0.206
webserver2 - 192.168.0.22
webserver2 - 192.168.0.22
当访问vip时两次调度都到了
3.2.防火墙标记解决轮询调度问题
FWM:FireWall Mark
MARK target 可用于给特定的报文打标记,–set-mark value
其中:value 可为0xffff格式,表示十六进制数字借助于防火墙标记来分类报文,而后基于标记定义集群服
务:可将多个不同的应用使用同一个集群服务进行调度
实现方法:
在LVS(调度机)主机打标记:
iptables -t mangle -A PREROUTING -d $vip -p $proto -m multiport --dports
$portl,$port2,..-j MARK --set-mark NUMBER
1.
-t mangle
:指定了iptables
使用的表为mangle
表。mangle
表用于修改数据包(比如改变TTL、标记包等),通常用于QoS(服务质量)或流量整形等2.
-A PREROUTING
:表示在PREROUTING
链上追加规则。PREROUTING
链处理的是在数据包到达本机的路由之前的处理阶段3.
-d $vip
:指定目标IP地址的数据包4.
-p $proto
:指定规则适用于的协议5.
-m multiport --dports $portl,$port2
:加载multiport
匹配模块,允许同时匹配多个端口;指定目标端口为port1和port26.
-j MARK --set-mark NUMBER
:-j MARK
:该选项表示执行的动作是“标记”;`–set-mark NUMBER``:为符合上述条件的数据包设置标记 number
在LVS(调度机)主机基于标记定义集群服务:
ipvsadm -A -f NUMBER [options]
如下:
1.在vs调度器中设定端口标签,人为80和443是一个整体
[root@LVS ~]# iptables -t mangle -A PREROUTING -d 192.168.0.206 -p tcp -m multiport --dports 80,443 -j MARK --set-mark 666
2.设定调度规则
[root@LVS ~]# ipvsadm -A -f 666 -s rr
[root@LVS ~]# ipvsadm -a -f 666 -r 192.168.0.11 -g
[root@LVS ~]# ipvsadm -a -f 666 -r 192.168.0.22 -g
[root@LVS ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.0.206:80 rr
-> 192.168.0.11:80 Route 1 0 0
-> 192.168.0.22:80 Route 1 0 0
TCP 192.168.0.206:443 rr
-> 192.168.0.11:443 Route 1 0 0
-> 192.168.0.22:443 Route 1 0 0
FWM 666 rr
-> 192.168.0.11:0 Route 1 0 0
-> 192.168.0.22:0 Route 1 0 0
3.测试结果
[root@client ~]# curl http://192.168.0.206;curl -k https://192.168.0.206
webserver2 - 192.168.0.22
webserver1 - 192.168.0.11
4.lvs持久链接
在我们客户上网过程中有很多情况下需要和服务器进行交互,客户需要提交响应信息给服务器,如果单纯的进行调度会导致客户填写的表单丢失,为了解决这个问题我们可以用sh算法,但是sh算法比较简单粗暴,可能会导致调度失衡。
解决方案
在进行调度时,不管用什么算法,只要相同源过来的数据包我们就把他的访问记录在内存中,也就是把这个源的主机调度到了那个RS上,如果在短期(默认360S)内同源再来访问我仍然按照内存中记录的调度信息,把这个源的访问还调度到同一台RS上。
如果过了比较长的时间(默认最长时间360s)同源访问再次来访,那么就会被调度到其他的RS上。
ipvsadm -AlE -tlulf service-address [-s scheduler] [-p [timeout]]默认360秒
1.
-A
:
-A
是用于添加一个新的虚拟服务。如果该虚拟服务已经存在,命令将失败。2.
-lE
:
-l
和-E
可以组合使用。-E
用于更新现有的虚拟服务,而-l
表示列出已有的虚拟服务。如果虚拟服务存在并且使用了-E
,它会被更新。- 组合使用
-AlE
允许在不存在时创建虚拟服务,而存在时更新虚拟服务。3.
-t
,-u
,-l
,-f
:
- 这些选项用于指定虚拟服务的类型和协议。
-t
:TCP 协议的虚拟服务。-u
:UDP 协议的虚拟服务。-l
:负载均衡的地址,例如172.25.254.105:80
。-f
:指定防火墙标记的虚拟服务。4.
service-address
:
- 这是指虚拟服务的 IP 地址和端口号,
5.
[-s scheduler]
:
-s
是用于指定负载均衡算法(调度算法)的选项。scheduler
是负载均衡算法的类型,比如rr
(轮询),wrr
(加权轮询),lc
(最少连接)等。6.
[-p [timeout]]
:
-p
是用于启用持久连接的选项。timeout
是持久连接的超时时间,单位为秒。该选项使来自相同客户端的后续连接在指定的时间内被分配到相同的真实服务器。- 如果未指定
timeout
,则会使用默认的超时时间。
在lvs调度器中设定
[root@lvs ~]# ipvsadm -E -f 6666 -s rr -p [3000]
[root@lvs ~]# ipvsadm -LnC