一.LVS简介
LVS 是 Linux Virtual Server(简称 LVS)的缩写,它是一种在 Linux 操作系统上实现的负载均衡技术。负载均衡是一种将网络流量分配到多个服务器上的技术,以实现高可用性和高性能的目标。
LVS 通过将多个服务器组成一个服务器集群,提供一个虚拟 IP 地址(VIP)来对外提供服务。当客户端请求访问 VIP 时,LVS 会根据预定的负载均衡算法将请求转发到集群中的一台真实服务器(也称为后端服务器)。这样可以确保请求在多台服务器之间分布,从而减轻单一服务器的负载,提高服务的可靠性和性能。
二.LVS负责均衡之 NAT地址转换模式
NAT模式原理:
- 客户端将请求发送到负载均衡器(LVS),请求报文的源地址是CIP(客户端地址),目的地址为VIP(LVS均衡器的对外地址).
- 负载均衡器收到报文之后,发现请求的是在规则里面存在的地址,那么它将客户端请求的VIP地址头部转换为RIP地址(真实服务器地址),同时也将请求的端口改为真实服务器的地址,最后发送到真实服务器上.
- 真实服务器会将响应结果返回给LVS服务器,此时LVS服务器会再将 RIP地址,转换为VIP地址,发送给客户端.
大致流程如下:
其中LVS有两个网卡,两个ip地址,一个是VIP对外地址,一个是DIP内部地址,可跟RealServer同信.
NAT实验相关:
准备4台服务器,其中一台用作客户端,一台用作LVS服务器,两台两台用作httpd web服务器.
ip地址规划:
LVS服务器设置两块网卡: ens33:172.16.10.219 (对外) ens37:192.168.202.128(内网)
web1: 192.168.202.129 (内网)
web2: 192.168.202.130 (内网)
#配置路由规则 设置真实服务器的网络出口
web1:配置httpd服务, 并配置路由规则 route add -net 172.16.0.0/16 gw 192.168.202.129
web2:配置httpd服务, 并配置路由规则 route add -net 172.16.0.0/16 gw 192.168.202.130
LVS服务器配置:
echo 1 >/proc/sys/net/ipv4/ip_forward 启动路由转发功能
yum install -y ipvsadm 安装lvs服务
ipvsadm -A -t 172.16.10.219:80 -s rr (-s rr : 定义轮询策略)
ipvsadm -a -t 172.16.10.219:80 -r 192.168.202.129:80 -m (-m 指定nat模式)
ipvsadm -a -t 172.16.10.219:80 -r 192.168.202.130:80 -m
配置完成之后,可以用客户端服务器,访问172.16.10.219:80,就可以轮询的访问192.168.202.129/130:80的web页面了
NAT模式的优点:
网络隔离性很强,内部网络跟外部隔离,安全性高.
只需要一个外部地址,配置在LVS服务器上, 节约ip地址.
NAT模式的缺点:
随着流量增大,lvs服务器可能会成为系统性能瓶颈,因为所有的请求 lvs都需要处理应答(真实服务器也是通过lvs服务器来向请求客户端应答的).
三.LVS负载均衡之DR模式
DR模式原理:
- 客户端将请求地址发送到LVS负载均衡器,请求报文源地址是CIP, 目标地址为VIP.
- 负载均衡器收到报文请求后,发现请求的是在规则里面存在的地址,那么它将客户端请求报文的源MAC地址 转换为自己DIP的MAC地址, 目标MAC地址转换为了RIP的MAC地址,并将此包发送给真实服务器.
- 真实服务器收到对应请求之后,会将报文接收下来,处理完请求报文之后,将相应报文通过lo接口送给eth0网卡,直接返回给客户端.
大致流程如下:
DR模式实验相关:
ip地址规划:
lvs服务器 : 192.168.211.158
web1: 192.168.211.160
web2: 192.168.211.161
虚拟VIP:192.168.211.123
一:
lvs服务器配置虚拟ip:
ifconfig ens33:0 192.168.211.123 broadcast 192.168.211.255 netmask 255.255.255.0 up
net.ipv4.ip_forward = 1 #开启路由转发功能
net.ipv4.conf.all.send_redirects = 0 #禁止转发报文重定向
net.ipv4.conf.ens33.send_redirects = 0 #禁止ens33转发重定向报文
net.ipv4.conf.default.send_redirects = 0 #禁止转发默认重定向报文
二:
yum -y install ipvsadm #安装LVS 配置DR均衡策略
ipvsadm -A -t 192.168.211.123:80 -s rr
ipvsadm -a -t 192.168.211.123:80 -r 192.168.211.160:80 -g -g指定为dr模式
ipvsadm -a -t 192.168.211.123:80 -r 192.168.211.161:80 -g
ipvsadm-save > /etc/sysconfig/ipvsadm 永久化规则
三:
两台web真实服务器配置:
ifconfig lo:0 192.168.211.123/32 配置虚拟VIP, 声明局域网中有且只有一个虚拟ip
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore 忽略arp响应,不允许收
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce 为了让vip能够发包出去, 但允许发
最后使用浏览器,访问一下 192.168.211.123:80 可以均衡的轮询访问到192.168.211.160/161:80的web服务
DR模式的优点:
VS/DR跟 VS/TUN 方法相同,负载调度器中只负责调度请求,而服务器直接将响应返回给客户,可以极大地提高整个集群系统的吞吐量。
DR模式的缺点:
它要求 LVS 调度器及所有应用服务器在同一个网段中,因此不能实现集群的跨网段应用。
四.LVS负载均衡之TUN-UP隧道模式
IP隧道模式原理:
- 客户端将请求发送到负载均衡器,请求报文是原地址CIP,目标地址是VIP.
- 负载均衡器收到报文之后,发现请求规则里面存在的地址,那么它将在客户端请求报文的首部再封装一层IP地址,将源地址改为DIP.目的地址改为RIP,并将次包发送给RS.
- RS收到请求报文之后,会首先拆开第一层封装,然后发现里面还有一层IP首部的目标地址是自己lo接口上的VIP,所以会处理请求报文,并将相应报文通过lo接口送给eth0网卡,直接发送给客户端.
IP隧道模式的优点:
负载均衡器只负责将请求包发送给后端节点服务器,而RS直接将应答包直接发送给用户,所以减少了负载均衡器的大量数据流动,负载均衡器不再是系统的瓶颈,就能处理巨大的请求量. 这种方式一台负载均衡器就能为很多RS服务器进行分发,而且跑在公网地址就能进行不同地域的分发.
IP隧道模式的缺点:
隧道模式的RS节点需要合法的IP,这种方式需要所有的服务器都支持"IP Tunneling"协议,服务器可能只局限在部分Linux系统上.
五: 负载均衡之FULL-NAT模式:
FULL-NAT模式解决的是LVS和RS跨vlan的问题,而跨vlan问题解决后,lvs和rs不再存在vlan上的从属关系,可以做到多个LVS对应多个RS,解决水平扩容的问题.
其中三种主要均衡模式对比:
六:LVS负载均衡调度算法
1.轮询调度
轮询调度(Round Robin 简称'RR')算法就是按依次循环的方式将请求调度到不同的服务器上,该算法最大的特点就是实现简单。轮询算法假设所有的服务器处理请求的能力都一样的,调度器会将所有的请求平均分配给每个真实服务器。
2.加权轮询调度
加权轮询(Weight Round Robin 简称'WRR')算法主要是对轮询算法的一种优化与补充,LVS会考虑每台服务器的性能,并给每台服务器添加一个权值,如果服务器A的权值为1,服务器B的权值为2,则调度器调度到服务器B的请求会是服务器A的两倍。权值越高的服务器,处理的请求越多。
3.最小连接调度
最小连接调度(Least Connections 简称'LC')算法是把新的连接请求分配到当前连接数最小的服务器。最小连接调度是一种动态的调度算法,它通过服务器当前活跃的连接数来估计服务器的情况。调度器需要记录各个服务器已建立连接的数目,当一个请求被调度到某台服务器,其连接数加1;当连接中断或者超时,其连接数减1。
(集群系统的真实服务器具有相近的系统性能,采用最小连接调度算法可以比较好地均衡负载。)
4.加权最小连接调度
加权最少连接(Weight Least Connections 简称'WLC')算法是最小连接调度的超集,各个服务器相应的权值表示其处理性能。服务器的缺省权值为1,系统管理员可以动态地设置服务器的权值。加权最小连接调度在调度新连接时尽可能使服务器的已建立连接数和其权值成比例。调度器可以自动问询真实服务器的负载情况,并动态地调整其权值。
5.基于局部的最少连接
基于局部的最少连接调度(Locality-Based Least Connections 简称'LBLC')算法是针对请求报文的目标IP地址的 负载均衡调度,目前主要用于Cache集群系统,因为在Cache集群客户请求报文的目标IP地址是变化的。这里假设任何后端服务器都可以处理任一请求,算法的设计目标是在服务器的负载基本平衡情况下,将相同目标IP地址的请求调度到同一台服务器,来提高各台服务器的访问局部性和Cache命中率,从而提升整个集群系统的处理能力。LBLC调度算法先根据请求的目标IP地址找出该目标IP地址最近使用的服务器,若该服务器是可用的且没有超载,将请求发送到该服务器;若服务器不存在,或者该服务器超载且有服务器处于一半的工作负载,则使用'最少连接'的原则选出一个可用的服务器,将请求发送到服务器。
6.带复制的基于局部性的最少连接
带复制的基于局部性的最少连接(Locality-Based Least Connections with Replication 简称'LBLCR')算法也是针对目标IP地址的负载均衡,目前主要用于Cache集群系统,它与LBLC算法不同之处是它要维护从一个目标IP地址到一组服务器的映射,而LBLC算法维护从一个目标IP地址到一台服务器的映射。按'最小连接'原则从该服务器组中选出一一台服务器,若服务器没有超载,将请求发送到该服务器;若服务器超载,则按'最小连接'原则从整个集群中选出一台服务器,将该服务器加入到这个服务器组中,将请求发送到该服务器。同时,当该服务器组有一段时间没有被修改,将最忙的服务器从服务器组中删除,以降低复制的程度。
7.目标地址散列调度
目标地址散列调度(Destination Hashing 简称'DH')算法先根据请求的目标IP地址,作为散列键(Hash Key)从静态分配的散列表找出对应的服务器,若该服务器是可用的且并未超载,将请求发送到该服务器,否则返回空。
8.源地址散列调度U
源地址散列调度(Source Hashing 简称'SH')算法先根据请求的源IP地址,作为散列键(Hash Key)从静态分配的散列表找出对应的服务器,若该服务器是可用的且并未超载,将请求发送到该服务器,否则返回空。它采用的散列函数与目标地址散列调度算法的相同,它的算法流程与目标地址散列调度算法的基本相似。
9.最短的期望的延迟
最短的期望的延迟调度(Shortest Expected Delay 简称'SED')算法基于WLC算法。举个例子吧,ABC三台服务器的权重分别为1、2、3 。那么如果使用WLC算法的话一个新请求进入时它可能会分给ABC中的任意一个。使用SED算法后会进行一个运算
A:(1+1)/1=2 B:(1+2)/2=3/2 C:(1+3)/3=4/3 就把请求交给得出运算结果最小的服务器。
10.最少队列调度
最少队列调度(Never Queue 简称'NQ')算法,无需队列。如果有realserver的连接数等于0就直接分配过去,不需要在进行SED运算。