介绍
LVS:Linux Virtual Server
LVS(Linux Virtual Server)即Linux虚拟服务器,是由章文嵩博士主导的开源负载均衡项目,目前LVS已经被集成到Linux内核模块中。该项目在Linux内核中实现了基于IP的数据请求负载均衡调度方案,其体系结构如图1所示,终端互联网用户从外部访问公司的外部负载均衡服务器,终端用户的Web请求会发送给LVS调度器,调度器根据自己预设的算法决定将该请求发送给后端的某台Web服务器,比如,轮询算法可以将外部的请求平均分发给后端的所有服务器,终端用户访问LVS调度器虽然会被转发到后端真实的服务器,但如果真实服务器连接的是相同的存储,提供的服务也是相同的服务,最终用户不管是访问哪台真实服务器,得到的服务内容都是一样的,整个集群对用户而言都是透明的。最后根据LVS工作模式的不同,真实服务器会选择不同的方式将用户需要的数据发送到终端用户,LVS工作模式分为NAT模式、TUN模式、以及DR模式。
LVS的模型中有两个角色:
调度器:Director,又称为Dispatcher,Balancer。调度器主要用于接受用户请求。
真实主机:Real Server,简称为RS。用于真正处理用户的请求。
而为了更好地理解,我们将所在角色的IP地址分为以下三种:
- Director Virtual IP:调度器用于与客户端通信的IP地址,简称为VIP
- Director IP:调度器用于与RealServer通信的IP地址,简称为DIP。
- Real Server : 后端主机的用于与调度器通信的IP地址,简称为RIP。
lvs scheduler:lvs调度器,即lvs挑选RS的算法
静态方法:仅根据算法本身进行调度
RR:round robin,轮调、轮询
WRR:weighted rr,加权的rr,根据一定的比例进行轮调,比如每次RS1给2个请求,RS2给1个请求
SH:source hash,源地址hash,实现session保持的机制,将来自于同一个IP的请求始终调度至同一RS,每个服务单独调度
DH:destination hash,目标地址hash,将对同一个目标(资源)的请求始终发往同一个RS
动态方法:根据算法及各RS的当前负载状态进行调度,根据指定的算法算出overhead(负载),最终挑选出overhead值最小的则为被选中的RS
LC:Least Connection,最少连接数,算法如下:
overhead = Active * 256 + Inactive
WLC:Weighted LC,加权的LC,算法如下:
overhead=(Active*256+Inactive)/ weight
SED:Shortest Expection Delay,最短期望延迟,算法如下:
overhead = (Active + 1) * 256 / weight
NQ:Nevel Queue,是SED算法的改进,根据SED算法每台主机第一次至少要均分配一次,然后再按SED算法来挑选
LBLC:Locality-Based LC,基于本地的最少连接数,即为动态的DH算法
正向代理情形下的cache server调度
LBLCR:Locality-Based Least-Connection with Replication,带复制功能的LBLC算法
LVS工作原理
LVS-NAT
NAT(Network Address Translation)即网络地址转换,其作用是通过数据报头的修改,使得位于企业内部的私有IP地址可以访问外网,以及外部用用户可以访问位于公司内部的私有IP主机。
原理:基于ip伪装MASQUERADES,多目标DNAT。所有请求和响应都经由Director调度器。RS和DIP应该使用私网地址,且RS的网关要指向DIP
LVS-TUN
在LVS(NAT)模式的集群环境中,由于所有的数据请求及响应的数据包都需要经过LVS调度器转发,如果后端服务器的数量大于10台,则调度器就会成为整个集群环境的瓶颈。我们知道,数据请求包往往远小于响应数据包的大小。因为响应数据包中包含有客户需要的具体数据,所以LVS(TUN)的思路就是将请求与响应数据分离,让调度器仅处理数据请求,而让真实服务器响应数据包直接返回给客户端。
原理:基于隧道封装技术。在IP报文的外卖再包一层IP报文。
当Director接收到请求的时候,选举出调度的RealServer
当接受到从Director而来的请求时,RealServer则会使用lo接口上的VIP直接响应CIP。
这样CIP请求VIP的资源,收到的也是VIP响应。
LVS-DR
原理:当Director接收到请求之后,通过调度方法选举出RealServer。
讲目标地址的MAC地址改为RealServer的MAC地址。
RealServer接受到转发而来的请求,发现目标地址是VIP。RealServer配置在lo接口上。
处理请求之后则使用lo接口上的VIP响应CIP。
LVS-NAT模式配置http负载均衡
,三台服务器分别配置了对应的本地静态地址DIP和RIP,且在一个内网中。
DR有两块网卡,一块IP是内网的DIP,另一块IP是公网IP的VIP
RS的网关指向DIP
配置ip地址信息
#DR需两块网卡
[root@DR ~]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: ens160: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
link/ether 00:0c:29:2f:dc:34 brd ff:ff:ff:ff:ff:ff
inet 192.168.8.129/24 brd 192.168.8.255 scope global noprefixroute ens160
valid_lft forever preferred_lft forever
inet6 fe80::20c:29ff:fe2f:dc34/64 scope link
valid_lft forever preferred_lft forever
3: ens224: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
link/ether 00:0c:29:2f:dc:3e brd ff:ff:ff:ff:ff:ff
inet 192.168.46.129/24 brd 192.168.46.255 scope global dynamic noprefixroute ens224
valid_lft 1787sec preferred_lft 1787sec
inet6 fe80::2667:64f9:f55f:29ce/64 scope link noprefixroute
valid_lft forever preferred_lft forever
#RS-1网关指向DR
[root@RS-1 ~]# cat /etc/sysconfig/network-scripts/ifcfg-ens160
GATEWAY=192.168.8.129
[root@RS-1 ~]# systemctl restart NetworkManager
[root@RS-1 ~]# ifdown ens160 ;ifup ens160
[root@RS-1 ~]# route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 192.168.8.129 0.0.0.0 UG 100 0 0 ens160
192.168.8.0 0.0.0.0 255.255.255.0 U 100 0 0 ens160
[root@RS-1 ~]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: ens160: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
link/ether 00:0c:29:13:fa:e6 brd ff:ff:ff:ff:ff:ff
inet 192.168.8.131/24 brd 192.168.8.255 scope global noprefixroute ens160
valid_lft forever preferred_lft forever
inet6 fe80::20c:29ff:fe13:fae6/64 scope link
valid_lft forever preferred_lft forever
#RS-2网关指向DR
[root@RS-2 ~]# cat /etc/sysconfig/network-scripts/ifcfg-ens160
GATEWAY=192.168.8.129
[root@RS-2 ~]# systemctl restart NetworkManager
[root@RS-2 ~]# ifdown ens160 ;ifup ens160
[root@RS-2 ~]# route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 192.168.8.129 0.0.0.0 UG 100 0 0 ens160
192.168.8.0 0.0.0.0 255.255.255.0 U 100 0 0 ens160
[root@RS-2 ~]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: ens160: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
link/ether 00:0c:29:0c:d0:dc brd ff:ff:ff:ff:ff:ff
inet 192.168.8.132/24 brd 192.168.8.255 scope global noprefixroute ens160
valid_lft forever preferred_lft forever
inet6 fe80::20c:29ff:fe0c:d0dc/64 scope link
valid_lft forever preferred_lft forever
DR上开启IP转发
[root@DR ~]# echo 'net.ipv4.ip_forward = 1' >> /etc/sysctl.conf
[root@DR ~]# sysctl -p
net.ipv4.ip_forward = 1
DR上配置lvs-nat的转发机制
#LVS依赖于ipvsadm来进行配置,所以我们首先先安装ipvsadm
[root@DR ~]# yum -y install ipvsadm
[root@DR ~]# vim /etc/rc.local
ipvsadm -At 192.168.46.129:80 -s rr //添加此内容
ipvsadm -at 192.168.46.129:80 -r 192.168.8.131:80 -m //添加此内容
ipvsadm -at 192.168.46.129:80 -r 192.168.8.132:80 -m //添加此内容
[root@DR ~]# chmod +x /etc/rc.d/rc.local
#保存配置信息并查看规则
[root@DR ~]# ipvsadm -Sn > /etc/sysconfig/ipvsadm
[root@DR ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.46.129:80 rr
-> 192.168.8.131:80 Masq 1 0 0
-> 192.168.8.132:80 Masq 1 0 0
RS上安装httpd并启动
[root@RS-1 ~]# yum -y install httpd
[root@RS-1 ~]# echo 'this is RS-1' > /var/www/html/index.html
[root@RS-1 ~]# systemctl enabled --now httpd
[root@RS-2 ~]# yum -y install httpd
[root@RS-2 ~]# echo 'this is RS-2' > /var/www/html/index.html
[root@RS-2 ~]# systemctl enabled --now httpd
LVS-DR模式配置http负载均衡
LVS服务器配置要点
LVS是被编译进内核中,主要分为两部分ipvs和ipvsadm,ipvs是LVS软件核心,是运行在LB上的,这是个基于ip层的负载均衡;ipvsadm是用户空间的集群管理工具。
要想起到负载均衡效果,那么所有请求报文必须发往LVS服务器(DS),然后DS根据指定算法分发到后端服务器上,因此DS必须配置VIP地址,VIP是与公网client通信地址,这样DS才能接受到请求报文进行分发。
一定要先设置好内核参数在配置VIP,如果先配置VIP,VIP配置好后会立即通告给所有人,而修改内核参数就是为了不通告
LVS-DR模式的注意情况:
DR的VIP 和 RS 必须在同一个网段,不然广播后所有的包都会丢掉: 提前确认LVS/硬件LB 是什么模式,是否需要在同一个网段 所有的RS都必须绑定VIP的IP地址,否则RS收到package后发现dst 不是自己的IP,所有包都会丢掉。 RS处理完包后直接把package 通过dst IP 发送给 client ,不通过LVS/迎接IP 了这样的LVS /VIP 效率会更高一点。
DR上配置IP
[root@DR ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens160
IPADDR1=192.168.8.100
[root@DR ~]# ifdown ens160 ;ifup ens160
[root@DR ~]# ip a
ens160: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
link/ether 00:0c:29:2f:dc:34 brd ff:ff:ff:ff:ff:ff
inet 192.168.8.129/24 brd 192.168.8.255 scope global noprefixroute ens160
valid_lft forever preferred_lft forever
inet 192.168.8.100/24 brd 192.168.8.255 scope global secondary noprefixroute ens160
valid_lft forever preferred_lft forever
RS上配置arp内核参数
#两台RS都需做此操作。 添加下列两行内容
[root@RS-1 ~]# cat /etc/sysctl.conf
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
[root@RS-1 ~]# sysctl -p
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
[root@RS-2 ~]# cat /etc/sysctl.conf
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
[root@RS-2 ~]# sysctl -p
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
RS上配置VIP
一定要先设置好内核参数在配置VIP,如果先配置VIP,VIP配置好后会立即通告给所有人,而修改内核参数就是为了不通告
DR服务器的网卡的IP:192.168.8.50作为VIP
[root@RS-1 network-scripts]# vim ifcfg-ens160
IPADDR1=192.168.8.100
[root@RS-1 ~]# ifdown ens160 ;ifup ens160
[root@RS-2 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens160
IPADDR1=192.168.8.100
[root@RS-2 ~]# ifdown ens160 ;ifup ens160
DR上配置lvs-dr转发规则
[root@DR ~]# yum -y install ipvsadm
[root@DR ~]# vim /etc/rc.local
ipvsadm -A -t 192.168.8.50:80 -s rr
ipvsadm -a -t 192.168.8.50:80 -r 192.168.8.131:80 -g
ipvsadm -a -t 192.168.8.50:80 -r 192.168.8.132:80 -g
ipvsadm -Sn > /etc/sysconfig/ipvsadm
[root@DR ~]# chmod +x /etc/rc.d/rc.local
RS上安装httpd并启动
[root@RS-1 ~]# yum -y install httpd
[root@RS-1 ~]# echo 'RS-1' > /var/www/html/index.html
[root@RS-1 ~]# systemctl enable --now httpd
Created symlink /etc/systemd/system/multi-user.target.wants/httpd.service → /usr/lib/systemd/system/httpd.
[root@RS-2 ~]# yum -y install httpd
[root@RS-2 ~]# echo 'RS-2' > /var/www/html/index.html
[root@RS-2 ~]# systemctl enable --now httpd
Created symlink /etc/systemd/system/multi-user.target.wants/httpd.service → /usr/lib/systemd/system/httpd.