保障训练-20201013

18.6 负载均衡集群介绍

18.7 LVS介绍

18.8 LVS调度算法

18.9/18.10 LVS NAT模式搭建

18.11 LVS DR模式搭建

18.12 keepalived + LVS

一、负载均衡集群介绍

负载均衡软件分类:

主流的负载均衡开源软件:LVS、keepalived、haproxy、nginx等

其中,LVS属于4层(网络OSI7层模型),nginx属于7层,haproxy即可以是4层,也可以是7层。

keepalived的负载均衡功能其实就是lvs

lvs这种4层的负载均衡是可以分发除80外的其他端口通信,比如mysql,而nginx仅仅支持http、https、mail

haproxy也可以支持mysql

4层和7层负载比较:

LVS4层的更稳定,能承受更多的请求

nginx 7层的更加灵活,能实现更多的个性化需要

二、LVS介绍

LVS:Linux Virtuer Server,即Linux虚拟服务器,是一个虚拟的服务器集群系统,基于TCP/IP做的路由和转发,稳定性和效率很高。本项目在1998年5月由章文嵩博士成立,是中国国内最早出现的开源软件项目之一。

LVS集群采用IP负载均衡技术和基于内容请求分发技术。调度器具有很好的吞吐率,将请求均衡地转移到不同的服务器上执行,且调度器自动屏蔽掉服务器的故障,从而将一组服务器构成一个高性能的、高可用的虚拟服务器。整个服务器集群的结构对客户是透明的,而且无需修改客户端和服务器端的程序。为此,在设计时需要考虑系统的透明性、可伸缩性、高可用性和易管理性。

一般来说,LVS集群采用三层结构

A、负载调度器(load balancer)或者叫分发器(Load Runner),它是整个集群对外面的前端机,负责将客户的请求发送到一组服务器上执行,而客户认为服务是来自一个IP地址(我们可称之为虚拟IP地址)上的。

B、服务器池(server pool),是一组真正执行客户请求的服务器,执行的服务有WEB、MAIL、FTP和DNS等。

C、共享存储(shared storage),它为服务器池提供一个共享的存储区,这样很容易使得服务器池拥有相同的内容,提供相同的服务。

三、LVS调度算法

lvs支持的算法有:

轮询:Round-Robin,简称:rr

加权轮询:Weight Round-Robin,简称:wrr

最小连接:Least-Connection,简称:lc

加权最小连接:Weight Least-Connection,简称:wlc

基于局部性的最小连接:Locality-Based Least Connections,简称:lblc

带复制的基于局部性最小连接:Locality-Based Least Connections with Replication,简称:lblcr

目标地址散列调度:Destination Hashing,简称:dh

源地址散列调度:Source Hashing,简称:sh

四、LVS NAT模式搭建

试验原理:

LVS NAT模式借助iptables的nat表来实现:

用户的请求到分发器后,通过预设的iptables规则,把请求的数据包转发到后端的rs上去

rs需要设定网关为分发器的内网ip

用户请求的数据包和返回给用户的数据包全部经过分发器,所以分发器成为瓶颈

在nat模式中,只需要分发器有公网ip即可,所以比较节省公网ip资源

试验准备:

三台机器:

分发器,也叫调度器(简写为dir) 内网:192.168.112.136,外网:192.168.24.128(vmware仅主机模式)

rs1 内网:192.168.112.138,设置网关为192.168.112.136

rs2 内网:192.168.112.139,设置网关为192.168.112.136

三台机器上都执行执行

systemctl stop firewalld; systemc disable firewalld

systemctl start iptables-services; iptables -F; service iptables save

注意:ying01和ying02机器已经存在,现在需要克隆一台ying03机器;其IP定位:192.168.112.139。此处不详细介绍

在ying01上

分发器需要,两个网卡,也就是ying01机器上需要两个网卡

在ying01机器,vmware上配置仅主机模式

此时查看ens37网卡的IP为192.168.24.128

查看网卡网关

保存清空的规则

ying02上

停止防火墙

安装iptables-services服务

开启iptables服务,清空规则后,保存规则

此时把ying02上的IP网关改为192.168.112.136

重启网络服务,查看其网关

在ying03的上

安装iptables-services服务

开启iptables服务,清空规则后,保存规则

此时把ying02上的IP网关改为192.168.112.136

重启网络服务,查看其网关

回到ying01上设置

安装ipvsadm包

[root@ying01 ~]# yum install -y ipvsadm

编辑lvs_nat.sh脚本

ying02上

ying02上开启nginx,把其主页重新定义

ying03上

ying03同ying02一样,开启nginx服务,并重新定义网页内容

ying01上

执行脚本,查看nat规则,发现有网段出现

测试192.168.24.128的主页,发现显示单位为ying02上的主页

进入脚本,把延迟时间去掉

重新执行脚本,此时每测试一次,显示的主页为ying02、ying03;很均衡的显示

ipvsadm -ln 查看其规则

五、LVS DR模式搭建

1.准备工作

试验需求三台机器:

 分发器,也叫调度器(简写为dir) : 192.168.112.136 ying01
 rs1 :192.168.112.138 ying02
 rs2 :192.168.112.139 ying03
 vip :192.168.112.200

ying01上设置

新建lvs_dr脚本,按下面内容配置

 [root@ying01 ~]# vim /usr/local/sbin/lvs_dr.sh

 #! /bin/bashecho 1 > /proc/sys/net/ipv4/ip_forward
 ipv=/usr/sbin/ipvsadm
 vip=192.168.112.200
 rs1=192.168.112.138
 rs2=192.168.112.139
 #注意这里的网卡名字
 ifdown wns33
 ifup ens33
 ifconfig ens33:2 $vip broadcast $vip netmask 255.255.255.255 up
 route add -host $vip dev ens33:2
 $ipv -C
 $ipv -A -t $vip:80 -s wrr
 $ipv -a -t $vip:80 -r $rs1:80 -g -w 1
 $ipv -a -t $vip:80 -r $rs2:80 -g -w 1

执行脚本,查看IP,发现vip在ens33上

 [root@ying01 ~]# sh /usr/local/sbin/lvs_dr.sh
 成功断开设备 'ens33'。
 连接已成功激活(D-Bus 活动路径:/org/freedesktop/NetworkManager/ActiveConnection/3)
 [root@ying01 ~]# ip add
 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
 inet 127.0.0.1/8 scope host lo
 valid_lft forever preferred_lft forever
 inet6 ::1/128 scope host
 valid_lft forever preferred_lft forever
 2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
 link/ether 00:0c:29:87:3f:91 brd ff:ff:ff:ff:ff:ff
 inet 192.168.112.136/24 brd 192.168.112.255 scope global ens33
 valid_lft forever preferred_lft forever
 inet 192.168.112.200/32 brd 192.168.112.200 scope global ens33:2
 valid_lft forever preferred_lft forever
 inet 192.168.112.158/24 brd 192.168.112.255 scope global secondary ens33:0
 valid_lft forever preferred_lft forever
 inet6 fe80::16dc:89c:b761:e115/64 scope link
 valid_lft forever preferred_lft forever
 3: ens37: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
 link/ether 00:0c:29:87:3f:9b brd ff:ff:ff:ff:ff:ff
 inet 192.168.24.128/24 brd 192.168.24.255 scope global dynamic ens37
 valid_lft 1434sec preferred_lft 1434sec
 inet6 fe80::ad38:a02e:964e:1b93/64 scope link
 valid_lft forever preferred_lft forever

ying02上

先把网关改为:192.168.112.2,重启网络

 [root@ying02 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33

 GATEWAY=192.168.112.2
 [root@ying02 ~]# systemctl restart network

新建lvs_rs脚本

 [root@ying02 ~]# vim /usr/local/sbin/lvs_rs.sh

 #/bin/bash
 vip=192.168.112.200#把vip绑定在lo上,是为了实现rs直接把结果返回给客户端
 ifdown lo
 ifup lo
 ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
 route add -host $vip lo:0#以下操作为更改arp内核参数,目的是为了让rs顺利发送mac地址给客户端#参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
 echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
 echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
 echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
 echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

执行脚本,并route -n ,查看网络信息

 [root@ying02 ~]# sh /usr/local/sbin/lvs_rs.sh
 [root@ying02 ~]# route -n
 Kernel IP routing table
 Destination Gateway Genmask Flags Metric Ref Use Iface
 0.0.0.0 192.168.112.2 0.0.0.0 UG 100 0 0 ens33
 192.168.112.0 0.0.0.0 255.255.255.0 U 100 0 0 ens33
 192.168.112.200 0.0.0.0 255.255.255.255 UH 0 0 0 lo
 [root@ying02 ~]# ip add
 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
 inet 127.0.0.1/8 scope host lo
 valid_lft forever preferred_lft forever
 inet 192.168.112.200/32 brd 192.168.112.200 scope global lo:0
 valid_lft forever preferred_lft forever
 inet6 ::1/128 scope host
 valid_lft forever preferred_lft forever
 2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
 link/ether 00:0c:29:c6:2c:24 brd ff:ff:ff:ff:ff:ff
 inet 192.168.112.138/24 brd 192.168.112.255 scope global ens33
 valid_lft forever preferred_lft forever
 inet6 fe80::964f:be22:ddf2:54b7/64 scope link
 valid_lft forever preferred_lft forever
 3: ens37: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
 link/ether 00:0c:29:c6:2c:2e brd ff:ff:ff:ff:ff:ff

ying03

先把网关改为:192.168.112.2,重启网络

 [root@ying03 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
 [root@ying03 ~]# systemctl restart network

新建lvs_rs脚本

 [root@ying03 ~]# vim /usr/local/sbin/lvs_rs.sh

 #/bin/bash
 vip=192.168.112.200
 ifdown lo
 ifup lo
 #把vip绑定在lo上,是为了实现rs直接把结果返回给客户端
 ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
 route add -host $vip lo:0#以下操作为更改arp内核参数,目的是为了让rs顺利发送mac地址给客户端#参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
 echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
 echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
 echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
 echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

2.测试

执行脚本,vip在lo网卡上

 [root@ying03 ~]# sh /usr/local/sbin/lvs_rs.sh
 [root@ying03 ~]# route -n
 Kernel IP routing table
 Destination Gateway Genmask Flags Metric Ref Use Iface
 0.0.0.0 192.168.112.2 0.0.0.0 UG 100 0 0 ens33
 192.168.112.0 0.0.0.0 255.255.255.0 U 100 0 0 ens33
 192.168.112.200 0.0.0.0 255.255.255.255 UH 0 0 0 lo
 [root@ying03 ~]# ip add
 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
 inet 127.0.0.1/8 scope host lo
 valid_lft forever preferred_lft forever
 inet 192.168.112.200/32 brd 192.168.112.200 scope global lo:0
 valid_lft forever preferred_lft forever
 inet6 ::1/128 scope host
 valid_lft forever preferred_lft forever
 2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
 link/ether 00:0c:29:ed:0f:50 brd ff:ff:ff:ff:ff:ff
 inet 192.168.112.139/24 brd 192.168.112.255 scope global ens33
 valid_lft forever preferred_lft forever
 inet6 fe80::43bd:36bd:3f01:f8e8/64 scope link
 valid_lft forever preferred_lft forever
 inet6 fe80::964f:be22:ddf2:54b7/64 scope link tentative dadfailed
 valid_lft forever preferred_lft forever
 3: ens37: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
 link/ether 00:0c:29:ed:0f:5a brd ff:ff:ff:ff:ff:ff

在浏览器测试,输入VIP:192.168.112.100;不断刷新浏览器;会出现ying02或者ying03页面

通过ipvsadm -ln查看 规则,可以看出其信息

 [root@ying01 ~]# ipvsadm -ln
 IP Virtual Server version 1.2.1 (size=4096)
 Prot LocalAddress:Port Scheduler Flags
 -> RemoteAddress:Port Forward Weight ActiveConn InActConn
 TCP 192.168.112.200:80 wrr
 -> 192.168.112.138:80 Route 1 2 9
 -> 192.168.112.139:80 Route 1 2 9

六、keepalived+LVS

编辑配置文件,把之前的内容清空,按下面配置

 [root@ying01 ~]# vim /etc/keepalived/keepalived.conf

 vrrp_instance VI_1 {
 #备用服务器上为 BACKUP
 state MASTER
 #绑定vip的网卡为ens33
 interface ens33
 virtual_router_id 51
 #备用服务器上为90
 priority 100
 advert_int 1
 authentication {
 auth_type PASS
 auth_pass aminglinux
 }
 virtual_ipaddress {
 192.168.112.200
 }
 }
 virtual_server 192.168.112.200 80 {
 #(每隔10秒查询realserver状态)
 delay_loop 10
 #(lvs 算法)
 lb_algo wlc
 #(DR模式)
 lb_kind DR
 #(同一IP的连接60秒内被分配到同一台realserver)
 persistence_timeout 60
 #(用TCP协议检查realserver状态)
 protocol TCP

 real_server 192.168.112.138 80 {
 #(权重)
 weight 100
 TCP_CHECK {
 #(10秒无响应超时)
 connect_timeout 10
 nb_get_retry 3
 delay_before_retry 3
 connect_port 80
 }
 }
 real_server 192.168.112.139 80 {
 weight 100
 TCP_CHECK {
 connect_timeout 10
 nb_get_retry 3
 delay_before_retry 3
 connect_port 80
 }
 }
 }

查看网卡IP

 [root@ying01 ~]# ip add
 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
 inet 127.0.0.1/8 scope host lo
 valid_lft forever preferred_lft forever
 inet6 ::1/128 scope host
 valid_lft forever preferred_lft forever
 2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
 link/ether 00:0c:29:87:3f:91 brd ff:ff:ff:ff:ff:ff
 inet 192.168.112.136/24 brd 192.168.112.255 scope global ens33
 valid_lft forever preferred_lft forever
 inet 192.168.112.158/24 brd 192.168.112.255 scope global secondary ens33:0
 valid_lft forever preferred_lft forever
 inet6 fe80::16dc:89c:b761:e115/64 scope link
 valid_lft forever preferred_lft forever
 3: ens37: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
 link/ether 00:0c:29:87:3f:9b brd ff:ff:ff:ff:ff:ff
 inet 192.168.24.128/24 brd 192.168.24.255 scope global dynamic ens37
 valid_lft 1216sec preferred_lft 1216sec
 inet6 fe80::ad38:a02e:964e:1b93/64 scope link
 valid_lft forever preferred_lft forever

ipvsadm -ln :查看其规则,开启与未开启keepalived服务对比

 [root@ying01 ~]# ipvsadm -ln
 IP Virtual Server version 1.2.1 (size=4096)
 Prot LocalAddress:Port Scheduler Flags
 -> RemoteAddress:Port Forward Weight ActiveConn InActConn
 [root@ying01 ~]# systemctl start keepalived
 [root@ying01 ~]# ipvsadm -ln
 IP Virtual Server version 1.2.1 (size=4096)
 Prot LocalAddress:Port Scheduler Flags
 -> RemoteAddress:Port Forward Weight ActiveConn InActConn
 TCP 192.168.112.200:80 wlc persistent 60
 -> 192.168.112.138:80 Route 100 0 0
 -> 192.168.112.139:80 Route 100 0 0

开展执行其脚本;做实验,不断刷新浏览器

 [root@ying01 ~]# sh /usr/local/sbin/lvs_dr.sh
 成功断开设备 'ens33'。
 连接已成功激活(D-Bus 活动路径:/org/freedesktop/NetworkManager/ActiveConnection/7)
 [root@ying01 ~]# ipvsadm -ln
 IP Virtual Server version 1.2.1 (size=4096)
 Prot LocalAddress:Port Scheduler Flags
 -> RemoteAddress:Port Forward Weight ActiveConn InActConn
 TCP 192.168.112.200:80 wrr
 -> 192.168.112.138:80 Route 1 0 3
 -> 192.168.112.139:80 Route 1 0 3

假如ying03宕机了,我们把ying03机器关闭;此时能够剔除ying03机器

 [root@ying01 ~]# ipvsadm -ln
 IP Virtual Server version 1.2.1 (size=4096)
 Prot LocalAddress:Port Scheduler Flags
 -> RemoteAddress:Port Forward Weight ActiveConn InActConn
 TCP 192.168.112.200:80 wrr
 -> 192.168.112.138:80 Route 1 3 20

您在 /var/spool/mail/root 中有新邮件

恢复ying03机器,规则里面有添加上ying03

 [root@ying01 ~]# ipvsadm -ln
 IP Virtual Server version 1.2.1 (size=4096)
 Prot LocalAddress:Port Scheduler Flags
 -> RemoteAddress:Port Forward Weight ActiveConn InActConn
 TCP 192.168.112.200:80 wrr
 -> 192.168.112.138:80 Route 1 3 20
 -> 192.168.112.139:80 Route 100 1 1
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值