9.6任务

18.6 负载均衡集群介绍

主流开源软件LVS、keepalived、haproxy、nginx等。

之前介绍过keepalived可以做高可用，它也是可以做负载均衡。

其中LVS属于4层传输层（网络OSI 7层模型），nginx属于7层应用层，haproxy既可以认为是4层，也可以当做7层使用。

keepalived的负载均衡功能其实就是lvs。
lvs这种4层的负载均衡是可以分发除80外的其他端口通信的，比如MySQL(tcp协议)的，而nginx仅仅支持http，https，mail，haproxy也支持MySQL。
相比较来说，LVS这种4层的更稳定，能承受更多的请求，但是LVS不关心你的数据是什么，而nginx这种7层的更加灵活，能实现更多的个性化需求。

 

18.7 LVS介绍

LVS是由国人章文嵩开发。
流行度不亚于apache的httpd，基于TCP/IP做的路由和转发，稳定性和效率很高。
LVS最新版本基于Linux内核2.6，有好多年不更新了。
LVS有三种常见的模式：NAT、DR、IP Tunnel。
LVS架构中有一个核心角色叫做分发器（Load balance），它用来分发用户的请求，还有诸多处理用户请求的服务器（Real Server，简称rs）。
 

LVS的NAT模式

这种模式借助iptables的nat表来实现。
用户的请求到分发器后，通过预设的iptables规则，把请求的数据包转发到后端的rs上去。
rs需要设定网关为分发器的内网ip。
用户请求的数据包和返回给用户的数据包全部经过分发器，所以分发器成为瓶颈。
在nat模式中，只需要分发器有公网ip即可，所以比较节省公网ip资源。

用nat模式，请求量不能太大，适用于十几台机器的情况，想提高效率就要提升分发器的配置。

 

LVS IP Tunnel模式

这种模式实际上就是更改了包的ip地址，需要有一个公共的IP配置在分发器和所有rs上，我们把它叫做vip。
客户端请求的目标IP为vip，分发器接收到请求数据包后，会对数据包做一个加工，会把目标IP改为rs的IP（可以轮询，可以按照自己算法进行分发），这样数据包就到了rs上。
rs接收数据包后，会还原原始数据包，这样原始数据包目标IP为vip，因为所有rs上配置了这个vip，所以它会认为是它自己直接收到的这个数据包，就可以通过公网IP直接返回给用户。

 

LVS DR模式

这种模式，也需要有一个公共的IP配置在分发器和所有rs上，也就是vip。
和IP Tunnel不同的是，它会把数据包的MAC地址修改为rs的MAC地址。
rs接收数据包后，会还原原始数据包，这样目标IP为vip，因为所有rs上配置了这个vip，所以它会认为是它自己。

 

18.8 LVS调度算法

轮询 Round-Robin  rr 平均分配
加权轮询 Weight Round-Robin wrr
最小连接 Least-Connection lc 把请求分配给链接数最小的服务器
加权最小连接 Weight Least-Connection wlc
基于局部性的最小连接 Locality-Based Least Connections lblc
带复制的基于局部性最小连接 Locality-Based Least Connections with Replication  lblcr
目标地址散列调度 Destination Hashing dh
源地址散列调度 Source Hashing  sh

一共八种，前四种要有一定了解。

 

18.9/10 LVS NAT模式搭建

nat模式是通过iptables实现的，所以必须先配置一些iptables规则，首先准备三台机器。

三台机器

1. 分发器，也叫调度器（简写为dir）内网：192.168.127.101，外网：192.168.239.147（vmware仅主机模式）
2. rs1                                               内网：192.168.127.102，设置网关为192.168.133.101
3. rs2                                               内网：192.168.127.103，设置网关为192.168.133.101

三台机器上都执行执行

systemctl stop firewalld
systemc disable firewalld
systemctl start  iptables-services 
iptables -F
service iptables save

然后准备工作完成显示如下

分发器：

[root@localhost: ~]# ifconfig 
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.239.147  netmask 255.255.255.0  broadcast 192.168.239.255
        inet6 fe80::20c:29ff:fe18:286e  prefixlen 64  scopeid 0x20<link>
        ether 00:0c:29:18:28:6e  txqueuelen 1000  (Ethernet)
        RX packets 10  bytes 1490 (1.4 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 30  bytes 3070 (2.9 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

ens37: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.127.101  netmask 255.255.255.0  broadcast 192.168.127.255
        inet6 fe80::20c:29ff:fe18:2878  prefixlen 64  scopeid 0x20<link>
        ether 00:0c:29:18:28:78  txqueuelen 1000  (Ethernet)
        RX packets 1047  bytes 96048 (93.7 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 828  bytes 113850 (111.1 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0


RS1:

[root@clone2: ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.127.101 0.0.0.0         UG    100    0        0 ens37
192.168.127.0   0.0.0.0         255.255.255.0   U     100    0        0 ens37

RS2:

[root@clone3: ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.127.101 0.0.0.0         UG    100    0        0 ens37
192.168.127.0   0.0.0.0         255.255.255.0   U     100    0        0 ens37

 

下面开始搭建nat模式

在dir上安装ipvsadm，这个工具和iptables很像。

[root@localhost: ~]# yum install -y ipvsadm

在dir上编写脚本，内容如下

#! /bin/bash
# director 服务器上开启路由转发功能
echo 1 > /proc/sys/net/ipv4/ip_forward
# 关闭icmp的重定向
echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects
# 注意区分网卡名字，阿铭的两个网卡分别为ens33和ens37
echo 0 > /proc/sys/net/ipv4/conf/ens33/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/ens37/send_redirects
# director 设置nat防火墙
iptables -t nat -F
iptables -t nat -X
iptables -t nat -A POSTROUTING -s 192.168.127.0/24  -j MASQUERADE
# director设置ipvsadm
IPVSADM='/usr/sbin/ipvsadm'
$IPVSADM -C  #清空规则
$IPVSADM -A -t 192.168.239.147:80 -s wlc -p 3  #设置算法wlc，超时时间（同一请求分发给同一个服务器）3秒
$IPVSADM -a -t 192.168.239.147:80 -r 192.168.127.102:80 -m -w 1 #-r是rs的ip
$IPVSADM -a -t 192.168.239.147:80 -r 192.168.127.103:80 -m -w 1 #-m是nat模式，-w是权重。

执行脚本后，没有报错就是成功了，然后测试：

两台rs上都安装nginx
设置两台rs的主页，做一个区分，也就是说直接curl两台rs的ip时，得到不同的结果。

测试的时候要把-p 3去掉，否则你会得到相同的结果。

[root@localhost: ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.239.147:80 wlc
  -> 192.168.127.102:80           Masq    1      0          0         
  -> 192.168.127.103:80           Masq    1      0          1 

多刷新几次，看到不同的backup（自己设置的）就成功了。

 

扩展

 

lvs 三种模式详解

 

lvs几种算法

 

关于arp_ignore和 arp_announce

 

lvs原理相关的

转载于:https://my.oschina.net/u/3866688/blog/2045704