负载均衡集群介绍 LVS介绍 LVS调度算法 LVS NAT模式搭建

负载均衡集群介绍

实现负载均衡集群的软件有：LVS、Keepalived、Nginx、haproxy等。其中LVS属于四层（网络OSI模型）；Nginx属于七层；haproxy既可以认为是四层，也可以当做是七层使用。 
keepalived的负载均衡功能是lvs. 
LVS、haproxy这种四层负载均衡可以分发除80端口(web服务)以外的通信，如MySQL-3306；而Nginx仅仅支持http，https，mail。 
相对来说，LVS这种四层的更加稳定，能承受更多的请求，而Nginx这种七层的更加灵活，能实现更多的个性化需求。

LVS介绍

LVS是基于tcp/ip做的路由和转发，稳定性和效率很高，LVS最新版本是基于Linux内核2.6。LVS常见的模式有三种：NAT、DR、IP Tunnel。LVS架构中有一个核心角色叫分发器（Load Balance），用于分发客户的各种请求，另外还有诸多服务器（real server，简称rs），用于处理用户各种请求。

nat:

这种模式借助iptables的nat表来实现 
用户的请求到分发器后，通过预设的iptables规则，把请求的数据包转发到后端的rs上去 
rs需要设定网关为分发器的内网ip 
用户请求的数据包和返回给用户的数据包全部经过分发器，所以分发器成为瓶颈 
在nat模式中，只需要分发器有公网ip即可，所以比较节省公网ip资源 
在该模式中，load balancer是限制该架构处理用户请求的一个瓶颈，所以该模式比较适合小模式的集群（服务器rs在10台以内）；该模式的优势是节省公网资源。

IP Tunnel:

这种模式，需要有一个公共的IP配置在分发器和所有rs上，我们把它叫做vip 
客户端请求的目标IP为vip，分发器接收到请求数据包后，会对数据包做一个加工，会把目标IP改为rs的IP，这样数据包就到了rs上 
rs接收数据包后，会还原原始数据包，这样目标IP为vip，因为所有rs上配置了这个vip，所以它会认为是它自己

DR:

这种模式，也需要有一个公共的IP配置在分发器和所有rs上，也就是vip 
和IP Tunnel不同的是，它会把数据包的MAC地址修改为rs的MAC地址 
rs接收数据包后，会还原原始数据包，这样目标IP为vip，因为所有rs上配置了这个vip，所以它会认为是它自己

LVS的调度算法

轮询 Round-Robin rr 
均衡的把请求发到real server上 
加权轮询 Weight Round-Robin wrr 
根据权重轮询 
最小连接 Least-Connection lc 
新的请求分给请求量少的real server 
加权最小连接 Weight Least-Connection wlc 
基于局部性的最小连接 Locality-Based Least Connections lblc 
带复制的基于局部性最小连接 Locality-Based Least Connections with Replication lblcr 
目标地址散列调度 Destination Hashing dh 
源地址散列调度 Source Hashing sh

LVS NAT模式搭建

三台机器:

分发器（shuai_01） 
内网：192.168.176.135外网：192.168.248.130（仅主机）

real server1（shuai_02） 
内网：192.168.176.134 设置网关为： 192.168.176.135

real server2（shuai_03） 
内网：192.168.176.133 设置网关为： 192.168.176.135

全都关闭防火墙（selinux和firewalld规则）

在shuai_02和shuai_03中：安装iptables

[root@shuai-02 ~]#yum install -y iptables-services
[root@shuai-02 ~]# iptables -F

[root@shuai-02 ~]# service iptables save
iptables: Saving firewall rules to /etc/sysconfig/iptables:[  确定  ]

• 
  

配置shuai_01： 
安装ipvsadm

[root@shuai-01 ~]# yum install -y ipvsadm

• 
  

编辑脚本

[root@shuai-01 ~]# vim /usr/local/sbin/lvs_nat.sh

• 
  

写下下面配置：

#! /bin/bash
# director 服务器上开启路由转发功能
echo 1 > /proc/sys/net/ipv4/ip_forward
# 关闭icmp的重定向
echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects
# 注意区分网卡名字，shuai的两个网卡分别为ens33和ens37
echo 0 > /proc/sys/net/ipv4/conf/ens33/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/ens37/send_redirects
# director 设置nat防火墙
iptables -t nat -F
iptables -t nat -X
iptables -t nat -A POSTROUTING -s 192.168.176.0/24  -j MASQUERADE
# director设置ipvsadm规则
IPVSADM='/usr/sbin/ipvsadm'
$IPVSADM -C
#-C=clear，清除规则
$IPVSADM -A -t 192.168.248.130:80 -s rr
#-A：=add，添加规则；-t：=tcp；-s 指定算法；
#在此可以添加-p：指定超时时间（解决session问题：保证同一请求被分发到同一rs上）
#因为添加-p选项后会影响测试效果，所以在此不加该参数（注：时间不能设置为0）
$IPVSADM -a -t 192.168.248.130:80 -r 192.168.176.134:80 -m -w 1
$IPVSADM -a -t 192.168.248.130:80 -r 192.168.176.133:80 -m -w 1
#-a：=add，增加nat架构中的rs；-r：指定rs的IP；-m：指定LVS模式为NAT（masquerade）
#-w：=weight，指定权重

• 
  

运行脚本：

 [root@shuai-01 ~]# sh /usr/local/sbin/lvs_nat.sh

• 
  

测试

两台rs上都安装nginx 
在两台real server上的Nginx的index.html写不同信息

[root@shuai-02 ~]# vi /usr/share/nginx/html/index.html

shuai_02

[root@shuai_03 ~]# vi /usr/share/nginx/html/index.html

shuai_03

• 
  

都开启Nginx服务

这时，就可以做测试了。

用浏览器访问公网IP 
可能会有缓存，得到不了想要的结果

用curl测试：

[root@shuai-01 ~]# curl 192.168.248.130
shuai_03
[root@shuai-01 ~]# curl 192.168.248.130
shuai_02
[root@shuai-01 ~]# curl 192.168.248.130
shuai_03
[root@shuai-01 ~]# curl 192.168.248.130
shuai_02

• 
  

扩展 
lvs 三种模式详解 http://www.it165.net/admin/html/201401/2248.html 
lvs几种算法 http://www.aminglinux.com/bbs/thread-7407-1-1.html 
关于arp_ignore和 arp_announce http://www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html 
lvs原理相关的 http://blog.csdn.net/pi9nc/article/details/23380589