搭建LVS-DR模式的负载均衡

一、准备条件

准备三台虚拟机，一台为LVS节点，两台为nginx节

LVS节点：

DIP：192.168.3.119（内网IP，虚拟机静态IP）

VIP：192.168.3.200（虚拟IP）

 

Nginx节点：

RIP：192.168.3.120（真实IP/内网IP）

RIP：192.168.3.121（真实IP/内网IP）

 

即：三台服务器，192.168.3.119、192.168.3.120、192.168.3.121

DIP：即director ip ，调度者IP

RIP：real searver ip，真实IP

两者都是真实IP，为了区分不同角色

 

关闭各节点网络配置管理器

systemctl stop NetworkManager
systemctl disable NetworkManager

二、搭建LVS节点（192.168.3.119）

1. 进入网卡配置目录，找到配置文件，一般是 ifcfg- 开头

cd /etc/sysconfig/network-scripts/

2. 拷贝并创建子接口

cp ifcfg-enp0s3 ifcfg-enp0s3:1

3. 修改子接口配置，推荐配置如下：

vi ifcfg-enp0s3:1

# 与文件名一致
DEVICE="enp0s3:1"
ONBOOT="yes"
# 静态
BOOTPROTO="static"
# VIP
IPADDR=192.168.3.200
NETMASK=255.255.255.0

4. 重启网络服务，查看IP

service network restart

三、安装ipvsadm

集群管理工具，centos已集成LVS，无需另外安装

安装命令：

yum install ipvsadm

安装完成后，可检查集群状态

ipvsadm -Ln

四、为两台Nginx服务配置环回接口(192.168.3.120/192.168.3.121)

1. 进入网卡配置目录，找到lo

cd /etc/sysconfig/network-scripts/

2. 拷贝一份进行修改，修改后配置如下

DEVICE=lo:1
IPADDR=192.168.3.200
NETMASK=255.255.255.255
NETWORK=127.0.0.0
# If you're having problems with gated making 127.0.0.0/8 a martian,
# you can change this to something else (255.255.255.255, for example)
BROADCAST=127.255.255.255
ONBOOT=yes
NAME=loopback

IPADDR要与一中的VIP一致

重启后检查网络，配置成功，对另一台nginx进行同样的操作

五、为两台RS配置arp

1. ARP响应级别与通告行为：

①. arp-ignore：ARP响应级别（处理请求）

0：只要本机配置了ip，就能响应请求

1：请求的目标地址到达对应的网络接口，才会响应请求

②. arp-announce：ARP通告行为（返回响应）

0：本机上任何网络接口都向外通告，所有的网卡都能接受到通告

1：尽可能避免本网卡与不匹配的目标进行通告

2：只在本网卡通告

2. 配置ARP

打开sysctl.conf

vi /etc/sysctl.conf

配置 所有网卡 、 默认网卡 以及 虚拟网卡 的arp响应级别和通告行为，分别对应： all ， default ， lo ：

# configration for lvs
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_announce = 2

刷新配置文件

sysctl -p

3. 增加一个网关，用于接收数据报文，当有请求到达时，交给lo处理

route：无则需安装  yum install net-tools

route add -host 192.168.3.200 dev lo:1

4. 防止重启失效，添加开机自启，将命令追加至/etc/rc.local文件

echo "route add -host 192.168.3.200 dev lo:1" >> /etc/rc.local

注意：两台nginx服务器都要如此配置

六、使用ipvsadm配置集群规则（192.168.3.200）

1. 创建LVS集群调度者

ipvsadm -A -t 192.168.3.200:80 -s rr -p 5

-A：添加集群
-t：tcp协议
ip地址：设定集群的访问ip，也就是LVS的虚拟ip
-s：设置负载均衡的算法，rr表示轮询
-p：设置连接持久化的时间

 

2. 添加两台Nginx服务器

ipvsadm -a -t 192.168.3.200:80 -r 192.168.3.120:80 -g 
ipvsadm -a -t 192.168.3.200:80 -r 192.168.3.121:80 -g

-a：添加真实服务器
-t：tcp协议
-r：真实服务器的ip地址
-g：设定DR模式

 

添加完成后，通过访问192.168.3.200即可访问两台nginx服务，规则轮询

 

3. 集群规则保存

ipvsadm -S

保存规则至指定文件：

ipvsadm -S > /usr/local/ipvsadm

 载入保存在文件中的规则

ipvsadm -R </usr/local/ipvsadm

 

其他命令

# 查看集群列表
ipvsadm -Ln
# 查看集群状态
ipvsadm -Ln --stats

# 重启ipvsadm，重启后需要重新配置 
service ipvsadm restart 
# 查看持久化连接 
ipvsadm -Ln --persistent-conn 
# 查看连接请求过期时间以及请求源ip和目标ip 
ipvsadm -Lnc 
# 设置tcp tcpfin udp 的过期时间（一般保持默认） 
ipvsadm --set 1 1 1 
# 查看过期时间 
ipvsadm -Ln --timeout

七、LVS的负载均衡算法

针对不同的网络服务需求和服务器配置，IPVS调度器实现了如下十种负载调度算法：

 

1,轮叫（Round Robin）简称RR

   调度器通过"轮叫"调度算法将外部请求按顺序轮流分配到集群中的真实服务器上，它均等地对待每一台服务器，而不管服务器上实际的连接数和系统负载。

 

2,加权轮叫（Weighted Round Robin） 简称WRR

   调度器通过"加权轮叫"调度算法根据真实服务器的不同处理能力来调度访问请求。 这样可以保证处理能力强的服务器处理更多的访问流量。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。

 

3,最少链接（Least Connections）简称LC

  调度器通过"最少连接"调度算法动态地将网络请求调度到已建立的链接数最少的服务器上。 如果集群系统的真实服务器具有相近的系统性能，采用"最小连接"调度算法可以较好地均衡负载。

 

4,加权最少链接（Weighted Least Connections）简称WLC

  在集群系统中的服务器性能差异较大的情况下，调度器采用"加权最少链接"调度算法优化负载均衡性能，具有较高权值的服务器将承受较大比例的活动连接负载。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。

 

5,基于局部性的最少链接（Locality-Based Least Connections）简称LBLC

  "基于局部性的最少链接" 调度算法是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。该算法根据请求的目标IP地址找出该目标IP地址最近使用的服务器，若该服务器 是可用的且没有超载，将请求发送到该服务器；若服务器不存在，或者该服务器超载且有服务器处于一半的工作负载，则用"最少链接"的原则选出一个可用的服务 器，将请求发送到该服务器。

 

6,带复制的基于局部性最少链接（Locality-Based Least Connections with Replication）简称LBLCR

  "带复制的基于局部性最少链接"调度算法也是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。它与LBLC算法的不同之处是它要维护从一个 目标IP地址到一组服务器的映射，而LBLC算法维护从一个目标IP地址到一台服务器的映射。该算法根据请求的目标IP地址找出该目标IP地址对应的服务 器组，按"最小连接"原则从服务器组中选出一台服务器，若服务器没有超载，将请求发送到该服务器，若服务器超载；则按"最小连接"原则从这个集群中选出一 台服务器，将该服务器加入到服务器组中，将请求发送到该服务器。同时，当该服务器组有一段时间没有被修改， 将最忙的服务器从服务器组中删除，以降低复制的 程度。

 

7,目标地址散列调度（Destination Hashing）简称DH

   算法也是针对目标IP地址的负载均衡，但它是一种静态映射算法，通过一个散列（Hash）函数将一个目标IP地址映射到一台服务器。目标地址散列调度算法先根据请求的目标IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。

 

8,源地址散列调度（Source Hashing）简称SH

 算法正好与目标地址散列调度算法相反，它根据请求的源IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。它采用的散列函数与目标地址散列调度算法的相同。除了将请求的目标IP地址换成请求的源IP地址外，它的算法流程与目标地址散列调度算法的基本相似。在实际应用中，源地址散列调度和目标地址散列调度可以结合使用在防火墙集群中，它们可以保证整个系统的唯一出入口。 

 

9,最短的期望的延迟（shortest expected delay scheduling）简称sed
   基于wlc算法，举例说明
  ABC三台机器分别权重123，连接数也分别是123，name如果使用WLC算法的话一个新请求 进入时他可能会分给ABC中任意一个，使用SED算法后会进行这样一个运算.
   A:(1+1)/2
   B:(1+2)/2
   C:(1+3)/3
   根据运算结果，把连接交给C

 

10,最少队列调度（never queue scheduling）简称nq

 无需列队，如果有台realserver的连接数=0 就直接分配过去，不需要进行sed运算 .