lvs负载均衡集群

前言

LVS（Linux Virtual Server）Linux虚拟服务器，通过虚拟IP来接受请求，通过一定的方法（由LVS的模式决定）转发到对应的real server（RS）实际服务器，达到流量分发、负载均衡的目的。

LVS的实现只用到了OSI的底三层，不同的LVS模式，采用的方法不同。由于LVS的转发只涉及到OSI的底层协议。如TCP协议通讯，LVS不与client端建立TCP连接（可以理解成省去了TCP的三次握手），直接与real server建立连接，LVS只做数据包的转发。对比传统的七层，作用于应用层的负载均衡器（如Nginx）有着显著的性能优势。
有很多互联网公司，当在Nginx压力过大的情况下，都再用在Nginx的http服务器前面会搭建一个LVS负载均衡器来提升系统在并发情况下的高可用性。

一、集群的含义

• 由多台主机构成，但对外表现为一个整体
• Cluster，集群、群集,为解决某个特定问题将多台计算机组合起来形成的单个系统
  

目前的网站多数是7x24小时提供不同断网络服务，如果仅采用单点服务器对外提供网络服务，那么在出现单点故障时，将导致整个网络服务中断。这时我们需要部署集群架构，最终将成百上千台主机有机地结合在一起，以满足当前大数据时代的海量访问负载。

二、集群的分类

2.1 负载均衡集群（Load balance cluster）【LB】

阿里云采用的是【SLB】

1、提高应用系统的响应能力，尽可能处理更多的访问请求，减少延迟为目标，获得高并发，高负载的整体性能。

2、LB的负载分配依赖于主节点的分流算法

2.2 高可用集群（high availability cluster）

1、提高应用系统的可靠性，尽可能减少中断时间为目标，确保服务的连续性，达到高可用（HA）的容错效果 【防止单点故障、冗余】

2、HA的工作方式包括双工和主从两种模式

2.3 高性能运算集群（High Performance computer cluster）

1、提高应用系统的CPU运算速度，扩展硬件资源和分析能力为目标，获得相当于大型、超级计算机的高性能运算（HPC）能力。

2、高性能依赖于“分布式运算”、“并行计算”，通过专用硬件和软件将多个服务器的CPU、内存等资源整合在一起，实现只有大型、超级计算机才具备的计算能力。

三、负载均衡集群

3.1负载均衡的架构

• 第一层：负载调度器（load balancer 或director）【调度服务器，代理Nginx】
  访问整个集群系统的唯一入口，对外使用服务器共有的VIP地址，也称为集群ip地址。通常会配置主备两台调度器实现热备份，当主调度器失效以后能够平滑替换至备份调度器，确保高可用。

• 第二层：服务器池（server pool）

【后端的真实服务器（服务池），upstream tomcat_server {ip+port} +
location进行匹配槽跳转到upstream的地址池中也是服务器池所映射的后端节点Tomcat】

集群所提供的应用服务，由服务器池承担，其中每个节点具有独立的rip地址【真实ip】，只处理调度器分发过来的客户机请求。当某个结点暂时失效时，负载调度器的容错机制会将其隔离，等待错误排除之后再重新纳入服务器池。

• 第三层：共享存储（share storage）
  为服务器池中的所有结点提供稳定、一致的文件存取服务，确保整个集群的统一性。共享存储可以使用NAS设备，或者提供NFS共享服务的专用服务器。
  

3.2 LVS的负载调度算法

①轮询（Round Robin）

• 将收到的访问请求按照顺序轮流分配给群集中的各节点 (真实服务器)
• 均等地对待每台服务器，而不管服务器实际的连接数和系统负载。

②加权轮询（Weighted Round Robin）

• 根据调度器设置的权重值来分发请求
• 权重值高的节点优先获得任务并且分配的请求越多
• 这样可以保证性能高的节点承担更 多请求。

③最少连接（Least Connections）

• 根据真实服务器已建立的连接数进行分配
• 将收到的访问请求优先分配给连接数最少的节点
• 如果所有的服务器节点性能相近，采用这种方式可以更好的均衡负载

④加权最少连接（Weighted Least Connections）

• 在服务器节点的性能差异较大的 情况下，调度器可以根据节点服务器负载自动调整权重
• 权重较高的节点将承担更 大比例的活动连接负载。

⑤IP_Hash

• 根据请求来源的IP地址进行Hash计算，得到后端服务器
• 这样来自同一个IP的请求总是会落到同一台服务器上处理，以致于可以将请求上下文信息存储在这个服务器上

⑥url_hash

• 按访问url的hash结果来分配请求，使每个url定向到同一个后端服务器
• 后端服务器为缓存时比较有效

⑦fair

• 采用的不是内建负载均衡使用的轮换的均衡算法
• 而是可以根据页面大小、加载时间长短智能的进行负载均衡
• 也就是根据后端服务器时间来分配用户请求，响应时间短的优先分配

3.3 LVS介绍

LVS：Linux Virtual Server，负载调度器，内核集成，章文嵩（花名正明）, 阿里的四层SLB(Server

Load Balance)是基于LVS+keepalived实现

LVS 官网：http://www.linuxvirtualserver.org/
阿里SLB和LVS：
https://yq.aliyun.com/articles/1803
https://github.com/alibaba/LVS

整个SLB系统由3部分构成: 四层负载均衡、七层负载均衡、控制系统

• 四层负载均衡 ，采用开源软件LVS (linux virtual server)，并根据云计算需求对其进行了定制化;该技术已经在阿里巴巴内部业务全面上线应用2年;

• 七层负载均衡，采用开源软件Tengine;该技术已经在阿里巴巴内部业务全面上线应用3年多;·控制系统，用于配置和监控负载均衡系统;

3.4 LVS工作原理

VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS，根据调度算法来挑选RS。LVS是内核级功能，工作在INPUT链的位置，将发往INPUT的流量进行“处理”。

3.5 LVS 功能及组织架构

负载均衡的应用场景为高访问量的业务，提高应用程序的可用性和可靠性。

3.5.1 应用于高访问量的业务

如果您的应用访问量很高，可以通过配置监听规则将流量分发到不同的云服务器 ECS（Elastic Compute Service 弹性计算服务）实例上。此外，可以使用会话保持功能将同一客户端的请求转发到同一台后端ECS。

3.5.2 扩展应用程序

可以根据业务发展的需要，随时添加和移除ECS实例来扩展应用系统的服务能力，适用于各种Web服务器和App服务器。

3.5.3 消除单点故障

可以在负载均衡实例下添加多台ECS实例。当其中一部分ECS实例发生故障后，负载均衡会自动屏蔽故障的ECS实例，将请求分发给正常运行的ECS实例，保证应用系统仍能正常工作。

3.5.4 同城容灾 （多可用区容灾）

为了提供更加稳定可靠的负载均衡服务，阿里云负载均衡已在各地域部署了多可用区以实现同地域容灾。当主可用区出现机房故障或不可用时，负载均衡仍然有能力在非常短的时间内（如：大约30s中断）切换到另外一个备可用区恢复服务能力；当主可用区恢复时，负载均衡同样会自动切换到主可用区提供服务。

使用负载均衡时，您可以将负载均衡实例部署在支持多可用区的地域以实现同城容灾。此外，建议您结合自身的应用需要，综合考虑后端服务器的部署。如果您的每个可用区均至少添加了一台ECS实例，那么此种部署模式下的负载均衡服务的效率是最高的。

3.6 LVS集群类型中的术语

• VS：Virtual Server，Director Server(DS), Dispatcher(调度器)，Load Balancer（lvs服务器）

• RS：Real Server(lvs), upstream server(nginx), backend server(haproxy)（真实服务器）

• CIP：Client IP（客户机IP）

• VIP：Virtual serve IP VS外网的IP

• DIP：Director IP VS内网的IP

• RIP：Real server IP （真实IP）
  
  访问流程：cip--》vip-====dip<----->rip

四. LVS工作模式和相关命令

4.1 LVS集群的工作模式

• 负载均衡群集是目前企业用得最多的群集类型

• 群集的负载调度技术有三种工作模式

  • lvs-nat：修改请求报文的目标IP,多目标IP的DNAT

  • lvs-dr：操纵封装新的MAC地址（直接路由）

  • lvs-tun：隧道模式

4.1.1 LVS的NAT模式

NAT（Network Address Translation）即网络地址转换，其作用是通过数据报头的修改，使得位于企业内部的私有IP地址可以访问外网，以及外部用用户可以访问位于公司内部的私有IP主机。VS/NAT工作模式拓扑结构如图所示，LVS负载调度器可以使用两块网卡配置不同的IP地址，eth0设置为私钥IP与内部网络通过交换设备相互连接，eth1设备为外网IP与外部网络联通。

• 第一步，用户通过互联网DNS服务器解析到公司负载均衡设备上面的外网地址，相对于真实服务器而言，LVS外网IP又称VIP（Virtual IP Address），用户通过访问VIP，即可连接后端的真实服务器（Real Server），而这一切对用户而言都是透明的，用户以为自己访问的就是真实服务器，但他并不知道自己访问的VIP仅仅是一个调度器，也不清楚后端的真实服务器到底在哪里、有多少真实服务器。

• 第二步，用户将请求发送至124.126.147.168，此时LVS将根据预设的算法选择后端的一台真实服务器（192.168.0.1~192.168.0.3），将数据请求包转发给真实服务器，并且在转发之前LVS会修改数据包中的目标地址以及目标端口，目标地址与目标端口将被修改为选出的真实服务器IP地址以及相应的端口。

• 第三步，真实的服务器将响应数据包返回给LVS调度器，调度器在得到响应的数据包后会将源地址和源端口修改为VIP及调度器相应的端口，修改完成后，由调度器将响应数据包发送回终端用户，另外，由于LVS调度器有一个连接Hash表，该表中会记录连接请求及转发信息，当同一个连接的下一个数据包发送给调度器时，从该Hash表中可以直接找到之前的连接记录，并根据记录信息选出相同的真实服务器及端口信息。
  

lvs-nat：本质是多目标IP的DNAT，通过将请求报文中的目标地址和目标端口修改为某处的RS的RIP和PORT实现转发。

（1）RIP和DIP应在同一个IP网络，且应使用私网地址；RS的网关要指向DIP

（2）请求报文和响应报文都必须经由Director转发，Director易于成为系统瓶颈

（3）支持端口映射，可修改请求报文的目标PORT

（4）VS必须是Linux系统，RS可以是任意OS系统

4.1.2 TUN模式–IP隧道【ip tunnel】

在LVS（NAT）模式的集群环境中，由于所有的数据请求及响应的数据包都需要经过LVS调度器转发，如果后端服务器的数量大于10台，则调度器就会成为整个集群环境的瓶颈。我们知道，数据请求包往往远小于响应数据包的大小。因为响应数据包中包含有客户需要的具体数据，所以LVS（TUN）的思路就是将请求与响应数据分离，让调度器仅处理数据请求，而让真实服务器响应数据包直接返回给客户端。VS/TUN工作模式拓扑结构如图3所示。其中，IP隧道（IP tunning）是一种数据包封装技术，它可以将原始数据包封装并添加新的包头（内容包括新的源地址及端口、目标地址及端口），从而实现将一个目标为调度器的VIP地址的数据包封装，通过隧道转发给后端的真实服务器（Real Server），通过将客户端发往调度器的原始数据包封装，并在其基础上添加新的数据包头（修改目标地址为调度器选择出来的真实服务器的IP地址及对应端口），LVS（TUN）模式要求真实服务器可以直接与外部网络连接，真实服务器在收到请求数据包后直接给客户端主机响应数据。

1.RIP和DIP可以不处于同一物理网络中，RS的网关一般不能指向DIP,且RIP可以和公网通信。也就是说集群节点可以跨互联网实现。DIP,VIP, RIP可以是公网地址。

2.RealServer的通道接口上需要配置VIP地址，以便接收DIP转发过来的数据包，以及作为响应的报文源IP。

3.DIP转发给RealServer时需要借助隧道，隧道外层的IP头部的源IP是DIP，目标IP是RIP，而 RealServer响应给客户端的IP头部是根据隧道内层的IP头分析得到的，源IP是VIP，目标IP是CIP

4.请求报文要经由Director，但响应不经由Director,响应由RealServer自己完成

5.不支持端口映射

6.RS的OS须支持隧道功能

• 采用开放式的网络结构，负载调度器仅作为客户记得访问入口，各节点通过各自的Internet连接直接回应客户机，而不再经过负载调度器。

• 服务器节点分散在互联网中的不同位置，具有独立的公网ip地址，通过专用ip隧道与负载调度器相互通信。

4.1.3 基于DR的LVS负载均衡–直接路由

• direct routing ，简称DR模式。
• 采用半开放式的网络结构，与TUN模式的结构类似，但各节点并不是分散在各地，而是与调度器位于同一个物理网络。
• 负载调度器与各节点服务器通过本机网络连接，不需要建立专用的ip隧道。

在LVS（TUN）模式下，由于需要在LVS调度器与真实服务器之间创建隧道连接，这同样会增加服务器的负担。与LVS（TUN）类似，DR模式也叫直接路由模式，其体系结构如图4所示，该模式中LVS依然仅承担数据的入站请求以及根据算法选出合理的真实服务器，最终由后端真实服务器负责将响应数据包发送返回给客户端。与隧道模式不同的是，直接路由模式（DR模式）要求调度器与后端服务器必须在同一个局域网内，VIP地址需要在调度器与后端所有的服务器间共享，因为最终的真实服务器给客户端回应数据包时需要设置源IP为VIP地址，目标IP为客户端IP，这样客户端访问的是调度器的VIP地址，回应的源地址也依然是该VIP地址（真实服务器上的VIP），客户端是感觉不到后端服务器存在的。由于多台计算机都设置了同样一个VIP地址，所以在直接路由模式中要求调度器的VIP地址是对外可见的，客户端需要将请求数据包发送到调度器主机，而所有的真实服务器的VIP地址必须配置在Non-ARP的网络设备上，也就是该网络设备并不会向外广播自己的MAC及对应的IP地址，真实服务器的VIP对外界是不可见的，但真实服务器却可以接受目标地址VIP的网络请求，并在回应数据包时将源地址设置为该VIP地址。调度器根据算法在选出真实服务器后，在不修改数据报文的情况下，将数据帧的MAC地址修改为选出的真实服务器的MAC地址，通过交换机将该数据帧发给真实服务器。整个过程中，真实服务器的VIP不需要对外界可见。

4.1.4 LVS工作模式总结和比较

	NAT	TUN	DR
优点	端口转换	WAN	性能最好
缺点	性能瓶颈	服务器支持隧道模式	不支持跨网段
真实服务器要求	any	Tunneling	Non-arp device
支持网络	private（私网）	LAN/WAN（私网/公网）	LAN（私网）
真实服务器数量	low (10~20)	High (100)	High (100)
真实服务器网关	lvs内网地址	Own router（网工定义）	Own router（网工定义）

4.2 ipvsadm 工具

4.2.1 ipvsadm 工具选项说明

选项	解释
-A	添加虚拟服务器
-D	删除整个虚拟服务器
-s	指定负载调度算法(轮询:rr、加权轮询:wrr、最少连接:lc、加权最少连接: wlc)
-a	表示添加真实服务器(节点服务器)
-d	删除某一个节点
-t	指定VIP地址及TCP端口
-r	指定RIP地址及TCP端口
-m	表示使用NAT群集模式
-g	表示使用DR模式
-i	表示使用TUN模式
-w	设置权重(权重为0时表示暂停节点)
-p 60	表示保持长连接60秒
-l	列表查看LVS虚拟服务器〔默认为查看所有)
-n	以数字形式显示地址、端口等信息，常与"-"选项组合使用。ipvsadm -ln

五、NFS共享存储服务

5.1 使用NFS发布共享资源

1.安装nfs-utils、rpcbind软件包
2.设置共享目录
3.启动NFS服务程序
4.查看本机发布的NFS共享目录

5.2 NAT模式 LVS负载均衡部署

配置环境：

负载调度器：内网关 ens33：192.168.10.10，外网关 ens36：10.0.0.1  外网  
Web节点服务器1：192.168.10.12                       
Web节点服务器2：192.168.10.17                              
NFS服务器：192.168.10.21                               
客户端：10.0.0.12         

5.2.1 部署共享存储（NFS服务器：192.168.10.21）

• NFS 是一种基于 TCP/IP 传输的网络文件系统协议，最初由 Sun 公司开发。通过使用 NFS 协议，客户机可以像访问本地目录一样访问远程服务器中的共享资源。对于大多数负载均衡 群集来说，使用 NFS 协议来共享数据存储是比较常见的做法，NFS 也是 NAS 存储设备必然支 持的一种协议。

• NFS 服务的实现依赖于 RPC（Remote Process Call，远端过程调用）机制，以完成远程 到本地的映射过程。在 CentOS 7 系统中，需要安装 nfs-utils、rpcbind 软件包来提供 NFS 共享服务，前者用于 NFS 共享发布和访问，后者用于 RPC 支持。

1. #关闭防火墙
systemctl stop firewalld
systemctl disable firewalld.service
setenforce 0
 
2. #安装nfs服务
yum install nfs-utils rpcbind -y
 
3. #新建目录，并创建站点文件
mkdir /opt/kgc /opt/benet
chmod 777 /opt/kgc /opt/benet
echo 'this is kgc web!' > /opt/kgc/index.html
echo 'this is benet web!' > /opt/benet/index.html
 
4. #开启服务
systemctl start rpcbind
systemctl start nfs
 systemctl enable nfs.service
systemctl enable rpcbind.service
 
5. #设置共享策略
vim /etc/exports
/usr/share *(ro,sync)
/opt/kgc 192.168.10.0/24(rw,sync)
/opt/benet 192.168.10.0/24(rw,sync)
 
 
6. #发布服务
systemctl restart nfs
exportfs -rv

如何解决永久挂载失败！

5.2.2 节点Web服务器

第一台（192.168.10.12）【使用Nginx作为代理服务器】

 1. #关闭防火墙
systemctl stop firewalld
systemctl disable firewalld.service
setenforce 0

2. #下载软件包
yum install nfs-utils rpcbind -y

3. #查看nfs服务
showmount -e 192.168.10.21

4. #挂载站点
#法一：临时挂载
df
cat /usr/local/nginx/htlm
mount.nfs 192.168.10.21:/opt/kgc /usr/local/nginx/html/  【使用Nginx作为代理服务器】
#法二：永久挂载
vim /etc/fstab
192.168.10.21:/opt/kgc/  /usr/local/nginx/html/        nfs     defaults,_netdev 0 0 
mount -a
 
 
6. #开启httpd服务
systemctl start nginx
 
7. #指定网关
vim /etc/sysconfig/network-scripts/ifcfg-ens33 
GATEWAY=192.168.10.10
#DNS1=8.8.8.8
 
8. #重启网络服务
systemctl restart network

5.2.3 第二台节点web服务器【192.168.10.17】

【使用httpd作为代理服务器】

1. #关闭防火墙
systemctl stop firewalld
setenforce 0
 
2. #查看nfs服务
showmount -e 192.168.10.21
 
3. #挂载站点
#法一：临时挂载
mount 192.168.10.21:/opt/benet  /var/www/html/
df
cat /var/www/html/index.html
#法二：永久挂载
vim /etc/fstab
192.168.10.21:/opt/benet/  /var/www/html/
nfs     defaults,_netdev 0 0 
mount -a
 
4. #开启httpd服务
systemctl start httpd
 
5. #指定网关
vim /etc/sysconfig/network-scripts/ifcfg-ens33 
GATEWAY=192.168.10.10
#DNS1=8.8.8.8
 
6. #重启网络服务
systemctl restart network

5.2.4 负载调度器

内网：192.168.10.10(ens33) 外网卡：10.0.0.1(ens37)

1. #添加一块网卡，我这里是ens37，配置网卡，重启网络
   cd /etc/sysconfig/network-scripts/
   cp ifcfg-ens33 ifcfg-ens37
   vim ifcfg-ens37
   去掉网关、UUID、修改IP
   vim ifcfg-ens33
   去掉网关
   systemctl restart network
   
   
   

2. #关闭防火墙
systemctl stop firewalld
setenforce 0
 
3. #安装ipvsadm
yum install -y ipvsadm*

4. #打开路由转发功能
vim /etc/sysctl.conf
net.ipv4.ip_forward = 1 
##查看
sysctl -p

5. #防火墙做策略
#查看策略
iptables -nL -t nat
#清空策略
iptables -F
#添加策略
iptables -t nat -A POSTROUTING -s 192.168.10.0/24 -o ens37 -j SNAT --to 10.0.0.1
#查看策略
iptables -nL -t nat

6.#加载LVS内核模块
modprobe ip_vs
cat /proc/net/ip_vs

7.#开启ipvsadm服务
ipvsadm-save >/etc/sysconfig/ipvsadm
systemctl start ipvsadm.service
 
8.#清空策略
ipvsadm -C


9.#制定策略
#指定IP地址 外网的入口  -s rr  轮询
ipvsadm -A -t 10.0.0.1:80 -s rr
#先指定虚拟服务器再添加真实服务器地址，-r:真实服务器地址 -m指定nat模式
ipvsadm -a -t 10.0.0.1:80 -r 192.168.10.12:80 -m
ipvsadm -a -t 10.0.0.1:80 -r 192.168.10.17:80 -m
#开启服务
ipvsadm
 
10.查看策略
ipvsadm -ln

这里可能跳转会出问题！！！！

修改windows机器的配置！！！

总结

• 理解负载均衡集群的原理
• 掌握LVS-NAT的部署

原来写博客也可以用来宣泄情绪，很多话看破不说破！