lvs负载均衡集群

前言

LVS(Linux Virtual Server)Linux虚拟服务器,通过虚拟IP来接受请求,通过一定的方法(由LVS的模式决定)转发到对应的real server(RS)实际服务器,达到流量分发、负载均衡的目的。

LVS的实现只用到了OSI的底三层,不同的LVS模式,采用的方法不同。由于LVS的转发只涉及到OSI的底层协议。如TCP协议通讯,LVS不与client端建立TCP连接(可以理解成省去了TCP的三次握手),直接与real server建立连接,LVS只做数据包的转发。对比传统的七层,作用于应用层的负载均衡器(如Nginx)有着显著的性能优势。
有很多互联网公司,当在Nginx压力过大的情况下,都再用在Nginx的http服务器前面会搭建一个LVS负载均衡器来提升系统在并发情况下的高可用性。
在这里插入图片描述

一、集群的含义

  • 由多台主机构成,但对外表现为一个整体
  • Cluster,集群、群集,为解决某个特定问题将多台计算机组合起来形成的单个系统
    在这里插入图片描述

目前的网站多数是7x24小时提供不同断网络服务,如果仅采用单点服务器对外提供网络服务,那么在出现单点故障时,将导致整个网络服务中断。这时我们需要部署集群架构,最终将成百上千台主机有机地结合在一起,以满足当前大数据时代的海量访问负载。

二、集群的分类

2.1 负载均衡集群(Load balance cluster)【LB】

阿里云采用的是【SLB】

1、提高应用系统的响应能力,尽可能处理更多的访问请求,减少延迟为目标,获得高并发,高负载的整体性能。

2、LB的负载分配依赖于主节点的分流算法

2.2 高可用集群(high availability cluster)

1、提高应用系统的可靠性,尽可能减少中断时间为目标,确保服务的连续性,达到高可用(HA)的容错效果 【防止单点故障、冗余

2、HA的工作方式包括双工和主从两种模式

2.3 高性能运算集群(High Performance computer cluster)

1、提高应用系统的CPU运算速度,扩展硬件资源和分析能力为目标,获得相当于大型、超级计算机的高性能运算(HPC)能力。

2、高性能依赖于“分布式运算”、“并行计算”,通过专用硬件和软件将多个服务器的CPU、内存等资源整合在一起,实现只有大型、超级计算机才具备的计算能力。

三、负载均衡集群

3.1负载均衡的架构

  • 第一层:负载调度器(load balancer 或director)【调度服务器,代理Nginx】
    访问整个集群系统的唯一入口,对外使用服务器共有的VIP地址,也称为集群ip地址。通常会配置主备两台调度器实现热备份,当主调度器失效以后能够平滑替换至备份调度器,确保高可用。

  • 第二层:服务器池(server pool)

【后端的真实服务器(服务池),upstream tomcat_server {ip+port} +
location进行匹配槽跳转到upstream的地址池中也是服务器池所映射的后端节点Tomcat】

集群所提供的应用服务,由服务器池承担,其中每个节点具有独立的rip地址【真实ip】,只处理调度器分发过来的客户机请求。当某个结点暂时失效时,负载调度器的容错机制会将其隔离,等待错误排除之后再重新纳入服务器池。

  • 第三层:共享存储(share storage)
    为服务器池中的所有结点提供稳定、一致的文件存取服务,确保整个集群的统一性。共享存储可以使用NAS设备,或者提供NFS共享服务的专用服务器。
    在这里插入图片描述

3.2 LVS的负载调度算法

①轮询(Round Robin)

  • 将收到的访问请求按照顺序轮流分配给群集中的各节点 (真实服务器)
  • 均等地对待每台服务器,而不管服务器实际的连接数和系统负载。

②加权轮询(Weighted Round Robin)

  • 根据调度器设置的权重值来分发请求
  • 权重值高的节点优先获得任务并且分配的请求越多
  • 这样可以保证性能高的节点承担更 多请求。

③最少连接(Least Connections)

  • 根据真实服务器已建立的连接数进行分配
  • 将收到的访问请求优先分配给连接数最少的节点
  • 如果所有的服务器节点性能相近,采用这种方式可以更好的均衡负载

④加权最少连接(Weighted Least Connections)

  • 在服务器节点的性能差异较大的 情况下,调度器可以根据节点服务器负载自动调整权重
  • 权重较高的节点将承担更 大比例的活动连接负载。

⑤IP_Hash

  • 根据请求来源的IP地址进行Hash计算,得到后端服务器
  • 这样来自同一个IP的请求总是会落到同一台服务器上处理,以致于可以将请求上下文信息存储在这个服务器上

⑥url_hash

  • 按访问url的hash结果来分配请求,使每个url定向到同一个后端服务器
  • 后端服务器为缓存时比较有效

⑦fair

  • 采用的不是内建负载均衡使用的轮换的均衡算法
  • 而是可以根据页面大小、加载时间长短智能的进行负载均衡
  • 也就是根据后端服务器时间来分配用户请求,响应时间短的优先分配

3.3 LVS介绍

LVS:Linux Virtual Server,负载调度器,内核集成,章文嵩(花名正明), 阿里的四层SLB(Server

Load Balance)是基于LVS+keepalived实现

LVS 官网:http://www.linuxvirtualserver.org/
阿里SLB和LVS:
https://yq.aliyun.com/articles/1803
https://github.com/alibaba/LVS

整个SLB系统由3部分构成: 四层负载均衡、七层负载均衡、控制系统

  • 四层负载均衡 ,采用开源软件LVS (linux virtual server),并根据云计算需求对其进行了定制化;该技术已经在阿里巴巴内部业务全面上线应用2年;

  • 七层负载均衡,采用开源软件Tengine;该技术已经在阿里巴巴内部业务全面上线应用3年多;·控制系统,用于配置和监控负载均衡系统;

3.4 LVS工作原理

VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS,根据调度算法来挑选RS。LVS是内核级功能,工作在INPUT链的位置,将发往INPUT的流量进行“处理”。

3.5 LVS 功能及组织架构

负载均衡的应用场景为高访问量的业务,提高应用程序的可用性和可靠性。

3.5.1 应用于高访问量的业务

如果您的应用访问量很高,可以通过配置监听规则将流量分发到不同的云服务器 ECS(Elastic Compute Service 弹性计算服务)实例上。此外,可以使用会话保持功能将同一客户端的请求转发到同一台后端ECS。

3.5.2 扩展应用程序

可以根据业务发展的需要,随时添加和移除ECS实例来扩展应用系统的服务能力,适用于各种Web服务器和App服务器。

3.5.3 消除单点故障

可以在负载均衡实例下添加多台ECS实例。当其中一部分ECS实例发生故障后,负载均衡会自动屏蔽故障的ECS实例,将请求分发给正常运行的ECS实例,保证应用系统仍能正常工作。

3.5.4 同城容灾 (多可用区容灾)

为了提供更加稳定可靠的负载均衡服务,阿里云负载均衡已在各地域部署了多可用区以实现同地域容灾。当主可用区出现机房故障或不可用时,负载均衡仍然有能力在非常短的时间内(如:大约30s中断)切换到另外一个备可用区恢复服务能力;当主可用区恢复时,负载均衡同样会自动切换到主可用区提供服务。

使用负载均衡时,您可以将负载均衡实例部署在支持多可用区的地域以实现同城容灾。此外,建议您结合自身的应用需要,综合考虑后端服务器的部署。如果您的每个可用区均至少添加了一台ECS实例,那么此种部署模式下的负载均衡服务的效率是最高的。

3.6 LVS集群类型中的术语

  • VS:Virtual Server,Director Server(DS), Dispatcher(调度器),Load Balancer(lvs服务器)

  • RS:Real Server(lvs), upstream server(nginx), backend server(haproxy)(真实服务器)

  • CIP:Client IP(客户机IP)

  • VIP:Virtual serve IP VS外网的IP

  • DIP:Director IP VS内网的IP

  • RIP:Real server IP (真实IP)
    在这里插入图片描述
    访问流程:cip--》vip-====dip<----->rip

四. LVS工作模式和相关命令

4.1 LVS集群的工作模式

  • 负载均衡群集是目前企业用得最多的群集类型

  • 群集的负载调度技术有三种工作模式

    • lvs-nat:修改请求报文的目标IP,多目标IP的DNAT

    • lvs-dr:操纵封装新的MAC地址(直接路由)

    • lvs-tun:隧道模式

4.1.1 LVS的NAT模式

NAT(Network Address Translation)即网络地址转换,其作用是通过数据报头的修改,使得位于企业内部的私有IP地址可以访问外网,以及外部用用户可以访问位于公司内部的私有IP主机。VS/NAT工作模式拓扑结构如图所示,LVS负载调度器可以使用两块网卡配置不同的IP地址,eth0设置为私钥IP与内部网络通过交换设备相互连接,eth1设备为外网IP与外部网络联通。

  • 第一步,用户通过互联网DNS服务器解析到公司负载均衡设备上面的外网地址,相对于真实服务器而言,LVS外网IP又称VIP(Virtual IP Address),用户通过访问VIP,即可连接后端的真实服务器(Real Server),而这一切对用户而言都是透明的,用户以为自己访问的就是真实服务器,但他并不知道自己访问的VIP仅仅是一个调度器,也不清楚后端的真实服务器到底在哪里、有多少真实服务器。

  • 第二步,用户将请求发送至124.126.147.168,此时LVS将根据预设的算法选择后端的一台真实服务器(192.168.0.1~192.168.0.3),将数据请求包转发给真实服务器,并且在转发之前LVS会修改数据包中的目标地址以及目标端口,目标地址与目标端口将被修改为选出的真实服务器IP地址以及相应的端口。

  • 第三步,真实的服务器将响应数据包返回给LVS调度器,调度器在得到响应的数据包后会将源地址和源端口修改为VIP及调度器相应的端口,修改完成后,由调度器将响应数据包发送回终端用户,另外,由于LVS调度器有一个连接Hash表,该表中会记录连接请求及转发信息,当同一个连接的下一个数据包发送给调度器时,从该Hash表中可以直接找到之前的连接记录,并根据记录信息选出相同的真实服务器及端口信息。
    在这里插入图片描述

lvs-nat:本质是多目标IP的DNAT,通过将请求报文中的目标地址和目标端口修改为某处的RS的RIP和PORT实现转发。

(1)RIP和DIP应在同一个IP网络,且应使用私网地址;RS的网关要指向DIP

(2)请求报文和响应报文都必须经由Director转发,Director易于成为系统瓶颈

(3)支持端口映射,可修改请求报文的目标PORT

(4)VS必须是Linux系统,RS可以是任意OS系统

4.1.2 TUN模式–IP隧道【ip tunnel】

在LVS(NAT)模式的集群环境中,由于所有的数据请求及响应的数据包都需要经过LVS调度器转发,如果后端服务器的数量大于10台,则调度器就会成为整个集群环境的瓶颈。我们知道,数据请求包往往远小于响应数据包的大小。因为响应数据包中包含有客户需要的具体数据,所以LVS(TUN)的思路就是将请求与响应数据分离,让调度器仅处理数据请求,而让真实服务器响应数据包直接返回给客户端。VS/TUN工作模式拓扑结构如图3所示。其中,IP隧道(IP tunning)是一种数据包封装技术,它可以将原始数据包封装并添加新的包头(内容包括新的源地址及端口、目标地址及端口),从而实现将一个目标为调度器的VIP地址的数据包封装,通过隧道转发给后端的真实服务器(Real Server),通过将客户端发往调度器的原始数据包封装,并在其基础上添加新的数据包头(修改目标地址为调度器选择出来的真实服务器的IP地址及对应端口),LVS(TUN)模式要求真实服务器可以直接与外部网络连接,真实服务器在收到请求数据包后直接给客户端主机响应数据。

在这里插入图片描述

1.RIP和DIP可以不处于同一物理网络中,RS的网关一般不能指向DIP,且RIP可以和公网通信。也就是说集群节点可以跨互联网实现。DIP,VIP, RIP可以是公网地址。

2.RealServer的通道接口上需要配置VIP地址,以便接收DIP转发过来的数据包,以及作为响应的报文源IP。

3.DIP转发给RealServer时需要借助隧道,隧道外层的IP头部的源IP是DIP,目标IP是RIP,而 RealServer响应给客户端的IP头部是根据隧道内层的IP头分析得到的,源IP是VIP,目标IP是CIP

4.请求报文要经由Director,但响应不经由Director,响应由RealServer自己完成

5.不支持端口映射

6.RS的OS须支持隧道功能

  • 采用开放式的网络结构,负载调度器仅作为客户记得访问入口,各节点通过各自的Internet连接直接回应客户机,而不再经过负载调度器。

  • 服务器节点分散在互联网中的不同位置,具有独立的公网ip地址,通过专用ip隧道与负载调度器相互通信。

4.1.3 基于DR的LVS负载均衡–直接路由

  • direct routing ,简称DR模式。
  • 采用半开放式的网络结构,与TUN模式的结构类似,但各节点并不是分散在各地,而是与调度器位于同一个物理网络。
  • 负载调度器与各节点服务器通过本机网络连接,不需要建立专用的ip隧道。

在LVS(TUN)模式下,由于需要在LVS调度器与真实服务器之间创建隧道连接,这同样会增加服务器的负担。与LVS(TUN)类似,DR模式也叫直接路由模式,其体系结构如图4所示,该模式中LVS依然仅承担数据的入站请求以及根据算法选出合理的真实服务器,最终由后端真实服务器负责将响应数据包发送返回给客户端。与隧道模式不同的是,直接路由模式(DR模式)要求调度器与后端服务器必须在同一个局域网内,VIP地址需要在调度器与后端所有的服务器间共享,因为最终的真实服务器给客户端回应数据包时需要设置源IP为VIP地址,目标IP为客户端IP,这样客户端访问的是调度器的VIP地址,回应的源地址也依然是该VIP地址(真实服务器上的VIP),客户端是感觉不到后端服务器存在的。由于多台计算机都设置了同样一个VIP地址,所以在直接路由模式中要求调度器的VIP地址是对外可见的,客户端需要将请求数据包发送到调度器主机,而所有的真实服务器的VIP地址必须配置在Non-ARP的网络设备上,也就是该网络设备并不会向外广播自己的MAC及对应的IP地址,真实服务器的VIP对外界是不可见的,但真实服务器却可以接受目标地址VIP的网络请求,并在回应数据包时将源地址设置为该VIP地址。调度器根据算法在选出真实服务器后,在不修改数据报文的情况下,将数据帧的MAC地址修改为选出的真实服务器的MAC地址,通过交换机将该数据帧发给真实服务器。整个过程中,真实服务器的VIP不需要对外界可见。
在这里插入图片描述

4.1.4 LVS工作模式总结和比较

NATTUNDR
优点端口转换WAN性能最好
缺点性能瓶颈服务器支持隧道模式不支持跨网段
真实服务器要求anyTunnelingNon-arp device
支持网络private(私网)LAN/WAN(私网/公网)LAN(私网)
真实服务器数量low (10~20)High (100)High (100)
真实服务器网关lvs内网地址Own router(网工定义)Own router(网工定义)

4.2 ipvsadm 工具

4.2.1 ipvsadm 工具选项说明

选项解释
-A添加虚拟服务器
-D删除整个虚拟服务器
-s指定负载调度算法(轮询:rr、加权轮询:wrr、最少连接:lc、加权最少连接: wlc)
-a表示添加真实服务器(节点服务器)
-d删除某一个节点
-t指定VIP地址及TCP端口
-r指定RIP地址及TCP端口
-m表示使用NAT群集模式
-g表示使用DR模式
-i表示使用TUN模式
-w设置权重(权重为0时表示暂停节点)
-p 60表示保持长连接60秒
-l列表查看LVS虚拟服务器〔默认为查看所有)
-n以数字形式显示地址、端口等信息,常与"-"选项组合使用。ipvsadm -ln

五、NFS共享存储服务

5.1 使用NFS发布共享资源

1.安装nfs-utils、rpcbind软件包
2.设置共享目录
3.启动NFS服务程序
4.查看本机发布的NFS共享目录

5.2 NAT模式 LVS负载均衡部署

配置环境:

负载调度器:内网关 ens33:192.168.10.10,外网关 ens36:10.0.0.1  外网  
Web节点服务器1:192.168.10.12                       
Web节点服务器2:192.168.10.17                              
NFS服务器:192.168.10.21                               
客户端:10.0.0.12         

在这里插入图片描述

5.2.1 部署共享存储(NFS服务器:192.168.10.21)

  • NFS 是一种基于 TCP/IP 传输的网络文件系统协议,最初由 Sun 公司开发。通过使用 NFS 协议,客户机可以像访问本地目录一样访问远程服务器中的共享资源。对于大多数负载均衡 群集来说,使用 NFS 协议来共享数据存储是比较常见的做法,NFS 也是 NAS 存储设备必然支 持的一种协议。

  • NFS 服务的实现依赖于 RPC(Remote Process Call,远端过程调用)机制,以完成远程 到本地的映射过程。在 CentOS 7 系统中,需要安装 nfs-utils、rpcbind 软件包来提供 NFS 共享服务,前者用于 NFS 共享发布和访问,后者用于 RPC 支持。

1. #关闭防火墙
systemctl stop firewalld
systemctl disable firewalld.service
setenforce 0
 
2. #安装nfs服务
yum install nfs-utils rpcbind -y
 
3. #新建目录,并创建站点文件
mkdir /opt/kgc /opt/benet
chmod 777 /opt/kgc /opt/benet
echo 'this is kgc web!' > /opt/kgc/index.html
echo 'this is benet web!' > /opt/benet/index.html
 
4. #开启服务
systemctl start rpcbind
systemctl start nfs
 systemctl enable nfs.service
systemctl enable rpcbind.service
 
5. #设置共享策略
vim /etc/exports
/usr/share *(ro,sync)
/opt/kgc 192.168.10.0/24(rw,sync)
/opt/benet 192.168.10.0/24(rw,sync)
 
 
6. #发布服务
systemctl restart nfs
exportfs -rv

在这里插入图片描述
在这里插入图片描述
如何解决永久挂载失败!
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5.2.2 节点Web服务器

第一台(192.168.10.12)【使用Nginx作为代理服务器】

 1. #关闭防火墙
systemctl stop firewalld
systemctl disable firewalld.service
setenforce 0

2. #下载软件包
yum install nfs-utils rpcbind -y

3. #查看nfs服务
showmount -e 192.168.10.21

4. #挂载站点
#法一:临时挂载
df
cat /usr/local/nginx/htlm
mount.nfs 192.168.10.21:/opt/kgc /usr/local/nginx/html/  【使用Nginx作为代理服务器】
#法二:永久挂载
vim /etc/fstab
192.168.10.21:/opt/kgc/  /usr/local/nginx/html/        nfs     defaults,_netdev 0 0 
mount -a
 
 
6. #开启httpd服务
systemctl start nginx
 
7. #指定网关
vim /etc/sysconfig/network-scripts/ifcfg-ens33 
GATEWAY=192.168.10.10
#DNS1=8.8.8.8
 
8. #重启网络服务
systemctl restart network

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5.2.3 第二台节点web服务器【192.168.10.17】

【使用httpd作为代理服务器】

1. #关闭防火墙
systemctl stop firewalld
setenforce 0
 
2. #查看nfs服务
showmount -e 192.168.10.21
 
3. #挂载站点
#法一:临时挂载
mount 192.168.10.21:/opt/benet  /var/www/html/
df
cat /var/www/html/index.html
#法二:永久挂载
vim /etc/fstab
192.168.10.21:/opt/benet/  /var/www/html/
nfs     defaults,_netdev 0 0 
mount -a
 
4. #开启httpd服务
systemctl start httpd
 
5. #指定网关
vim /etc/sysconfig/network-scripts/ifcfg-ens33 
GATEWAY=192.168.10.10
#DNS1=8.8.8.8
 
6. #重启网络服务
systemctl restart network

在这里插入图片描述
在这里插入图片描述

5.2.4 负载调度器

内网:192.168.10.10(ens33) 外网卡:10.0.0.1(ens37)

  1. #添加一块网卡,我这里是ens37,配置网卡,重启网络
    cd /etc/sysconfig/network-scripts/
    cp ifcfg-ens33 ifcfg-ens37
    vim ifcfg-ens37
    去掉网关、UUID、修改IP
    vim ifcfg-ens33
    去掉网关
    systemctl restart network
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
2. #关闭防火墙
systemctl stop firewalld
setenforce 0
 
3. #安装ipvsadm
yum install -y ipvsadm*

在这里插入图片描述

4. #打开路由转发功能
vim /etc/sysctl.conf
net.ipv4.ip_forward = 1 
##查看
sysctl -p

在这里插入图片描述
在这里插入图片描述

5. #防火墙做策略
#查看策略
iptables -nL -t nat
#清空策略
iptables -F
#添加策略
iptables -t nat -A POSTROUTING -s 192.168.10.0/24 -o ens37 -j SNAT --to 10.0.0.1
#查看策略
iptables -nL -t nat

在这里插入图片描述

6.#加载LVS内核模块
modprobe ip_vs
cat /proc/net/ip_vs

在这里插入图片描述

7.#开启ipvsadm服务
ipvsadm-save >/etc/sysconfig/ipvsadm
systemctl start ipvsadm.service
 
8.#清空策略
ipvsadm -C


9.#制定策略
#指定IP地址 外网的入口  -s rr  轮询
ipvsadm -A -t 10.0.0.1:80 -s rr
#先指定虚拟服务器再添加真实服务器地址,-r:真实服务器地址 -m指定nat模式
ipvsadm -a -t 10.0.0.1:80 -r 192.168.10.12:80 -m
ipvsadm -a -t 10.0.0.1:80 -r 192.168.10.17:80 -m
#开启服务
ipvsadm
 
10.查看策略
ipvsadm -ln

这里可能跳转会出问题!!!!
在这里插入图片描述
修改windows机器的配置!!!
在这里插入图片描述
在这里插入图片描述

总结

  • 理解负载均衡集群的原理
  • 掌握LVS-NAT的部署

原来写博客也可以用来宣泄情绪,很多话看破不说破!

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
LVS(Linux Virtual Server)是一种基于 Linux 系统的负载均衡集群技术,它主要用于将网络流量分发到多个服务器上,以提高系统的可靠性、可扩展性和性能。 LVS 集群一般包括四个组件:调度器(LVS 调度器)、前端服务器负载均衡器)、后端服务器(真实服务器)和存储服务器(用于共享数据)。首先,调度器接收来自客户端的请求,然后根据配置的调度算法(如轮询、加权轮询、最小连接数等)将请求分发到多个前端服务器。前端服务器接收到请求后,通过相应的负载均衡算法将请求转发到后端的真实服务器上进行处理。在整个过程中,存储服务器用于存放共享的数据,以确保所有的真实服务器都能获取到相同的数据,并提供一致的服务。 LVS 集群的优点是能够提高网站的稳定性和可靠性,当某一台服务器出现故障时,调度器会自动将请求分发到其他可用的服务器上,从而保证服务的连续性。同时,LVS 集群还能够通过增加前端服务器后端服务器的数量来提高系统的性能和吞吐量,以满足不断增长的用户需求。 在实际应用中,LVS 集群需要合理配置,包括选择合适的调度算法、调整每台服务器的权重、选择适当的硬件设备等。此外,还需要及时监控集群的运行状态,及时发现和解决故障,以确保整个系统的正常运行。 总的来说,LVS 负载均衡集群是一种强大而高效的集群技术,能够帮助企业提高系统的可靠性和性能,是现代互联网应用中不可或缺的重要组成部分。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值