目录
2、负载均衡群集(Load Balance Cluster)
4、高性能运算群集(High Performance Computer Cluster)
wrr:加权轮询调度(Weighted Round Robin)
dh:目的地址哈希调度(destination hashing)
集群概念
-
lvs模型
-
lvs调度算法
-
lvs实现
-
lvs高可用性,负载均衡
一、群集概述
1、群集含义
- Cluster,集群、群集。
- 由多台主机构成,但对外只表现为一一个整体,只提供一个访问入口(域名或IP地址),相当于一台大型计算机。
2、使用群集的原因
问题:互联网应用中,随着站点对硬件性能、响应速度、服务稳定性、数据可靠性等要求越来越高,单台服务器已经无法满足负载均衡及高可用的要求。
解决方法:
- 使用价格昂贵的小型机、大型机。(纵向扩容)
- 使用多台相对廉价的普通服务器构建服务群集。(横向扩容)
LVS群集技术:
-
在企业中常用的一种群集技术一LVS(Linux Virtual Server, Linux虚拟服务器)。
-
通过整合多台服务器,使用LVS来达到服务器的高可用和负载均衡,并以同一个IP地址对外提供相同的服务。
3、系统性能扩展方式
- 垂直扩展:向上扩展,增强,性能更强的计算机运行同样的服务
- 水平扩展:向外扩展,增加设备,并行地运行多个服务调度分配问题,Cluster
为什么垂直扩展不再提及?:
随着计算机性能的增长,其价格会成倍增长。
单台计算机的性能是有上限的,不可能无限制地垂直扩展,多核CPU意味着即使是单台计算机也可以并行的。那么,为什么不一开始就并行化技术?
4、使用集群解决的方法
- 使用价格昂贵的小型机、大型机。
- 使用多台相对廉价的普通服务器构建服务群集。
- 通过整合多台服务器,使用LVS来达到服务器高可用和负载均衡,并于同一个IP地址对外提供相同服务。
- 这就是企业中常用的一种群集技术——LVS(Linux Virtual Server ,Linux虚拟服务器)
5、群集的目的
- 提高性能:计算密集应用。如天气预报,核试验模拟。
- 降低成本:相对百万美元的超级计算机,价格便宜。
- 提高可扩展性:只要增加集群节点即可。
- 增强可靠性:多个节点完成相同功能,避免单点失败。
二、企业群集分类
根据群集所针对的目标差异,可分为三种类型:
-
LB:负载均衡群集,多个主机组成,每个主机只承担一部分访问请求
-
HA:高可用群集
-
HPC:高性能运算群集
1、集群和分布式
1.分布式系统
- 分布式存储:Ceph,GlusterFS,FastDFS,MogileFS
- 分布式计算:hadoop,Spark
分布式常见应用
- 分布式应用-服务按照功能拆分,使用微服务(单一应用程序划分成一组小的服务,服务之间互相协调、互相配合,为用户提供最终价值服务)
- 分布式静态资源--静态资源放在不同的存储集群上
- 分布式数据和存储--使用key-value缓存系统
- 分布式计算--对特殊业务使用分布式计算,比如Hadoop集群
2.集群和分布式
- 集群:同一个业务系统,部署在多台服务器上。集群中,每一台服务器实现的功能没有差别,数据和代码都是一样的。
- 分布式:一个业务被拆成多个子业务,或者本身就是不同的业务,部署在多台服务器上。分布式中,每一台服务器实现的功能是有差别的,数据和代码也是不一样的,分布式每台服务器功能加起来,才是完整的业务。
3.集群设计原则
-
可扩展性—集群的横向扩展能力
-
可用性—无故障时间 (SLA service level agreement)
-
性能—访问响应时间
-
容量—单位时间内的最大并发吞吐量(C10K 并发问题)
4.群集设计实现
1.基础设施层面
2.业务层面
-
提升硬件资源性能—从入口防火墙到后端 web server 均使用更高性能的硬件资源
-
多域名—DNS 轮询A记录解析
-
多入口—将A记录解析到多个公网IP入口
-
多机房—同城+异地容灾
-
CDN(Content Delivery Network)—基于GSLB(Global Server Load Balance)实现全局负载均衡,如:DNS
-
分层:安全层、负载层、静态层、动态层、(缓存层、存储层)持久化与非持久化
-
分割:基于功能分割大业务为小服务
-
分布式:对于特殊场景的业务,使用分布式计算
-
微服务
2、负载均衡群集(Load Balance Cluster)
- 提高应用系统的响应能力、尽可能处理更多的访问请求、减少延迟为目标,获得高并发、负载(LB)的整体性能;
- LB的负载分配依赖于主节点的分流算法,将来自客户机的访问请求分担给多个服务器节点,从而缓解整个系统的负载压力。例如,“DNS轮询”、“反向代理” 等。
3、高可用群集
- 提高应用系统的可靠性、尽可能地减少中断时间为目标,确保服务的连续性,达到高可用(HA) 的容错效果。
- HA的工作方式包括双工和主从两种模式,双工即所有节点同时在线;主从则只有主节点在线,但当出现故障时从节点能自动切换为主节点。例如,“故障切换” 、“双机热备” 等。
4、高性能运算群集(High Performance Computer Cluster)
以提高应用系统的CPU运算速度、扩展硬件资源和分析能力为目标,获得相当于大型、超级计算机的高性能运算(HPC)能力。高性能依赖于"分布式运算”、 “并行计算”,通过专用硬件和软件将多个服务器的CPU、内存等资源整合在一起,实现只有大型、超级计算机才具备的计算能力。例如,”云计算“、 “网格计算”等。
三、负载均衡群集
1、负载均衡群集架构
- 第一层,负载调度器(Load Balancer或Director)
- 第二层,服务器池(Server Pool)
- 第三层,共享存储(Share Storage)
第一层,负载调度器(Load Balancer或Director)负载均衡层
访问整个群集系统的唯一入口,对外使用所有服务器共有的VIP地址,也称为群集 IP地址。通常会配置主、备两台调度器实现热备份,当主调度器失效以后能够平滑替换至备用调度器,确保高可用性
第二层,服务器池(Server Pool) WEB应用层
群集所提供的应用服务、由服务器池承担,其中每个节点具有独立的RIP地址(真实IP),只处理调度器分发过来的客户机请求。当某个节点暂时失效时,负载调度器的容错机制会将其隔离,等待错误排除以后再重新纳入服务器池。
第三层,共享存储(Share Storage) 确保多台服务器使用的是相同的资源
为服务器池中的所有节点提供稳定、一致的文件存取服务,确保整个群集的统一性共享存储可以使用NAS设备,或者提供NFS共享服务的专用服务器。
因为节点服务器的资源都是由NAS或NFS提供,所以NAS或NFS需要做主备、或分布式,从而实现高可用。
2、负载均衡群集的工作模式
负载均衡群集是目前企业用得最多的群集类型。
群集的负载调度技术有三种工作模式:
-
地址转换(NAT模式)
-
IP隧道(IP-TUN)
-
直接路由(DR模式)
-
通常使用 NAT和DR,使用最多的是DR模式。
1.NAT模式(地址转换)
地址转换
Network Address Translation,简称NAT模式
类似于防火墙的私有网络结构,负载调度器作为所有服务器节点的网关,即作为客户机 的访问入口,也是各节点回应客户机的访问出口。
服务器节点使用私有IP地址,与负载调度器位于同一个物理网络,安全性要优于其他两 种方式。
缺点:由于NAT的负载均衡器既作为用户的访问请求入口,也作为节点服务器响应请求的出口,承载两个方向的压力,调度器的性能会成为整个集群的瓶颈。
2.TUN模式(IP隧道)
IP隧道
IP Tunnel ,简称TUN模式。
采用开放式的网络结构,负载调度器仅作为客户机的访问入口,各节点通过各自的Internet连接直接回应客户机,而不再经过负载调度器。承载的压力比NAT小。
服务器节点分散在互联网中的不同位置,具有独立的公网IP地址,通过专用IP隧道与负载调度器相互通信。
缺点:成本很高。
这种模式一般应用于特殊场景,比如将节点服务器分布在全国各地,防止被物理攻击(如地震、战争等),做灾备。
3.DR模式(直接路由)
直接路由:
Direct Routing,简称DR模式。
采用半开放式的网络结构,与TUN模式的结构类似,负载调度器仅作为客户机的访问入口,各节点通过各自的Internet连接直接回应客户机,而不再经过负载调度器。承载的压力比NAT小。但各节点并不是分散在各地,而是与调度器位于同一个物理网络。
负载调度器与各节点服务器通过本地网络连接,不需要建立专用的IP隧道。
四、LVS-NAT模式
1、实验内容
LVS调度器作为Web服务器池的网关,LVS两块网卡,分别连接内外网,使用轮询(rr)调度算法。
2、实验准备:
负载调度器:内网关 lvs,ens33:192.168.10.100,外网关 ens37:12.0.0.1外网
Web节点服务器R1:192.168.10.101
Web节点服务器R2:192.168.10.102
NFS服务器nfs:192.168.10.103
客户端:12.0.0.12
实验图示:
3、部署NAT模式实验
(1)关闭防火墙、核心防护
###同时关闭四台机器的防火墙及核心防护
[root@lvs ~]#systemctl stop firewalld
[root@lvs ~]#setenforce 0
(2)安装nfs服务
[root@nfs ~]#yum install nfs-utils rpcbind -y
[root@nfs ~]#systemctl start rpcbind
[root@nfs ~]#systemctl start nfs #开启服务
[root@R1 ~]# yum install httpd -y #在Web节点服务器R1安装httpd服务
[root@R2 ~]#yum install httpd -y #在Web节点服务器R2安装httpd服务
[root@R1 ~]#rpm -q httpd
[root@R2 ~]#rpm -q httpd
[root@R1 ~]#systemctl start httpd
[root@R2 ~]#systemctl start httpd
(3)创建共享目录、并设置权限
[root@nfs ~]#cd /opt/
[root@nfs opt]#mkdir lyh hg
[root@nfs opt]#ls
hg lyh rh
[root@nfs opt]#echo 'first web lyh' > /opt/lyh/index.html
[root@nfs opt]#echo 'first web hg' > /opt/hg/index.html
[root@nfs opt]#chmod 777 lyh/ hg/
(4)设置共享策略
[root@nfs opt]#vim /etc/exports
/opt/lyh *
/opt/hg *
[root@nfs opt]#exportfs -r ###重新架子啊配置
[root@nfs opt]#exportfs -v ###查看
(5)查看共享目录
(6)挂载共享内容
Web节点服务器R1:192.168.10.101
(7)给负载调度器添加一块网卡,并且修改网卡
[root@lvs ~]#cd /etc/sysconfig/network-scripts/
[root@lvs network-scripts]#ls
[root@lvs network-scripts]#cp ifcfg-ens33 ifcfg-ens36
Web节点服务器R1:修改网关
Web节点服务器R2:修改网关
(8)开启路由转发功能
(9)在负载调度器用本地yum仓库安装 ipvsadm.x86_64
启动时提示错误
[root@lvs ipvs]#ipvsadm-save > /etc/sysconfig/ipvsadm #将保存策略导给错误提示信息
[root@lvs ipvs]#systemctl start ipvsadm #重启
[root@lvs ipvs]#
ipvsadm -C #清除原有策略
ipvsadm -A -t 12.0.0.1:80 -s rr
-A:添加虚拟服务器 -t:VIP ,虚拟IP所用外网网卡 -s:算法rr轮询
ipvsadm -a -t 12.0.0.1:80 -r 192.168.10.101:80 -m
-a:添加真实服务器 -t:VIP ,-r:真实IP地址 -m:表示使用nat模式
ipvsadm -a -t 12.0.0.1:80 -r 192.168.10.102:80 -m
ipvsadm #启用策略
ipvsadm -ln #查看节点状态,Masq代表 NAT模式
ipvsadm-save > /etc/sysconfig/ipvsadm #保存策略
检测:
五、LVS虚拟服务器
1、LVS虚拟服务器简介
Linux Virtual Server:
针对Linux内核开发的负载均衡,1998年5月,由我国的章文嵩博士创建
官方网站:www.linuxvirtualserver.org/
LVS实际上相当于基于IP地址的虚拟化应用,为基于IP地址和内容请求分发的负载均衡提出来一种高效的解决方法。
2、LVS相关术语
- DS:Director Server。指的是前端负载均衡器。
- RS:Real Server。节点服务器,后端真实的工作服务器。
- VIP:向外部直接面向用户请求,作为用户请求的目标的IP地址。
- DIP:Director Server IP,主要用于和内部主机通讯的IP地址。
- RIP:Real Server IP,后端服务器的IP地址。
- CIP:Client IP,访问客户端的IP地址。
3、LVS负载调度算法
(1)rr, wrr, dh,sh
-
rr:轮询算法(Round Robin)
将请求依次分配给不同的RS节点,即RS节点中均摊分配。适合于RS所有节点处理性能接近的情况。
将收到的访问请求安装顺序轮流分配给群集指定各节点(真实服务器),均等地对待每一台服务器,而不管服务器实际的连接数和系统负载。
-
wrr:加权轮询调度(Weighted Round Robin)
依据不同RS的权重值分配任务。权重值较高的RS将优先获得任务,并且分配到的连接数将比权值低的RS更多。相同权值的RS得到相同数目的连接数。
保证性能强的服务器承担更多的访问流量。
-
dh:目的地址哈希调度(destination hashing)
以目的地址为关键字查找一个静态hash表来获得所需RS。
-
sh:源地址哈希调度(source hashing)
以源地址为关键字查找–个静态hash表来获得需要的RS。
六、ipvsadm工具
ipvsadm是一个工具,同时它也是一条命令,用于管理LVS的策略规则。
ipvsadm是ipvs的管理器。
ipvsadm工具的作用:
LVS群集创建与管理、创建虚拟服务器、添加、删除服务器节点、查看群集及节点情况、保存负载分配策略。
ipvsadm 命令选项说明:
选项 | 功能 |
---|---|
-A | 添加虚拟服务器 |
-D | 删除整个虚拟服务器 |
-s | 指定负载调度算法(轮询: rr、加权轮询: wrr、最少连接: lc、加权最少连接: wlc) |
-a | 表示添加真实服务器(节点服务器) |
-t | 指定VIP地址及TCP端口(调度器使用) |
-r | 指定RIP地址及TCP端口(节点服务器使用) |
-m | 表示使用NAT群集模式 |
-g | 表示使用DR模式 |
-i | 表示使用TUN模式 |