集群和分布式
系统性能扩展方式:
-
Scale UP:垂直扩展,向上扩展,增强,性能更强的计算机运行同样的服务
-
Scale Out:水平扩展,向外扩展,增加设备,并行地运行多个服务调度分配问题,Cluster
垂直扩展不再提及:
随着计算机性能的增长,其价格会成倍增长
单台计算机的性能是有上限的,不可能无限制地垂直扩展,多核CPU意味着即使是单台计算机也可以并行的。那么,为什么不一开始就并行化技术?
集群 Cluster
Cluster:集群,为解决某个特定问题将多台计算机组合起来形成的单个系统
Cluster分为三种类型:
-
LB: Load Balancing,负载均衡,多个主机组成,每个主机只承担一部分访问请求
-
HA: High Availiablity,高可用,避免 SPOF(single Point Of failure)
-
HPC: High-performance computing,高性能
MTBF:Mean Time Between Failure 平均无故障时间,正常时间
MTTR:Mean Time To Restoration( repair)平均恢复前时间,故障时间
A = MTBF /(MTBF+MTTR) (0,1):99%,99.5%,99.9%,99.99%,99.999%
SLA:服务等级协议(简称:SLA,全称:service level agreement)。是在一定开销下为保障服
务的性能和可用性,服务提供商与用户间定义的一种双方认可的协定。通常这个开销是驱动提供服
务质量的主要因素。在常规的领域中,总是设定所谓的三个9,四个9来进行表示,当没有达到这
种水平的时候,就会有一些列的惩罚措施,而运维,最主要的目标就是达成这种服务水平。
1年 = 365天 = 8760小时
90 = (1-90%)*365=36.5天
99 = 8760 * 1% = 87.6小时
99.9 = 8760 * 0.1% = 8760 * 0.001 = 8.76小时
99.99 = 8760 * 0.0001 = 0.876小时 = 0.876 * 60 = 52.6分钟
99.999 = 8760 * 0.00001 = 0.0876小时 = 0.0876 * 60 = 5.26分钟
99.9999= (1-99.9999%)*365*24*60*60=31秒
#停机时间又分为两种,一种是计划内停机时间,一种是计划外停机时间,而运维则主要关注计划外停机时间。
#轮询(Round Robin):将收到的访问请求按照顺序轮流分配给群集中的各节点,均 等地对待每台服务器,而不管服务器实际的连接数和系统负载。
#加权轮询(Weighted Round Robin):根据调度器设置的权重值来分发请求,权重 值高的节点优先获得任务并且分配的请求越多,这样可以保证性能高的节点承担更 多请求。
#最少连接(Least Connections):根据真实服务器已建立的连接数进行分配,将收 到的访问请求优先分配给连接数最少的节点。如果所有的服务器节点性能相近,采用这种方式可以更好地均衡负载。
#加权最少连接(Weighted Least Connections):在服务器节点的性能差异较大的 情况下,调度器可以根据节点服务器负载自动调整权重,权重较高的节点将承担更 大比例的活动连接负载。
#IP_Hash根据请求来源的IP地址进行Hash计算,得到后端服务器,这样来自同一个IP的请求总是会落到同一台服务器上处理,以致于可以将请求上下文信息存储在这个服务器上,
#url_hash 按访问url的hash结果来分配请求,使每个url定向到同一个后端服务器,后端服务器为缓存时比较有效。具体没研究过
#fair采用的不是内建负载均衡使用的轮换的均衡算法,而是可以根据页面大小、加载时间长短智能的进行负载均衡。也就是根据后端服务器时间来分配用户请求,响应时间短的优先分配
分布式系统
分布式存储:Ceph,GlusterFS,FastDFS,MogileFS
分布式计算:hadoop,Spark
分布式常见应用
-
分布式应用-服务按照功能拆分,使用微服务(单一应用程序划分成一组小的服务,服务之间互相协调、互相配合,为用户提供最终价值服务)
-
分布式静态资源--静态资源放在不同的存储集群上
-
分布式数据和存储--使用key-value缓存系统
-
分布式计算--对特殊业务使用分布式计算,比如Hadoop集群
集群和分布式
集群:同一个业务系统,部署在多台服务器上。集群中,每一台服务器实现的功能没有差别,数据和代码都是一样的。
分布式:一个业务被拆成多个子业务,或者本身就是不同的业务,部署在多台服务器上。分布式中,每一台服务器实现的功能是有差别的,数据和代码也是不一样的,分布式每台服务器功能加起来,才是完整的业务。
分布式是以缩短单个任务的执行时间来提升效率的,而集群则是通过提高单位时间内执行的任务数来提升效率。
对于大型网站,访问用户很多,实现一个群集,在前面部署一个负载均衡服务器,后面几台服务器完成
同一业务。如果有用户进行相应业务访问时,负载均衡器根据后端哪台服务器的负载情况,决定由给哪
一台去完成响应,并且一台服务器垮了,其它的服务器可以顶上来。分布式的每一个节点,都完成不同
的业务,如果一个节点垮了,那这个业务可能就会失败
集群设计原则
可扩展性—集群的横向扩展能力
可用性—无故障时间 (SLA service level agreement)
性能—访问响应时间
容量—单位时间内的最大并发吞吐量(C10K 并发问题)
企业群集分类
(一)根据群集所针对的目标差异,可分为三种类型
1、负载均衡群集
2、高可用群集
3、高性能运算群集
(二)负载均衡群集
1、提高应用系统的响应能力、尽可能处理更多的访问请求、减少延迟为目标,获得高并发、高负载(LB)的整体性能
2、LB的负载分配依赖于主节点的分流算法,将来自客户机的访问请求分担给多个服务器节点,从而缓解整个系统的负载
(三)高可用群集
1、提高应用系统的可靠性、尽可能地减少中断时间为目标,确保服务的连续性,达到高可用(HA) 的容错效果
2、HA的工作方式包括双工和主从两种模式,双工即所有节点同时在线;主从则只有主节点在线,但当出现故障时从节点能自动切换为主节点。
例如:“故障切换”、“双机热备” 等
(四)高性能运算群集
1、以提高应用系统的CPU运算速度、扩展硬件资源和分析能力为目标,获得相当于大型、超级计算机的高性能运算(HPC)能力
2、高性能依赖于"分布式运算”、“并行计算” , 通过专用硬件和软件将多个服务器的CPU、内存等资源整合在一起,实现只有大型、超级计算机才具备的计算能力
负载均衡群集架构
(一)根据群集所针对的目标差异,可分为三种类型
第一层,负载调度器
访问整个群集系统的唯一入口, 对外使用所有服务器共有的VIP地址,也称为群集IP地址。通常会配置主、备两台调度器实现热备份,当主调度器失效以后能够平滑替换至备用调度器,确保高可用性。
第二层,服务器池
群集所提供的应用服务、由服务器池承担,其中每个节点具有独立的RIP地址(真实IP),只处理调度器分发过来的客户机请求。当某个节点暂时失效时,负载调度器的容错机制会将其隔离,等待错误排除以后再重新纳入服务器池。
第三层,共享存储
为服务器池中的所有节点提供稳定、一致的文件存取服务, 确保整个群集的统一性共享存储可以使用NAS设备,或者提供NFS共享服务的专用服务器。
负载均衡群集工作模式分析
1、负载均衡群集是目前企业用得最多的群集类型
2、群集的负载调度技术有3种工作模式
●地址转换(NAT模式)
●IP隧道(TUN模式)
●直接路由(DR模式)
LVS集群类型中的术语
-
VS:Virtual Server,Director Server(DS), Dispatcher(调度器),Load Balancer(lvs服务器)
-
RS:Real Server(lvs), upstream server(nginx), backend server(haproxy)(真实服务器)
-
CIP:Client IP(客户机IP)
-
VIP:Virtual serve IP VS外网的IP
-
DIP:Director IP VS内网的IP
-
RIP:Real server IP (真实IP)
三种负载调度工作模式
(一)NAT模式
1、地址转换
● Network Address Translation,简称NAT模式
● 类似于防火墙的私有网络结构,负载调度器作为所有服务器节点的网关,即作为客户机的访问入口,也是各节点回应客户机的访问出口
● 服务器节点使用私有IP地址,与负载调度器位于同一个物理网络,安全性要优于其他两种方式
(二)TUN模式
1、IP隧道
● IP Tunnel,简称TUN模式
● 采用开放式的网络结构,负载调度器仅作为客户机的访问入口,各节点通过各自的Internet连接直接回应客户机,而不再经过负载调度器
● 服务器节点分散在互联网中的不同位置,具有独立的公网IP地址,通过专用IP隧道与负载调度器相互通信
(三)DR模式
1、直接路由
● Direct Routing,简称DR模式
● 采用半开放式的网络结构,与TUN模式的结构类似,但各节点并不是分散在各地,而是与调度器位于同一个物理网络
● 负载调度器与各节点服务器通过本地网络连接,不需要建立专用的IP隧道
LVS工作模式总结和比较
NAT | TUN | DR | |
---|---|---|---|
优点 | 端口转换 | WAN | 性能最好 |
缺点 | 性能瓶颈 | 服务器支持隧道模式 | 不支持跨网段 |
真实服务器要求 | any | Tunneling | Non-arp device |
支持网络 | private(私网) | LAN/WAN(私网/公网) | LAN(私网) |
真实服务器数量 | low (10~20) | High (100) | High (100) |
真实服务器网关 | lvs内网地址 | Own router(网工定义) | Own router(网工定义) |
LVS虚拟服务器
(一)Linux Virtual Server
● 针对Linux内核开发的负载均衡解决方案
● 1998年5月,由我国的章文嵩博士创建
● 官方网站: http://www.linuxvirtualserver.orgl
● LVS 实际上相当于基于IP地址的虚拟化应用, 为基于IP地址和内容请求分发的负载均衡提出了一种高效的解决方法
(二)LVS
LVS现在已成为Linux内核的一部分,默认编译为ip_ vs模块,必要时能够自动调用。在CentOS 7系统中,以下操作可以手动加载ip_ vs模块,并查看当前系统中ip_ vs模块的版本信息。
modprobe ip_vs
cat /proc/net/ip_vs #确认内核对LVS的支持
LVS的负载调度算法
1、轮询(Round Robin)
● 将收到的访问请求按照顺序轮流分配给群集中的各节点(真实服务器) ,均等地对待每一台服务器 ,而不管服务器实际的连接数和系统负载
2、加权轮询 (Weighted Round Robin)
● 根据调度器设置的权重值来分发请求,权重值高的节点优先获得任务,分配的请求数越多
● 保证性能强的服务器承担更多的访问流量
3、最少连接 (Least Connections )
● 根据真实服务器已建立的连接数进行分配,将收到的访问请求优先分配给连接数最少的节点
4、加权最少连接(Weighted L east Connections )
● 在服务器节点的性能差异较大时,可以为真实服务器自动调整权重
● 性能较高的节点将承担更大比例的活动连接负载
七、LVS群集创建与管理
(一)步骤
1、创建虚拟服务器
2、添加、删除服务器节点
3、查看群集及节点情况
4、保存负载分配策略
(二)ipvsadm工具选项说明
-A: 添加虚拟服务器
-D: 删除整个虚拟服务器
-s: 指定负载调度算法(轮询: rr、加权轮询: wrr、最少连接: lc、加权最少连接: wlc)
-a: 添加真实服务器(节点服务器)
-d: 删除某一个节点
-t: 指定VIP地址及TCP端口
-r: 指定RIP地址及TCP端口
-m: 表示使用NAT群集模式
-g: 表示使用DR模式
-i: 表示使用TUN模式
一w: 设置权重(权重为0时表示暂停节点)
-p 60: 表示保持长连接60秒
-l: 列表查看 LVS虚拟服务器(默认为查看所有)
-n: 以数字形式显示地址、端口等信息,常与"-l“选项组合使用。ipvsadm -ln
NAT模式 LVS负载均衡部署
环境部署
LVS负载调度器::ens33:192.168.159.101 ens36:192.168.10.100 ( vmnet1)
web节点服务器1:192.168.159.102
web节点服务器2:192.168.159.103
客户端( win10) : 192.168.10.10 ( vmnet1)
win10虚拟机(客户端)网关设置为192.168.10.100
web服务器网关设置为192.168.159.2
LVS负载调度器配置:
cd /etc/sysconfig/network-scripts/
ifconfig
cp -p ifcfg-ens33 ifcfg-ens36
#拷贝模板
vim ifcfg-ens36
配置负载调度器LVS
配置SNAT转发规则
root@lvs ~]# vim /etc/sysctl.conf #调整/proc相应参数
[root@lvs ~]# sysctl -p
net.ipv4.ip_forward = 1
[root@lvs ~]# systemctl start firewalld.service #开启防火墙
[root@lvs ~]# iptables -t nat -F #清空nat表内的规则
[root@lvs ~]# iptables -F #全部清空规则
[root@lvs ~]# iptables -t nat -nL #查看
[root@lvs ~]# iptables -t nat -A POSTROUTING -s 192.168.159.0/24 -o ens36 -j SNAT --to-source 192.168.10.100
# http服务器的流量通过ens36接口,把192.168.159.0网段通过LVS映射192.168.10.100
nat表:修改数据包中的源、目标IP地址或漏口
POSTROUTING:在进行路由判断之"后"所要进行的规则(SNAT/MASQUERADE)
PREROUTING:在进行路由判断
之"前"所要进行的规则(DNAT/REDIRECT)
-A:在规则链的末尾加入新规则
-s:匹配来源地址IP/MASK.
-o 网卡名称匹配从这块网卡流出的数据-i网卡名称匹配从这块网卡流入的数据-控制类型
加载LVS内核模块
[root@lvs ~]# modprobe ip_vs #手动加载ip_vs模块
[root@lvs ~]# cat /proc/net/ip_vs #查看ip_vs版本信息
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
安装ipvsadm管理工具
[root@lvs ~]# yum install -y ipvsadm
#启动服务前必须保存负载分配策略,否则会报错
[root@lvs ~]# ipvsadm-save > /etc/sysconfig/ipvsadm
或
ipvsadm --save > /etc/sysconfig/ipvsadm
或
touch /etc/sysconfig/ipvsadm
[root@lvs ~]# systemctl start ipvsadm.service #开启管理工具
配置负载分配策略(NAT模式只要在服务器上配置,节点服务器不需要特殊配置)
[root@lvs ~]# cd /opt
[root@lvs opt]# vim nat.sh
#!/bin/bash
ipvsadm -C #清除原策略
ipvsadm -A -t 192.168.10.100:80 -s rr
ipvsadm -a -t 192.168.10.100:80 -r 192.168.159.102:80 -m -w 1
ipvsadm -a -t 192.168.10.100:80 -r 192.168.159.103:80 -m -w 1
-A 添加虚拟服务器
-s 指定负载调度算法〈(轮询:rr、加权轮询: wrr、最少连接:lc、加权最少连接: wlc )
-a表示添加真实服务器(后端节点服务器)
-t指定VIP地址及TCP端口
-m表示使用NAT群集模式.
-w设置权重(权重为o时表示暂停节点)
[root@lvs opt]# chmod +x nat.sh
[root@lvs opt]# ./nat.sh
[root@lvs opt]# ipvsadm #启动策略
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP lvs:http rr
-> 192.168.159.20:http Masq 1 0 0
-> 192.168.159.50:http Masq 1 0 0
[root@lvs opt]# ipvsadm -ln #查看节点状态,Masa代表NAT模式
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.10.100:80 rr
-> 192.168.159.20:80 Masq 1 0 0
-> 192.168.159.50:80 Masq 1 0 0
[root@lvs opt]# ipvsadm-save > /etc/sysconfig/ipvsadm
配置两台web节点服务器
两台服务器 关闭防火墙、添加地址映射
[root@localhost ~]# systemctl stop firewalld.service
[root@localhost ~]# systemctl disable firewalld.service
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
[root@localhost ~]# setenforce 0
[root@localhost ~]# vim /etc/reslove.conf
nameserver 114.114.114.114
节点服务器1 配置
[root@localhost ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=05f93885-314c-4074-8b9b-16cf5ee422fd
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.159.102
NETMASK=255.255.255.0
GATEWAY=192.168.159.101 #这是lvs的ens33网卡,是web服务器的网关
[root@localhost ~]# systemctl restart network
[root@localhost ~]# yum install -y httpd
[root@localhost ~]# cd /var/www/html/
[root@localhost html]# vim index.html
[root@localhost html]# cat index.html
this is web1
[root@localhost html]# systemctl start httpd
[root@localhost html]# curl 192.168.159.102
this is web1
[root@localhost ~]# yum install -y httpd
[root@localhost ~]# cd /var/www/html/
[root@localhost html]# vim index.html
[root@localhost html]# cat index.html
this is web1
[root@localhost html]# systemctl start httpd
[root@localhost html]# curl 192.168.159.102
节点服务器2 配置
[root@localhost ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=06dd2bfb-3322-46c6-a0e7-79ee0fa7d348
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.159.103
NETMASK=255.255.255.0
GATEWAY=192.168.159.101 #这是lvs的ens33网卡,是web服务器的网关
[root@localhost ~]# systemctl restart network
[root@localhost ~]# yum install -y httpd
[root@localhost ~]# cd /var/www/html/
[root@localhost html]# vim index.html
[root@localhost html]# cat index.html
this is web2
[root@localhost html]# systemctl start httpd
[root@localhost html]# curl 192.168.159.103
this is web2
客户端win10配置
测试LVS群集
打开浏览器访问192.168.100.100,将看到由真实服务器提供的网页内容,如果各节点的网页不同,则不同客户机看到的网页也不同(刷新查看效果)