目录
集群
集群是指将多台计算机或服务器通过网络连接起来,协同工作以提供更高性能、更高可用性和更好扩展性的系统。集群中的每个节点(Node)都是独立的计算机或服务器,它们通过特定的通信协议和软件进行协作,共同完成一个或多个任务。
根据群集所针对的目标差异,可分为三种类型
负载均衡群集
提高应用系统的响应能力、尽可能处理更多的访问请求、减少延迟为目标,获得高并发、高负载(LB)的整体性能
LB的负载分配依赖于主节点的分流算法,将来自客户机的访问请求分担给多个服务器节点,从而缓解整个系统的负载
高可用群集
提高应用系统的可靠性、尽可能地减少中断时间为目标,确保服务的连续性,达到高可用(HA) 的容错效果
HA的工作方式包括双工和主从两种模式,双工即所有节点同时在线;主从则只有主节点在线,但当出现故障时从节点能自动切换为主节点。 例如:“故障切换”、“双机热备” 等
高性能运算群集
以提高应用系统的CPU运算速度、扩展硬件资源和分析能力为目标,获得相当于大型、超级计算机的高性能运算(HPC)能力
高性能依赖于"分布式运算”、“并行计算” , 通过专用硬件和软件将多个服务器的CPU、内存等资源整合在一起,实现只有大型、超级计算机才具备的计算能力
负载均衡群集架构
负载调度器
负载均衡器是访问整个群集系统的唯一入口, 对外使用所有服务器共有的VIP地址,也称为群集IP地址。通常会配置主、备两台调度器实现热备份,当主调度器失效以后能够平滑替换至备用调度器,确保高可用性。
服务器池
群集所提供的应用服务、由服务器池承担,其中每个节点具有独立的RIP地址(真实IP),只处理调度器分发过来的客户机请求。当某个节点暂时失效时,负载调度器的容错机制会将其隔离,等待错误排除以后再重新纳入服务器池。
共享存储
为服务器池中的所有节点提供稳定、一致的文件存取服务, 确保整个群集的统一性共享存储可以使用NAS设备,或者提供NFS共享服务的专用服务器。
三种负载调度工作模式
NAT模式
类似于防火墙的私有网络结构,负载调度器作为所有服务器节点的网关,即作为客户机的访问入口,也是各节点回应客户机的访问出口
服务器节点使用私有IP地址,与负载调度器位于同一个物理网络,安全性要优于其他两种方式
安全性高但效率低、压力大
TUN模式
TUN模式又称IP隧道,采用开放式的网络结构,负载调度器仅作为客户机的访问入口,各节点通过各自的Internet连接直接回应客户机,而不再经过负载调度器
服务器节点分散在互联网中的不同位置,具有独立的公网IP地址,通过专用IP隧道与负载调度器相互通信
安全,速度快,但需要隧道支持
DR模式
DR模式,Direct Routing,采用半开放式的网络结构,与TUN模式的结构类似,但各节点并不是分散在各地,而是与调度器位于同一个物理网络
负载调度器与各节点服务器通过本地网络连接,不需要建立专用的IP隧道
性能最好但不能跨越lan,交换机中配置VXLAN
LVS
集群自然离不开LVS,为何这么说,因为有一个很简单的问题,几台服务器组成一个集群,那么客户端像集群发送请求的时候,目的ip是哪个?所以,LVS 实际上相当于基于IP地址的虚拟化应用,为整个集群提供一个虚拟ip,用虚拟ip接收来自客户端的请求,之后再进一步处理请求。
LVS现在已成为Linux内核的一部分,默认编译为ip_ vs模块,必要时能够自动调用。在CentOS 7系统中,以下操作可以手动加载ip_ vs模块,并查看当前系统中ip_ vs模块的版本信息。
modprobe ip_vs
cat /proc/net/ip_vs #确认内核对LVS的支持
常见算法
和nginx负载均衡相似,LVS同样有几个负载均衡算法,算法内容也都差不多
轮询
将收到的访问请求按照顺序轮流分配给群集中的各节点(真实服务器) ,均等地对待每一台服务器 ,而不管服务器实际的连接数和系统负载
加权轮询
根据调度器设置的权重值来分发请求,权重值高的节点优先获得任务,分配的请求数越多,保证性能强的服务器承担更多的访问流量
最少连接
根据真实服务器已建立的连接数进行分配,将收到的访问请求优先分配给连接数最少的节点
加权最少连接
在服务器节点的性能差异较大时,可以为真实服务器自动调整权重,性能较高的节点将承担更大比例的活动连接负载
LVS管理工具
ipvsadm 命令,常用参数
-A 添加虚拟服务器
-D 删除整个虚拟服务器
-s 指定负载调度算法 (轮询:rr、加权轮询: wrr、最少连接: lc、加权最少连接: wlc )
-a 表示添加真实服务器 (节点服务器)
-d 删除某一个节点
-t 指定 VIP地址及 TCP端口
-r 指定 RIP地址及 TCP端口
-m 表示使用 NAT群集模式
-g 表示使用 DR模式
-i 表示使用 TUN模式
-w 设置权重 (权重为 0 时表示暂停节点)
-p 60 表示保持长连接60秒
-l 列表查看 LVS 虚拟服务器 (默认为查看所有)
-n 以数字形式显示地址、端口等信息,常与 “-l” 选项组合使用。ipvsadm -ln
NAT模式LVS负载均衡集群部署
这个测试需要五台机器
LVS负载调度器:ens33:172.16.233.101 ens37:10.0.0.1(vmnet3)
Web1 节点服务器1:172.16.233.103
Web2 节点服务器2:172.16.233.104
NFS服务器(nfs共享存储):172.16.233.102
客户端(win10):10.0.0.12 (Vmnet3)
PS:
win10虚拟机(客户端)网关设置为10.0.0.1
web服务器 网关设置为 172.16.233.101
1、部署共享存储
首先关闭防火墙关闭增强功能
然后下载 nfs 相关软件
yum install -y nfs-utils rpcbind
启动服务
systemctl start nfs.service
systemctl start rpcbind.service
systemctl enable nfs.service
systemctl enable rpcbind.service
mkdir /opt/123 /opt/abc
chmod 777 /opt/123 /opt/abc
vim /etc/exports
/usr/share *(ro,sync)
/opt/123 172.16.233.0/24(rw,sync)
/opt/abc 172.16.233.0/24(rw,sync)
然后发布共享
exportfs -rv
showmount -e
2、配置节点服务器
103和104机器
同样的首先先关闭防火墙和增强功能
下载安装httpd服务并启动
然后同样的下载nfs 和 rpcbind,并启动
showmount -e 172.16.233.102
web1
172.16.233.103
mount.nfs 172.16.233.102:/opt/123 /var/www/html/
echo '123123123' > /var/www/html/index.html
web2
172.16.233.104
mount.nfs 172.16.233.102:/opt/abc /var/www/html/
echo 'abcabc' > /var/www/html/index.html
配置负载调度器LVS
关闭防火墙、增强功能
配置SNAT转发规则
vim /etc/sysctl.conf
net.ipv4.ip_forward=1
sysctl -p
iptables -t nat -F
iptables -F
iptables -t nat -nL
iptables -t nat -A POSTROUTING -s 172.16.233.0/24 -o ens37 -j SNAT --to-source 10.0.0.1
加载LVS内核模块
modprobe ip_vs
cat /proc/net/ip_vs
安装ipvsadm管理工具
yum install -y ipvsadm
注意:启动服务前必须保存负载分配策略,否则将会报错
ipvsadm-save > /etc/sysconfig/ipvsadm
systemctl start ipvsadm.service
配置负载分配策略
ipvsadm -C ---清除原有策略
ipvsadm -A -t 10.0.0.1:80 -s rr
ipvsadm -a -t 10.0.0.1:80 -r 172.16.233.103:80 -m -w 1
ipvsadm -a -t 10.0.0.1:80 -r 172.16.233.104:80 -m -w 1
ipvsadm
ipvsadm -ln -----查看节点状态,Masq代表 NAT模式
ipvsadm-save > /etc/sysconfig/ipvsadm -----保存策略
配置完成后开始测试: 在win10上使用浏览器访问10.0.0.1,刷新浏览器测试负载均衡 PS:刷新间隔时间需要稍长一点
LVS-NAT模式比较好理解
简单来说,就是通过防火墙规则+LVS-ipvsadm管理工具,先做内外网地址转换,定义一个虚拟主机,基于LVS-NAT模式的RR轮询策略,对于HTTP访问的请求,以轮询的方式转发给后端,然后,再定义从这台虚拟主机的网卡进入的流量应该对应指向后端的哪个服务器池,以及以什么模式、什么权重
ip 隧道 需要消耗大量公网ip地址,几乎不使用,DR模式可能会遇到的问题稍微多一些,需要单独说一说