目录
2、配置节点服务器(后端服务器:172.16.88.22、172.16.88.33)
3、配置负载调度器LVS(ens33:172.16.88.44;ens37:10.0.0.1)
一、集群概念
1、集群的定义
集群是指由多台主机构成的计算系统,但对外只表现为一个整体,只提供一个访问入口(域名与IP地址),相当于一台大型计算机。
2、集群的分类
根据群集所针对的目标差异,可分为三种类型
- 负载均衡群集
- 高可用群集
- 高性能运算群集
①、负载均衡群集(Load Balance Cluster)
- 提高应用系统的响应能力、尽可能处理更多的访问请求、减少延迟为目标,获得高并发、高负载(LB)的整体性能
- LB的负载分配依赖于主节点的分流算法,将来自客户机的访问请求分担给多个服务器节点,从而缓解整个系统的负载
②、高可用群集 (High Availability Cluster)
- 提高应用系统的可靠性、尽可能地减少中断时间为目标,确保服务的连续性,达到高可用(HA) 的容错效果
- HA的工作方式包括双工和主从两种模式,双工即所有节点同时在线;主从则只有主节点在线,但当出现故障时从节点能自动切换为主节点。
- 例如:“故障切换”、“双机热备” 等
③、高性能运算群集 (High Performance Computer Cluster)
- 以提高应用系统的CPU运算速度、扩展硬件资源和分析能力为目标,获得相当于大型、超级计算机的高性能运算(HPC)能力
- 高性能依赖于"分布式运算”、“并行计算” , 通过专用硬件和软件将多个服务器的CPU、内存等资源整合在一起,实现只有大型、超级计算机才具备的计算能力
3、负载均衡群集架构
第一层:负载调度器(Load Balancer 或 Director)
- 功能:作为整个群集系统的唯一入口,处理所有外部访问请求。
- IP地址:使用共享的VIP(虚拟 IP 地址),也称为群集 IP 地址。
- 高可用性:通常配置主备两台调度器以实现热备份。主调度器失效时,备用调度器可以平滑接管,确保系统的高可用性。
第二层:服务器池(Server Pool)
- 功能:提供实际的应用服务。每个节点都拥有独立的真实 IP 地址(RIP),只处理负载调度器分发过来的请求。
- 容错机制:当某个节点失效时,负载调度器的容错机制会将其隔离,待故障修复后再重新纳入服务器池中。
第三层:共享存储(Shared Storage)
- 功能:为服务器池中的所有节点提供稳定、一致的文件存取服务,确保群集的一致性。
- 类型:可以使用 NAS 设备或提供 NFS 共享服务的专用服务器。
4、负载均衡群集工作模式分析
4.1、负载均衡群集的广泛应用
负载均衡群集是目前企业中使用最广泛的群集类型,主要用于提升系统的可用性、可靠性和扩展性。
4.2、集群的负载调度技术工作模式
负载均衡群集的负载调度技术通常有以下三种工作模式:
①、地址转换(NAT 模式)
- 原理:通过网络地址转换(NAT),将外部访问的虚拟 IP 地址(VIP)转换为内部服务器的真实 IP 地址(RIP)。
- 应用场景:适用于小规模的服务器群集,通常需要负载调度器处理大量的流量。
②、IP 隧道(TUN 模式)
- 原理:通过建立 IP 隧道,将客户端的请求直接传递到后端服务器,后端服务器直接响应客户端,无需经过负载调度器。
- 应用场景:适用于地理分布较广的服务器群集,可以减轻负载调度器的压力。
③、直接路由(DR 模式)
- 原理:客户端的请求通过负载调度器进行负载均衡后,直接路由到后端服务器。后端服务器使用其自身的 IP 地址直接响应客户端。
- 应用场景:适用于大型服务器群集,具有高性能和高效率的特点。
5、三种负载调度工作模式
5.1、NAT模式
地址转换
- Network Address Translation,简称NAT模式
- 类似于防火墙的私有网络结构,负载调度器作为所有服务器节点的网关,即作为客户机的访问入口,也是各节点回应客户机的访问出口
- 服务器节点使用私有IP地址,与负载调度器位于同一个物理网络,安全性要优于其他两种方式
5.2、TUN模式
IP隧道
- IP Tunnel,简称TUN模式
- 采用开放式的网络结构,负载调度器仅作为客户机的访问入口,各节点通过各自的Internet连接直接回应客户机,而不再经过负载调度器
- 服务器节点分散在互联网中的不同位置,具有独立的公网IP地址,通过专用IP隧道与负载调度器相互通信
5.3、DR模式
直接路由
- Direct Routing,简称DR模式
- 采用半开放式的网络结构,与TUN模式的结构类似,但各节点并不是分散在各地,而是与调度器位于同一个物理网络
- 负载调度器与各节点服务器通过本地网络连接,不需要建立专用的IP隧道
二、LVS虚拟服务器
1、Linux Virtual Server (LVS)
LVS现在已成为Linux内核的一部分,默认编译为ip_ vs模块,必要时能够自动调用。在CentOS 7系统中,以下操作可以手动加载ip_ vs模块,并查看当前系统中ip_ vs模块的版本信息。
- 简介: 针对 Linux 内核开发的负载均衡解决方案。
- 创建者: 由我国的章文嵩博士于 1998 年 5 月创建。
- 官方网站: The Linux Virtual Server Project - Linux Server Cluster for Load Balancing
- 功能: LVS 实际上相当于基于 IP 地址的虚拟化应用,为基于 IP 地址和内容请求分发的负载均衡提供了一种高效的解决方案。
加载 ip_vs
模块
modprobe ip_vs
查看 ip_vs
模块版本信息
cat /proc/net/ip_vs # 确认内核对 LVS 的支持
2、LVS的负载调度算法
①、轮询(Round Robin)
- 将收到的访问请求按照顺序轮流分配给群集中的各节点(真实服务器),均等地对待每一台服务器,而不考虑服务器的实际连接数和系统负载。
②、加权轮询 (Weighted Round Robin)
- 根据调度器设置的权重值来分发请求,权重值高的节点优先获得任务,分配的请求数越多
- 保证性能强的服务器承担更多的访问流量
③、最少连接 (Least Connections )
- 根据真实服务器已建立的连接数进行分配,将收到的访问请求优先分配给连接数最少的节点。
④、加权最少连接(Weighted L east Connections )
- 在服务器节点的性能差异较大时,可以为真实服务器自动调整权重
- 性能较高的节点将承担更大比例的活动连接负载
3、LVS群集创建与管理
①、步骤
创建虚拟服务器
- 初始化并配置虚拟服务器,以便在群集中分配和管理流量。
添加、删除服务器节点
- 动态添加或删除群集中的服务器节点,以灵活管理资源和负载。
查看群集及节点情况
- 实时监控和查看群集及各节点的状态,确保系统运行的稳定性和负载均衡的效果。
保存负载分配策略
- 保存和应用已配置的负载分配策略,以确保在系统重启或更新时保持一致的负载均衡行为。
②、ipvsadm工具选项说明
LVS的管理工具是ipvsadm
选项 | 说明 |
---|---|
-A | 添加虚拟服务器 |
-D | 删除整个虚拟服务器 |
-s | 指定负载调度算法(轮询: rr、加权轮询: wrr、最少连接: lc、加权最少连接: wlc) |
-a | 添加真实服务器(节点服务器) |
-d | 删除某一个节点 |
-t | 指定 VIP 地址及 TCP 端口 |
-r | 指定 RIP 地址及 TCP 端口 |
-m | 使用 NAT 群集模式 |
-g | 使用 DR 模式 |
-i | 使用 TUN 模式 |
-w | 设置权重(权重为 0 时表示暂停节点) |
-p 60 | 保持长连接 60 秒 |
-l | 列表查看 LVS 虚拟服务器(默认为查看所有) |
-n | 以数字形式显示地址、端口等信息,常与 -l 选项组合使用。例如:ipvsadm -ln |
三、NAT模式 LVS负载均衡群集部署
1、部署共享存储(NFS服务器:172.16.88.11)
//停止并禁用防火墙
systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0
//安装NFS服务
yum install -y nfs-utils rpcbind
//启动并设置NFS服务开机自启
systemctl start nfs.service
systemctl start rpcbind.service
systemctl enable nfs.service
systemctl enable rpcbind.service
//创建共享目录并设置权限
mkdir /opt/kgc /opt/benet
chmod 777 /opt/kgc /opt/benet
//配置NFS共享
vim /etc/exports
/usr/share *(ro,sync)
/opt/kgc 192.168.10.0/24(rw,sync)
/opt/benet 192.168.10.0/24(rw,sync)
//发布共享
exportfs -rv
showmount -e
2、配置节点服务器(后端服务器:172.16.88.22、172.16.88.33)
//停止并禁用防火墙
systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0
//安装和配置Web服务
yum install -y httpd
systemctl start httpd.service
systemctl enable httpd.service
//安装NFS客户端工具
yum install -y nfs-utils rpcbind
//启动并设置rpcbind服务开机自启
systemctl start rpcbind.service
systemctl enable rpcbind.service
//挂载NFS共享
//web1: 192.168.10.16
mount.nfs 192.168.10.18:/opt/kgc /var/www/html/
echo 'this is kgc' > /var/www/html/index.html
vim /etc/fstab
192.168.10.18:/opt/kgc /var/www/html nfs defaults,_netdev 0 0
mount -a
//web2: 192.168.10.17
mount.nfs 192.168.10.18:/opt/benet /var/www/html/
echo 'this is benet' > /var/www/html/index.html
vim /etc/fstab
192.168.10.18:/opt/benet /var/www/html nfs defaults,_netdev 0 0
mount -a
3、配置负载调度器LVS(ens33:172.16.88.44;ens37:10.0.0.1)
//停止并禁用防火墙
systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0
//配置IP转发
vim /etc/sysctl.conf
net.ipv4.ip_forward=1
sysctl -p
//或者
echo '1' > /proc/sys/net/ipv4/ip_forward
//配置SNAT转发规则
iptables -t nat -F
iptables -F
iptables -t nat -A POSTROUTING -s 192.168.10.0/24 -o ens37 -j SNAT --to-source 10.0.0.1
//加载LVS内核模块
modprobe ip_vs
cat /proc/net/ip_vs
//安装ipvsadm管理工具
yum install -y ipvsadm
//启动ipvsadm服务前保存负载分配策略
ipvsadm-save > /etc/sysconfig/ipvsadm
//或者
ipvsadm --save > /etc/sysconfig/ipvsadm
//或者
touch /etc/sysconfig/ipvsadm
systemctl start ipvsadm.service
//配置负载分配策略
ipvsadm -C
ipvsadm -A -t 10.0.0.1:80 -s rr
ipvsadm -a -t 10.0.0.1:80 -r 192.168.10.16:80 -m -w 1
ipvsadm -a -t 10.0.0.1:80 -r 192.168.10.17:80 -m -w 1
//查看和保存策略
ipvsadm
ipvsadm -ln
ipvsadm-save > /etc/sysconfig/ipvsadm
//测试负载均衡
在客户端(win10)上使用浏览器访问10.0.0.1,刷新浏览器测试负载均衡。刷新间隔时间需要稍长一点。
//管理负载均衡策略
//删除某一节点服务器
ipvsadm -d -t 10.0.0.1:80 -r 192.168.10.16:80
//删除整个虚拟服务器
ipvsadm -D -t 10.0.0.1:80
//停止服务(清除策略)
systemctl stop ipvsadm
//启动服务(重建规则)
systemctl start ipvsadm
//恢复LVS策略
ipvsadm-restore > /etc/sysconfig/ipvsadm