目录
高可用群集(High Availability Cluster)
高性能运算群集(High Performance Computer Cluster)
一、企业群集应用概述
群集的含义
- Cluster,集群、群集
- 由多台主机构成,但对外只表现为一个整体,只提供一个访问入口(域名或IP地址),相当于一台大型计算机。
问题
- 互联网应用中,随着站点对硬件性能、响应速度、服务稳定性、数据可靠性等要求越来越高,单台服务器已经无法满足负载均衡及高可用的要求。
二、企业群集分类
根据群集所针对的目标差异,可分为三种类型
- 负载均衡群集
- 高可用群集
- 高性能运算群集
负载均衡群集(Load Balance Cluster)
- 提高应用系统的响应能力、尽可能处理更多的访问请求、减少延迟为目标,获得高并发、高负载(LB)的整体性能。
- LB的负载分配依赖于主节点的分流算法,将来自客户机的访问请求分担给多个服务器节点,从而缓解整个系统的负载压力。例如,“DNS轮询” "反向代理” 等。
高可用群集(High Availability Cluster)
- 提高应用系统的可靠性、尽可能地减少中断时间为目标,确保服务的连续性,达到高可用(HA)的容错效果。
- HA的工作式包括双工和主从两种模式,双工即所有节点同时在线;主从则只有主节点在线,但当出现故障时从节点能自动切换为主节点。例如,"故障切换” “双机热备” 等。
高性能运算群集(High Performance Computer Cluster)
- 以提高应用系统的CPU运算速度、扩展硬件资源和分析能力为目标,获得相当于大型、超级计算机的高性能运算(HPC)能力。
- 高性能依赖于“分布式运算”、"并行计算” , 通过专用硬件和软件将多个服务器的CPU、内存等资源整合在一起,实现只有大型、超级计算机才具备的计算能力。例如,”云计算” “网格计算” 等。
三、负载均衡群集架构
负载均衡的结构
第一层 负载调节器
访问整个群集系统的唯一入口, 对外使用所有服务器共有的VIP地址,也称为群集IP地址。通常会配置主、备两台调度器实现热备份,当主调度器失效以后能够平滑替换至备用调度器,确保高可用性。
第二层 服务器池
群集所提供的应用服务、由服务器池承担,其中每个节点具有独立的RIP地址(真实IP),只处理调度器分发过来的客户机请求。当某个节点暂时失效时,负载调度器的容错机制会将其隔离,等待错误排除以后再重新纳入服务器池。
第三层 共享存储
为服务器池中的所有节点提供稳定、一致的文件存取服务, 确保整个群集的统一性共享存储可以使用NAS设备,或者提供NFS共享服务的专用服务器。
四、负载均衡群集架构
负载均衡群集工作模式
- 负载均衡群集是目前企业用得最多的群集类型
- 群集的负载调度技术有三种工作模式
- 地址转换
- IP隧道
- 直接路由
NAT模式
地址转换
- Network Address Translation,简称NAT模式类似于防火墙的私有网络结构,负载调度器作为所有服务器节点的网关,即作为客户机的访问入口,也是各节点回应客户机的访问出口。
- 服务器节点使用私有IP地址,与负载调度器位于同一个物理网络,安全性要优于其他两种方式。
TUN模式
IP隧道
- IP Tunnel,简称TUN模式。
- 采用开放式的网络结构,负载调度器仅作为客户机的访问入口,各节点通过各自的Internet连接直接回应客户机,而不再经过负载调度器。
- 服务器节点分散在互联网中的不同位置,具有独立的公网P地址,通过专用IP隧道与负载调度器相互通信。
DR模式
直接路由
- Direct Routing,简称DR模式。
- 采用半开放式的网络结构,与TUN模式的结构类似,但各节点并不是分散在各地,而是与调度器位于同-一个物理网络。
- 负载调度器与各节点服务器通过本地网络连接,不需要建立专用的IP隧道。
五、LVS虚拟服务器
关于LVS虚拟服务器
Linux Virtual Server
- 针对Linux内核开发的负载均衡解决方案
- 1998年5月,由我国的章文嵩博士创建
- 官方网站: http://www.linuxvirtualserver.orgl
- LVS实际上相当于基于IP地址的虚拟化应用,为基于IP地址和内容请求分发的负载均衡提出了一种高效的解决方法。
- LVS现在已成为Linux内核的一部分,默认编译为ip_vs模块,必要时能够自动调用。在CentOS 7系统中,以下操作可以手动加载ip_ vs模块,并查看当前系统中ip_ vs模块的版本信息。
[root@localhost ~]# modprobe ip_vs
[root@localhost ~]# cat /proc/net/ip_vs
确认内核对LVS的支持
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
ipvs的路径
LVS调度算法
- 轮询(Round Robin)
- 加权轮询(Weighted Round Robin)
- 最少连接(Least Connections)
- 加权最少连接(Weighted Least Connections)
- 源地址哈希值(source hash)
LVS调度器常见算法(均衡策略)
LVS调度器用的调度方法基本分为两类:
固定调度算法: rr, wrr, dh, sh
- rr:轮询算法,将请求依次分配给不同的rs节点,即RS节点中均摊分配。适合于RS所有节点处理性能接近的情况。
- wrr: 加权轮训调度,依据不同RS的权值分配任务。权值较高的RS将优先获得任务,并且分配到的连接数将比权值低的RS更多。相同权值的
- RS得到相同数目的连接数。
- dh:目的地址哈希调度(destinationhashing)以目的地址为关键字查找--个静态hash表来获得所需RS。
- sh:源地址哈希调度(sourcehashing)以源地址为关键字查找---个静态hash表来获得需要的RS。
动态调度算法: wlc,lc, lblc
- wlc: 加权最小连接数调度,假设各台RS的权值依次为Wi,当前tcp连接数依次为Ti,依次去Ti/wi为最小的RS作为下一个分配的RS。
- lc: 最小连接数调度(least -connection) ,IPVS表存储了所有活动的连接。LB会比较将连接请求发送到当前连接最少的RS.
- lblc: 基于地址的最小连接数调度( locality- -basedleast-connection):将来自同一“个目的地址的请求分配给同一台RS,此时这台服务器是尚未满负荷的。否则就将这个请求分配给连接数最小的RS,并以它作为下一次分配的首先考虑。
六、ipvsadm工具
LVS群集创建于管理
ipvsadm工具选项
-A: 添加虚拟服务器
-D: 删除整个虚拟服务器
-S: 指定负载调度算法(轮询: rr、加权轮询: wrr、 最少连接: lc、 加权最少连接: wlc)
-a: 表示添加真实服务器(节点服务器)
-d: 删除某-一个节点
-t: 指定VIP地址及TCP端口
-r: 指定RIP地址及TCP端口
-m: 表示使用NAT群集模式
-g: 表示使用DR模式
-i: 表示使用TUN模式
-w: 设置权重(权重为0时表示暂停节点)
-p 60: 表示保持长连接60秒
-1: 列表查看LVS虚拟服务器(默认为查看所有)
-n: 以数字形式显示地址、端口等信息,常与“-l"选项组合使用。ipvsadm -ln
七、NAT模式 LVS负载均衡群集部署
负载调度器:内网关ens33: 192.168.80.10, 外网关ens36: 12.0.0.1
Web节点服务器1: 192.168.80.100
Web节点服务器2: 192.168.80.101
NFS服务器: 192.168.80.13
客户端: 12.0.0.12
1、部署共享存储(NFS服务器:192.168.80.13)
systemctl stop firewalld.service
systemctl disable firewalld. service
setenforce 0
yum install nfs-utils rpcbind -y
systemctl start rpcbind. service
systemctl start nfs. service
systemctl enable nfs. service
systemctl enable rpcbind. service
mkdir /opt/kgc /opt/benet
chmod 777 /opt/kgc /opt /benet
echo 'this is kgc web!' > /opt/kgc/ index . html
echo 'this is benet web!' > /opt/benet/ index . html
vim /etc/exports
/usr/share * (ro, sync)
/opt/kgc 192.168.80.0/24 (rw, sync)
/opt/benet 192.168.80.0/24 (rw, sync)
发布共享
exportfs - rv
2.配置节点服务器(192.168.80.100、 192.168.80.101 )
systemctl stop firewalld. service
systemctl disable firewalld. service
setenforce 0
yum install httpd -y
systemctl start httpd. service
systemctl enable httpd. service
yum install nfs-utils rpcbind -y
showmount -e 192.168.80.13
systemctl start rpcbind
systemctl enable rpcbind
--192.168.80.100---
mount.nfs 192.168.80.13:/opt/kgc /var/www/html
vim /etc/fstab
192.168.80.13:/opt/kgc /var/www/html nfs defaults,_ netdev 00
--192.168.80.101---
mount.nfs 192.168. 80.13:/opt/benet /var/www/html
echo 'this is benet web!' > /var/www/html/index . html
vim /etc/ fstab
192.168.80.13: /opt /benet /var/www/html nfs defaults,_ netdev 00
3.配置负载调度器(内网关ens33: 192.168.80.10, 外网关ens36: 12.0.0.1)
systemctl stop firewalld. service
systemctl disable firewalld. service
setenforce 0
(1)配置SNAT转发规则
vim /etc/sysct1. conf
net.ipv4.ip_ forward = 1
或echo '1' > /proc/sys/net/ipv4/ip_ forward
sysctl -P
iptables -t nat -F
iptables -
iptables -t nat -A POSTROUTING -S 192.168.80.0/24 -0 ens36 -j SNAT --to-source 12.0.0.1
(2)加载LVS内核模块
modprobe ip_ _vs #加载ip_ vs模块:
cat /proc/net/ip_ vs #查看ip_ _vs版本信息
for i in $(1s /usr/1ib/modules/$ (uname -r) /kernel/net/netfilter/ipvsIgrep -0 "^[^.]*");do echo $i; /sbin/modinfo -F
filename $i >/dev/null 2>&1 && /sbin/modprobe $i ; done
(3)安装ipvsadm 管理工具
yum -y install ipvsadm
--启动服务前须保存负载分配策略---
ipvsadm-save > /etc/ sysconf ig/ ipvsadm
或者ipvsadm --save > /etc/sysconfig/ ipvsadm
systemctl start ipvsadm. service
(4)配置负载分配策略(NAT模式只要在服务器上配置,节点服务器不需要特殊配置)
ipvsadm -C #清除原有策略|
ipvsadm -A -t 12.0.0.1:80 -s rr
ipvsadm -a -t 12.0.0.1:80 -r 192.168.80.11:80 -m [-w 1]
ipvsadm -a -t 12.0.0.1:80 -r 192.168.80.12:80 -m [-w 1]
Ipvsadm #启用策略
ipvsadm -ln #查看节点状态,Masq代表NAT模式
ipvsadm-save > /etc/sysconfig/ ipvsadm #保存策略
ipvsadm -d -t 12.0.0.1:80 -r 192.168.80.11:80 #删除群集中某一节点服务器
ipvsadm -D -t 12.0.0.1:80 #删除整个虚拟服务器
systemctl stop ipvsadm #停止服务(清除策略)
systemctl start ipvsadm #启动服务( 重建规则)
ipvsadm-restore < /etc/ sysconfig/ ipvsadm #恢复LVS策略
4.测试效果
在一 台IP为12.0.0.12的客户机使用浏览器访问http://12.0.0.1/ ,不断刷新浏览器测试负载均衡效果,刷新间隔需长点。
可以查到网页 等待一会 可以自动跳转到另一个页面
八、总结
ipvs iptables 底层都是用的nat转换技术,都是属于内核态netfilter
ipvs转发性能更好一些。
相对iptables管理的策略更少,iptables读取策略是按照规则表从上往下依次读取,而ipvs是直接根据分发策略转发
LVS 3种模式NAT DR IP-TUNNEL
NAT模式会把调度器当做客户端访问的入口,也把调度器当做服务器回应客户端的访问出口,调度器将会成为整个负载均衡群集的瓶颈。
DR IP-TUNNEL
会把调度器当做客户端访问的入口,调度器会把请求转发给节点服务器,节点服务器回应是直接发送给客户端而不经过调度器。
LVS的转发是属于4层转发。就是说是基于IP+端口的转发,而且负载均衡性能是最好的
LVS调度算法(策略) : rr轮询wrr加权轮询 lc最少连接 wlc加权 最少连接sh源地址哈希 dh 目的地址哈希lblc
要支持LVS的使用得加载ip_ vs模块。modprobe ip _vs
ipvs所有模块在/usr/lib/modules/3. 10.0-693.el7.x86_ _64/kernel/net/netfilter/ipvs/ 目录中
可以用ls 1 grep -o "^[^.]*" 去匹配模块名