目录
2、负载均衡群集(Load Balance Cluster)
3、高可用群集(High Availability Cluster)
4、高性能运算群集(High Performance Computer Cluster)
前言
在各种互联网应用中,随着站点对硬件性能、响应速度、服务稳定性、数据可靠性等的要求越来越高,单台服务器将难以承担所有的访问。除了使用价格昂贵的大型机、专用负载分流设备以外,企业还有另外一种选择来解决难题,那就是构建集群服务器——通过整合多台相对廉价的普通服务器,以同一个地址对外提供相同的服务。
一、企业群集应用概述
1、群集的含义
Cluster,集群、群集;
由多台主机构成,但对外只表现为一个整体
二、企业群集分类
1、根据群集所针对的目标差异,可分为三种类型
负载均衡群集
高可用群集
高性能运算群集
2、负载均衡群集(Load Balance Cluster)
提高应用系统的响应能力、尽可能处理更多的访问请求、减少延迟为目标,获得高并发、高负载(LB)的整体性能;
LB的负载分配依赖于主节点的分流算法,将来自客户机的访问请求分担给多个服务器节点,从而缓解整个系统的负载
3、高可用群集(High Availability Cluster)
提高应用系统的可靠性、尽可能地减少中断时间为目标,确保服务的连续性,达到高可用(HA)的容错效果;
HA的工作方式包括双工和主从两种模式,双工即所有节点同时在线;主从则只有主节点在线,但当出现故障时从节点能自动切换为主节点。例如:"故障切换"、"双机热备”等
4、高性能运算群集(High Performance Computer Cluster)
提高应用系统的CPU运算速度、扩展硬件资源和分析能力为目标,获得相当于大型、超级计算机的高性能运算(HPC)能力;
高性能依赖于“分布式运算”、“并行计算”,通过专用硬件和软件将多个服务器的CPU、内存等资源整合在一起,实现只有大型、超级计算机才具备的计算能力
三、负载均衡群集架构
1、负载均衡的结构
第一层,负载调度器(Load Balancer或Director) 访问整个群集系统的唯一入口,
对外使用所有服务器共有的VIP地址,也称为群集IP地址。通常会配置主、备两台调度器实现热备份,当主调度器失效以后能够平滑替换至备用调度器,确保高可用性。
第二层,服务器池(server Pool)
群集所提供的应用服务、由服务器池承担,其中每个节点具有独立的RIP地址(真实IP),只处理调度器分发过来的客户机请求。当某个节点哲时失效时,负载调度器的容错机制会将其隔离,等待错误排除以后再重新纳入服务器池。
第三层,共享存储(share storage)
为服务器池中的所有节点提供稳定、一致的文件存取服务,确保整个群集的统一性共享存储可以使用NAS设备,或者提供NFS共享服务的专用服务器。
四、负载均衡群集工作模式分析
负载均衡群集是目前企业用得最多的群集类型
1、群集的负载调度技术有三种工作模式
地址转换
· IP隧道
直接路由
2、地址转换
Network Address Translation,简称NAT模式;
类似于防火墙的私有网络结构,负载调度器作为所有服务器节点的网关,即作为客户机的访问入口,也是各节点回应客户机的访问出口;
服务器节点使用私有IP地址,与负载调度器位于同一个物理网络,安全性要优于其他两种方式
3、IP隧道
lPTunnel,简称TUN模式;
采用开放式的网络结构,负载调度器仅作为客户机的访问入口,各节点通过各自的lnternet连接直接回应客户机,而不再经过负载调度器;
服务器节点分散在互联网中的不同位置,具有独立的公网IP地址,通过专用IP隧道与负载调度器相互通信
4、直接路由
Direct Routing,简称DR模式;
采用半开放式的网络结构,与TUN模式的结构类似,但各节点并不是分散在各地,而是与调度器位于同一个物理网络;
负载调度器与各节点服务器通过本地网络连接,不需要建立专用的IP隧道
小结:
Lvs不太适合小型的集群工作模式区别 NAT模式 TUN模式 DR模式(nat相比较为复杂)
real server节点服务器
server number节点数量 low10-20 high 100 high 100
真实网关(real servers) 负载调度器 自由路由器 自由路由器
IP地址 公网+私网 公网 私网
优点 安全性高 安全、速度快 性能最好
缺点 效率低、压力大 需要隧道支持 不能跨越lan(局域网)
交换机中配置VXLAN
五、LVS虚拟服务器
Linux Virtual Server(LVS)是针对 Linux 内核开发的一个负载均衡项目,由我国的章文嵩博士在1998年5月创建。
LVS本身工作在四层,nginx工作在四、七层均可
1、LVS的负载调度算法
1-1、轮询(Round Robin)
将收到的访问请求按照顺序轮流分配给群集中的各节点(真实服务器),均等地对待每一台服务器,而不管服务器实际的连接数和系统负载
1-2、加权轮询(Weighted Round Robin)
根据调度器设置的权重值来分发请求,权重值高的节点优先获得任务,分配的请求数越多
保证性能强的服务器承担更多的访问流量
1-3、最少连接(Least Connections)
根据真实服务器已建立的连接数进行分配,将收到的访问请求优先分配给连接数最少的节点
1-4、加权最少连接(Weighted Least Connections)
在服务器节点的性能差异较大时,可以为真实服务器自动调整权重性能较高的节点将承担更大比例的活动连接负载
六、LVS群集创建与管理
1、步骤
创建虚拟服务器
添加、删除服务器节点
查看群集及节点情况
保存负载分配策略
2、LVS的管理工具-ipvsadm
ipvsadm工具选项说明
-A 添加虚拟服务器
-D 删除整个虚拟服务器
-s 指定负载调度算法 (轮询:rr、加权轮询: wrr、最少连接: lc、加权最少连接: wlc )
-a 表示添加真实服务器 (节点服务器)
-d 删除某一个节点
-t 指定 VIP地址及 TCP端口
-r 指定 RIP地址及 TCP端口
-m 表示使用 NAT群集模式.
-g 表示使用 DR模式
-i 表示使用 TUN模式
-w 设置权重 (权重为 0 时表示暂停节点)
-p 60 表示保持长连接60秒
-l 列表查看 LVS 虚拟服务器 (默认为查看所有)
-n 以数字形式显示地址、端口等信息,常与 “-l” 选项组合使用;ipvsadm -ln
3、实际案例
环境:LVS调度器作为web服务器池的网关,LVS具有两块网卡,分别连接内外网,使用轮询(rr)调度算法。
七、NAT模式——LVS负载均衡群集部署
1、设备部署
LVS负载调度器::ens33:192.168.159.11 ens37:192.168.10.100 ( vmnet1)
web节点服务器1:192.168.159.20
web节点服务器2:192.168.159.50
客户端( win10) : 192.168.10.10 ( vmnet1)
PS:
win10虚拟机(客户端)网关设置为192.168.10.100web服务器网关设置为192.168.159.2
LVS负载调度器配置:
2、配置负载调度器LVS
2-1、配置SNAT转发规则
[root@lvs ~]# vim /etc/sysctl.conf #调整/proc相应参数
[root@lvs ~]# sysctl -p
net.ipv4.ip_forward = 1
[root@lvs ~]# systemctl start firewalld.service #开启防火墙
[root@lvs ~]# iptables -t nat -F #清空nat表内的规则
[root@lvs ~]# iptables -F #全部清空规则
[root@lvs ~]# iptables -t nat -nL #查看
[root@lvs ~]# iptables -t nat -A POSTROUTING -s 192.168.159.0/24 -o ens37 -j SNAT --to-source 192.168.10.100
# http服务器的流量通过ens37接口,把192.168.159.0网段通过LVS映射192.168.10.100
nat表:修改数据包中的源、目标IP地址或漏口
POSTROUTING:在进行路由判断之"后"所要进行的规则(SNAT/MASQUERADE)
PREROUTING:在进行路由判断
之"前"所要进行的规则(DNAT/REDIRECT)
-A:在规则链的末尾加入新规则
-s:匹配来源地址IP/MASK.
-o 网卡名称匹配从这块网卡流出的数据-i网卡名称匹配从这块网卡流入的数据-控制类型
2-2、加载LVS内核模块
[root@lvs ~]# modprobe ip_vs #手动加载ip_vs模块
[root@lvs ~]# cat /proc/net/ip_vs #查看ip_vs版本信息
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
2-3、安装ipvsadm管理工具
[root@lvs ~]# yum install -y ipvsadm
#启动服务前必须保存负载分配策略,否则会报错
[root@lvs ~]# ipvsadm-save > /etc/sysconfig/ipvsadm
或
ipvsadm --save > /etc/sysconfig/ipvsadm
或
touch /etc/sysconfig/ipvsadm
[root@lvs ~]# systemctl start ipvsadm.service #开启管理工具
2-4、配置负载分配策略(NAT模式只要在服务器上配置,节点服务器不需要特殊配置)
[root@lvs ~]# cd /opt
[root@lvs opt]# vim nat.sh
#!/bin/bash
ipvsadm -C
ipvsadm -A -t 192.168.10.100:80 -s rr
ipvsadm -a -t 192.168.10.100:80 -r 192.168.159.20:80 -m -w 1
ipvsadm -a -t 192.168.10.100:80 -r 192.168.159.50:80 -m -w 1
[root@lvs opt]# chmod +x nat.sh
[root@lvs opt]# ./nat.sh
[root@lvs opt]# ipvsadm #启动策略
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP lvs:http rr
-> 192.168.159.20:http Masq 1 0 0
-> 192.168.159.50:http Masq 1 0 0
[root@lvs opt]# ipvsadm -ln #查看节点状态,Masa代表NAT模式
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.10.100:80 rr
-> 192.168.159.20:80 Masq 1 0 0
-> 192.168.159.50:80 Masq 1 0 0
[root@lvs opt]# ipvsadm-save > /etc/sysconfig/ipvsadm
3、配置两台web节点服务器
3-1、关闭防火墙、添加地址映射
[root@localhost ~]# systemctl stop firewalld.service
[root@localhost ~]# systemctl disable firewalld.service
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
[root@localhost ~]# setenforce 0
[root@localhost ~]# vim /etc/reslove.conf
nameserver 114.114.114.114
3-2、web节点服务器1
[root@localhost ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=50d9c4f8-cb5f-4314-b9a0-285466f54279
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.159.20
NETMASK=255.255.255.0
GATEWAY=192.168.159.11 #这是lvs的ens33网卡,是web服务器的网关
[root@localhost ~]# systemctl restart network
[root@localhost ~]# yum install -y httpd
[root@localhost ~]# cd /var/www/html/
[root@localhost html]# vim index.html
[root@localhost html]# cat index.html
this is web1
[root@localhost html]# systemctl start httpd
[root@localhost html]# curl 192.168.159.20
this is web1
3-2、web节点服务器2
[root@localhost ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=b12b159c-185f-4a82-9dc7-f7c2a4fd25eb
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.159.50
NETMASK=255.255.255.0
GATEWAY=192.168.159.11 #这是lvs的ens33网卡,是web服务器的网关
[root@localhost ~]# systemctl restart network
[root@localhost ~]# yum install -y httpd
[root@localhost ~]# cd /var/www/html/
[root@localhost html]# vim index.html
[root@localhost html]# cat index.html
this is web1
[root@localhost html]# systemctl start httpd
[root@localhost html]# curl 192.168.159.50
this is web2
4、win10配置
5、测试LVS群集
打开 win10使用浏览器访问192.168.100.100,将看到由真实服务器提供的网页内容,如果各节点的网页不同,则不同客户机看到的网页可能也不同(可多次刷新查看效果)。
总结
LVS实际上相当于基于IP地址的虚拟化应用,为基于IP地址和内容请求分发的负载均衡提出了一种高效的解决方法。