一、概念:
LVS(Linux Virtual Server),是Linux Virtual Server的简写,也就是Linux 虚拟服务器,是一个虚拟的服务器集群系统负载均衡解决方案,它将一个真实服务器集群虚拟成一台服务器来对外提供服务,同时在真实服务器集群中实现了负载均衡。
意义:
随着互联网的发展日新月异,其用户呈爆发性增长,企业的用户访问量与数据等迅猛增加,曾经的单个机器搭建服务器已经更不上时代了,通过虚拟服务器可以实现以多个服务器为一个整体对外提供服务,每台服务器分担部分压力,理论上只要有钱,服务器买的够多,它可以无上限增长,以应对海量数据。
二、集群和分布式简介
1、Cluster集群:
集群,为解决某个特定问题将多台计算机组合起来形成的单个系统
系统性能扩展方式:
-
Scale UP:垂直扩展,向上扩展,增强,性能更强的计算机运行同样的服务
-
Scale Out:水平扩展,向外扩展,增加设备,并行地运行多个服务调度分配问题。
2、Cluster类型:
LB: Load Balancing,负载均衡,多个主机组成,每个主机只承担一部分访问请求。
HA: High Availiablity,高可用,避免 SPOF(single Point Of failure)。
MTBF:Mean Time Between Failure 平均无故障时间,正常时间 MTTR:Mean Time To Restoration( repair)平均恢复前时间,故障时间 A=MTBF/(MTBF+MTTR) (0,1):99%, 99.5%, 99.9%, 99.99%, 99.999% SLA:Service level agreement(服务等级协议)是在一定开销下为保障服务的性能和可用性,服 务提供商与用户间定义的一种双方认可的协定。通常这个开销是驱动提供服务质量的主要因素。在 常规的领域中,总是设定所谓的三个9,四个9来进行表示,当没有达到这种水平的时候,就会有一 些列的惩罚措施,而运维,最主要的目标就是达成这种服务水平。 停机时间又分为两种,一种是计划内停机时间,一种是计划外停机时间,而运维则主要关注计划外 停机时间 HPC:High
HPC: High-performance computing,高性能。
3、分布式:
分布式存储:Ceph,GlusterFs,FastDFS,MogileFs 分布式计算:hadoop,Spark 分布式常见应用 分布式应用-服务按照功能拆分,使用微服务
- 分布式静态资源--静态资源放在不同的存储集群上
- 分布式数据和存储--使用key-value缓存系统
- 分布式计算--对特殊业务使用分布式计算,比如Hadoop集群
三、lvs三种工作模式
NAT 地址转换
调度器会作为所以节点服务器的默认网关,也是客户端的访问入口和节点服务器返回响应消息的出口,也就是说调度器会承载双向数据流量的负载压力,可能会成为整个群集的性能瓶颈。由于节点服务器都处于内网环境,使用私网IP地址,所以具有一定安全性。
TUN IP隧道 IP Tunnel
调度器仅作为客户端的访问入口,节点服务器的响应消息是直接返回给客户端的,不需要经过调度器。但是由于节点服务器需要部署在不同位置的公网环境中,需要具有独立的公网IP,调度器与节点服务器是通过专用的IP隧道实现相互通信的,因此IP隧道模式的成本较高、安全性较低,且IP隧道需要额外的封装和解封装,性能会受到一定的影响。
DR 直接路由 Direct Routing
调度器仅作为客户端的访问入口,节点服务器的响应消息是直接返回给客户端的,不需要经过调度器。(与NAT模式的区别)
节点服务器与调度器是部署在同一个物理网络内,因此不需要建立专用的IP隧道。(与TUN模式的区别)
DR模式是企业首选的LVS模式。
ipvsadm命令配置:
-A: 添加虚拟服务器
-D: 删除整个虚拟服务器
-C: 清空所有
-R: 重新加载,同ipvsadm-restore
-s: 指定负载调度算法(轮询: rr、加权轮询: wrr、最少连接: lc、加权最少连接: wlc)
-a: 添加真实服务器(节点服务器)
-d: 删除某一个节点
-t: 指定VIP地址及TCP端口
-r: 指定RIP地址及TCP端口
-m: 表示使用NAT群集模式
-g: 表示使用DR模式
-i: 表示使用TUN模式
一w: 设置权重(权重为0时表示暂停节点)
-p 60: 表示保持长连接60秒
-l: 列表查看 LVS虚拟服务器(默认为查看所有)
-n: 以数字形式显示地址、端口等信息,常与"-l“选项组合使用。
ipvsadm使用yum安装即可
主程序:/usr/sbin/ipvsadm
规则保存工具:/usr/sbin/ipvsadm-save
规则重载工具:/usr/sbin/ipvsadm-restore
配置文件:/etc/sysconfig/ipvsadm-config
ipvs调度规则文件:/etc/sysconfig/ipvsadm
DR配置步骤:
DR模式,负载调度器接收到了客户端的请求,将客户端的请求发送给route路由,通过路由提供路径到lvs主机前往WEB服务器,WEB服务器处理好之后,通过路由把处理结果发回给客户端。
实验的环境:(使用的是红帽9.4镜像)
服务器名 | 角色 | IP |
lvs server | 主机 | 仅主机192.168.0.50 |
webserver1 | 真实服务器1rs | 仅主机192.168.0.10 |
webserver2 | 真实服务器2rs | 仅主机192.168.0.20 |
route | 路由 | 网卡一NAT172.25.254.100 网卡二仅主机192.168.0.100 |
client | 客户/测试机 | NAT172.25.254.200 |
lvs主机中
如果不知道位置(/etc/NetworkManager/system-connection/网卡配置文件)
配置好后使用nmcli connection reload
nmcli connection up 网卡 主机名(任意)启动
route配置
nat
仅主机网卡
webserver1
webserver2
同web1一样
client
步骤:
给lvs、rs1、rs2中添加一个回环vip地址ip addr add dev lo 192.168.0.200/32
安装ipvsadm
yum install ipvsadm -y
在rs1和rs2中解决响应问题,在两台机器中输入
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
lvs主机中设置调度策略
ipvsadm -A -t 192.168.0.200:80 -s wrr
ipvsadm -a -t 192.168.0.200:80 -r 192.168.0.10:80 -g -w 1
ipvsadm -a -t 192.168.0.200:80 -r 192.168.0.20:80 -g -w 2
这张图是做了防火墙,没做时只有轮换
防火墙标记
Yum install mod_ssl -y
在rs也就是web1,2中安装模块,支持https
下载后重启httpd
然后ipvsadm -C 删除所有
使用
iptables -t mangle -A PREROUTING -d 192.168.0.200 -p tcp -m multiport --dports 80,443 -j MARK --set-mark 66让防火墙标记
[root@lvs ~]# ipvsadm -A -f 66 -s rr
[root@lvs ~]# ipvsadm -a -f 66 -r 192.168.0.10 -g
[root@lvs ~]# ipvsadm -a -f 66 -r 192.168.0.20 -g
在client上curl 192.168.0.200;curl -k https://192.168.0.200
Yum install mod_ssl -y
在rs也就是web1,2中安装模块,支持https
下载后重启httpd
然后ipvsadm -C 删除所有
使用
iptables -t mangle -A PREROUTING -d 192.168.0.200 -p tcp -m multiport --dports 80,443 -j MARK --set-mark 66让防火墙标记
[root@lvs ~]# ipvsadm -A -f 66 -s rr
[root@lvs ~]# ipvsadm -a -f 66 -r 192.168.0.10 -g
[root@lvs ~]# ipvsadm -a -f 66 -r 192.168.0.20 -g
在client上curl 192.168.0.200;curl -k https://192.168.0.200