负载均衡原理及LVS-NAT的部署

集群和分布式

系统性能扩展方式:

  • Scale UP:垂直扩展,向上扩展,增强,性能更强的计算机运行同样的服务

  • Scale Out:水平扩展,向外扩展,增加设备,并行地运行多个服务调度分配问题,Cluster

垂直扩展不再提及:

随着计算机性能的增长,其价格会成倍增长

单台计算机的性能是有上限的,不可能无限制地垂直扩展,多核CPU意味着即使是单台计算机也可以并行的。那么,为什么不一开始就并行化技术?

 集群 Cluster

Cluster:集群,为解决某个特定问题将多台计算机组合起来形成的单个系统

Cluster分为三种类型:

  • LB: Load Balancing,负载均衡,多个主机组成,每个主机只承担一部分访问请求

  • HA: High Availiablity,高可用,避免 SPOF(single Point Of failure)

  • HPC: High-performance computing,高性能

MTBF:Mean Time Between Failure 平均无故障时间,正常时间
MTTR:Mean Time To Restoration( repair)平均恢复前时间,故障时间
A = MTBF /(MTBF+MTTR) (0,1):99%,99.5%,99.9%,99.99%,99.999%

SLA:服务等级协议(简称:SLA,全称:service level agreement)。是在一定开销下为保障服
务的性能和可用性,服务提供商与用户间定义的一种双方认可的协定。通常这个开销是驱动提供服
务质量的主要因素。在常规的领域中,总是设定所谓的三个9,四个9来进行表示,当没有达到这
种水平的时候,就会有一些列的惩罚措施,而运维,最主要的目标就是达成这种服务水平。

1年 = 365天 = 8760小时
90 = (1-90%)*365=36.5天
99 = 8760 * 1% = 87.6小时
99.9 = 8760 * 0.1% = 8760 * 0.001 = 8.76小时
99.99 = 8760 * 0.0001 = 0.876小时 = 0.876 * 60 = 52.6分钟
99.999 = 8760 * 0.00001 = 0.0876小时 = 0.0876 * 60 = 5.26分钟
99.9999= (1-99.9999%)*365*24*60*60=31秒

#停机时间又分为两种,一种是计划内停机时间,一种是计划外停机时间,而运维则主要关注计划外停机时间。


#轮询(Round Robin):将收到的访问请求按照顺序轮流分配给群集中的各节点,均 等地对待每台服务器,而不管服务器实际的连接数和系统负载。 

#加权轮询(Weighted Round Robin):根据调度器设置的权重值来分发请求,权重 值高的节点优先获得任务并且分配的请求越多,这样可以保证性能高的节点承担更 多请求。 

#最少连接(Least Connections):根据真实服务器已建立的连接数进行分配,将收 到的访问请求优先分配给连接数最少的节点。如果所有的服务器节点性能相近,采用这种方式可以更好地均衡负载。 

#加权最少连接(Weighted Least Connections):在服务器节点的性能差异较大的 情况下,调度器可以根据节点服务器负载自动调整权重,权重较高的节点将承担更 大比例的活动连接负载。 

#IP_Hash根据请求来源的IP地址进行Hash计算,得到后端服务器,这样来自同一个IP的请求总是会落到同一台服务器上处理,以致于可以将请求上下文信息存储在这个服务器上,

#url_hash 按访问url的hash结果来分配请求,使每个url定向到同一个后端服务器,后端服务器为缓存时比较有效。具体没研究过

#fair采用的不是内建负载均衡使用的轮换的均衡算法,而是可以根据页面大小、加载时间长短智能的进行负载均衡。也就是根据后端服务器时间来分配用户请求,响应时间短的优先分配

分布式系统

分布式存储:Ceph,GlusterFS,FastDFS,MogileFS

分布式计算:hadoop,Spark

分布式常见应用

  • 分布式应用-服务按照功能拆分,使用微服务(单一应用程序划分成一组小的服务,服务之间互相协调、互相配合,为用户提供最终价值服务)

  • 分布式静态资源--静态资源放在不同的存储集群上

  • 分布式数据和存储--使用key-value缓存系统

  • 分布式计算--对特殊业务使用分布式计算,比如Hadoop集群

集群和分布式

集群:同一个业务系统,部署在多台服务器上。集群中,每一台服务器实现的功能没有差别,数据和代码都是一样的。

分布式:一个业务被拆成多个子业务,或者本身就是不同的业务,部署在多台服务器上。分布式中,每一台服务器实现的功能是有差别的,数据和代码也是不一样的,分布式每台服务器功能加起来,才是完整的业务。

 

分布式是以缩短单个任务的执行时间来提升效率的,而集群则是通过提高单位时间内执行的任务数来提升效率。

对于大型网站,访问用户很多,实现一个群集,在前面部署一个负载均衡服务器,后面几台服务器完成
同一业务。如果有用户进行相应业务访问时,负载均衡器根据后端哪台服务器的负载情况,决定由给哪
一台去完成响应,并且一台服务器垮了,其它的服务器可以顶上来。分布式的每一个节点,都完成不同
的业务,如果一个节点垮了,那这个业务可能就会失败

 集群设计原则

可扩展性—集群的横向扩展能力

可用性—无故障时间 (SLA service level agreement)

性能—访问响应时间

容量—单位时间内的最大并发吞吐量(C10K 并发问题)

企业群集分类

(一)根据群集所针对的目标差异,可分为三种类型

1、负载均衡群集
2、高可用群集
3、高性能运算群集

(二)负载均衡群集

1、提高应用系统的响应能力、尽可能处理更多的访问请求、减少延迟为目标,获得高并发、高负载(LB)的整体性能
2、LB的负载分配依赖于主节点的分流算法,将来自客户机的访问请求分担给多个服务器节点,从而缓解整个系统的负载

(三)高可用群集

1、提高应用系统的可靠性、尽可能地减少中断时间为目标,确保服务的连续性,达到高可用(HA) 的容错效果
2、HA的工作方式包括双工和主从两种模式,双工即所有节点同时在线;主从则只有主节点在线,但当出现故障时从节点能自动切换为主节点。
例如:“故障切换”、“双机热备” 等

(四)高性能运算群集

1、以提高应用系统的CPU运算速度、扩展硬件资源和分析能力为目标,获得相当于大型、超级计算机的高性能运算(HPC)能力
2、高性能依赖于"分布式运算”、“并行计算” , 通过专用硬件和软件将多个服务器的CPU、内存等资源整合在一起,实现只有大型、超级计算机才具备的计算能力

负载均衡群集架构

(一)根据群集所针对的目标差异,可分为三种类型

第一层,负载调度器

访问整个群集系统的唯一入口, 对外使用所有服务器共有的VIP地址,也称为群集IP地址。通常会配置主、备两台调度器实现热备份,当主调度器失效以后能够平滑替换至备用调度器,确保高可用性。

第二层,服务器池

群集所提供的应用服务、由服务器池承担,其中每个节点具有独立的RIP地址(真实IP),只处理调度器分发过来的客户机请求。当某个节点暂时失效时,负载调度器的容错机制会将其隔离,等待错误排除以后再重新纳入服务器池。

第三层,共享存储

为服务器池中的所有节点提供稳定、一致的文件存取服务, 确保整个群集的统一性共享存储可以使用NAS设备,或者提供NFS共享服务的专用服务器。

负载均衡群集工作模式分析

1、负载均衡群集是目前企业用得最多的群集类型
2、群集的负载调度技术有3种工作模式
●地址转换(NAT模式)
●IP隧道(TUN模式)
●直接路由(DR模式)

LVS集群类型中的术语

  • VS:Virtual Server,Director Server(DS), Dispatcher(调度器),Load Balancer(lvs服务器)

  • RS:Real Server(lvs), upstream server(nginx), backend server(haproxy)(真实服务器)

  • CIP:Client IP(客户机IP)

  • VIP:Virtual serve IP VS外网的IP

  • DIP:Director IP VS内网的IP

  • RIP:Real server IP (真实IP)

 

 

三种负载调度工作模式

(一)NAT模式

1、地址转换

● Network Address Translation,简称NAT模式
● 类似于防火墙的私有网络结构,负载调度器作为所有服务器节点的网关,即作为客户机的访问入口,也是各节点回应客户机的访问出口
● 服务器节点使用私有IP地址,与负载调度器位于同一个物理网络,安全性要优于其他两种方式

 

 

(二)TUN模式

1、IP隧道

● IP Tunnel,简称TUN模式
● 采用开放式的网络结构,负载调度器仅作为客户机的访问入口,各节点通过各自的Internet连接直接回应客户机,而不再经过负载调度器
● 服务器节点分散在互联网中的不同位置,具有独立的公网IP地址,通过专用IP隧道与负载调度器相互通信

 (三)DR模式

1、直接路由

● Direct Routing,简称DR模式
● 采用半开放式的网络结构,与TUN模式的结构类似,但各节点并不是分散在各地,而是与调度器位于同一个物理网络
● 负载调度器与各节点服务器通过本地网络连接,不需要建立专用的IP隧道

LVS工作模式总结和比较

NATTUNDR
优点端口转换WAN性能最好
缺点性能瓶颈服务器支持隧道模式不支持跨网段
真实服务器要求anyTunnelingNon-arp device
支持网络private(私网)LAN/WAN(私网/公网)LAN(私网)
真实服务器数量low (10~20)High (100)High (100)
真实服务器网关lvs内网地址Own router(网工定义)Own router(网工定义)

LVS虚拟服务器

(一)Linux Virtual Server

● 针对Linux内核开发的负载均衡解决方案
● 1998年5月,由我国的章文嵩博士创建
● 官方网站: http://www.linuxvirtualserver.orgl
● LVS 实际上相当于基于IP地址的虚拟化应用, 为基于IP地址和内容请求分发的负载均衡提出了一种高效的解决方法

(二)LVS

LVS现在已成为Linux内核的一部分,默认编译为ip_ vs模块,必要时能够自动调用。在CentOS 7系统中,以下操作可以手动加载ip_ vs模块,并查看当前系统中ip_ vs模块的版本信息。

modprobe ip_vs
cat /proc/net/ip_vs    #确认内核对LVS的支持

LVS的负载调度算法

1、轮询(Round Robin)

● 将收到的访问请求按照顺序轮流分配给群集中的各节点(真实服务器) ,均等地对待每一台服务器 ,而不管服务器实际的连接数和系统负载

2、加权轮询 (Weighted Round Robin)

● 根据调度器设置的权重值来分发请求,权重值高的节点优先获得任务,分配的请求数越多
● 保证性能强的服务器承担更多的访问流量

3、最少连接 (Least Connections )

● 根据真实服务器已建立的连接数进行分配,将收到的访问请求优先分配给连接数最少的节点

4、加权最少连接(Weighted L east Connections )

● 在服务器节点的性能差异较大时,可以为真实服务器自动调整权重
● 性能较高的节点将承担更大比例的活动连接负载

七、LVS群集创建与管理

(一)步骤

1、创建虚拟服务器
2、添加、删除服务器节点
3、查看群集及节点情况
4、保存负载分配策略

(二)ipvsadm工具选项说明

-A: 添加虚拟服务器
-D: 删除整个虚拟服务器
-s: 指定负载调度算法(轮询: rr、加权轮询: wrr、最少连接: lc、加权最少连接: wlc)
-a: 添加真实服务器(节点服务器)
-d: 删除某一个节点
-t: 指定VIP地址及TCP端口
-r: 指定RIP地址及TCP端口
-m: 表示使用NAT群集模式
-g: 表示使用DR模式
-i: 表示使用TUN模式
一w: 设置权重(权重为0时表示暂停节点)
-p 60: 表示保持长连接60秒
-l: 列表查看 LVS虚拟服务器(默认为查看所有)
-n: 以数字形式显示地址、端口等信息,常与"-l“选项组合使用。ipvsadm -ln

NAT模式 LVS负载均衡部署

环境部署

LVS负载调度器::ens33:192.168.159.101   ens36:192.168.10.100 ( vmnet1)

web节点服务器1:192.168.159.102

web节点服务器2:192.168.159.103

客户端( win10) : 192.168.10.10 ( vmnet1)


win10虚拟机(客户端)网关设置为192.168.10.100

web服务器网关设置为192.168.159.2

LVS负载调度器配置:

 cd /etc/sysconfig/network-scripts/
 ifconfig 
 cp -p ifcfg-ens33  ifcfg-ens36 
#拷贝模板
 vim ifcfg-ens36

 

 

配置负载调度器LVS 

配置SNAT转发规则

root@lvs ~]# vim /etc/sysctl.conf    #调整/proc相应参数
[root@lvs ~]# sysctl -p
net.ipv4.ip_forward = 1
[root@lvs ~]# systemctl start firewalld.service   #开启防火墙
[root@lvs ~]# iptables -t nat -F        #清空nat表内的规则
[root@lvs ~]# iptables -F               #全部清空规则
[root@lvs ~]# iptables -t nat -nL       #查看
[root@lvs ~]# iptables -t nat -A POSTROUTING -s 192.168.159.0/24 -o ens36 -j SNAT --to-source 192.168.10.100
# http服务器的流量通过ens36接口,把192.168.159.0网段通过LVS映射192.168.10.100
   nat表:修改数据包中的源、目标IP地址或漏口
   POSTROUTING:在进行路由判断之"后"所要进行的规则(SNAT/MASQUERADE)
   PREROUTING:在进行路由判断 
     之"前"所要进行的规则(DNAT/REDIRECT)
   -A:在规则链的末尾加入新规则
   -s:匹配来源地址IP/MASK.
   -o 网卡名称匹配从这块网卡流出的数据-i网卡名称匹配从这块网卡流入的数据-控制类型

加载LVS内核模块 


[root@lvs ~]# modprobe ip_vs            #手动加载ip_vs模块
[root@lvs ~]# cat /proc/net/ip_vs       #查看ip_vs版本信息
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port Forward Weight ActiveConn InActConn

 安装ipvsadm管理工具

[root@lvs ~]# yum install -y ipvsadm
#启动服务前必须保存负载分配策略,否则会报错
[root@lvs ~]# ipvsadm-save > /etc/sysconfig/ipvsadm
              或
               ipvsadm --save > /etc/sysconfig/ipvsadm
              或
               touch /etc/sysconfig/ipvsadm
[root@lvs ~]# systemctl start ipvsadm.service     #开启管理工具

配置负载分配策略(NAT模式只要在服务器上配置,节点服务器不需要特殊配置)

[root@lvs ~]# cd /opt
[root@lvs opt]# vim nat.sh
#!/bin/bash
ipvsadm -C    #清除原策略
ipvsadm -A -t 192.168.10.100:80 -s rr
ipvsadm -a -t 192.168.10.100:80 -r 192.168.159.102:80 -m -w 1
ipvsadm -a -t 192.168.10.100:80 -r 192.168.159.103:80 -m -w 1

-A 添加虚拟服务器
-s 指定负载调度算法〈(轮询:rr、加权轮询: wrr、最少连接:lc、加权最少连接: wlc )
-a表示添加真实服务器(后端节点服务器)
-t指定VIP地址及TCP端口
-m表示使用NAT群集模式.
-w设置权重(权重为o时表示暂停节点)


 
[root@lvs opt]# chmod +x nat.sh
[root@lvs opt]# ./nat.sh
[root@lvs opt]# ipvsadm     #启动策略
 IP Virtual Server version 1.2.1 (size=4096)
 Prot LocalAddress:Port Scheduler Flags
   -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
 TCP  lvs:http rr
   -> 192.168.159.20:http          Masq    1      0          0         
   -> 192.168.159.50:http          Masq    1      0          0         
[root@lvs opt]# ipvsadm -ln   #查看节点状态,Masa代表NAT模式
 IP Virtual Server version 1.2.1 (size=4096)
 Prot LocalAddress:Port Scheduler Flags
   -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
 TCP  192.168.10.100:80 rr
   -> 192.168.159.20:80            Masq    1      0          0         
   -> 192.168.159.50:80            Masq    1      0          0         
[root@lvs opt]# ipvsadm-save > /etc/sysconfig/ipvsadm

配置两台web节点服务器

两台服务器 关闭防火墙、添加地址映射

[root@localhost ~]# systemctl stop firewalld.service 
[root@localhost ~]# systemctl disable firewalld.service 
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
[root@localhost ~]# setenforce 0




[root@localhost ~]# vim /etc/reslove.conf
nameserver 114.114.114.114

节点服务器1 配置

[root@localhost ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=05f93885-314c-4074-8b9b-16cf5ee422fd
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.159.102
NETMASK=255.255.255.0
GATEWAY=192.168.159.101   #这是lvs的ens33网卡,是web服务器的网关
[root@localhost ~]# systemctl restart network
[root@localhost ~]# yum install -y httpd
[root@localhost ~]# cd /var/www/html/
[root@localhost html]# vim index.html
[root@localhost html]# cat index.html
this is web1
[root@localhost html]# systemctl start httpd
[root@localhost html]# curl 192.168.159.102
this is web1
[root@localhost ~]# yum install -y httpd
[root@localhost ~]# cd /var/www/html/
[root@localhost html]# vim index.html
[root@localhost html]# cat index.html
this is web1
[root@localhost html]# systemctl start httpd
[root@localhost html]# curl 192.168.159.102

 

节点服务器2 配置


[root@localhost ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=06dd2bfb-3322-46c6-a0e7-79ee0fa7d348
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.159.103
NETMASK=255.255.255.0
GATEWAY=192.168.159.101  #这是lvs的ens33网卡,是web服务器的网关


[root@localhost ~]# systemctl restart network

[root@localhost ~]# yum install -y httpd
[root@localhost ~]# cd /var/www/html/
[root@localhost html]# vim index.html
[root@localhost html]# cat index.html
this is web2
[root@localhost html]# systemctl start httpd
[root@localhost html]# curl 192.168.159.103
this is web2

 

客户端win10配置

 

测试LVS群集

    打开浏览器访问192.168.100.100,将看到由真实服务器提供的网页内容,如果各节点的网页不同,则不同客户机看到的网页也不同(刷新查看效果)

 

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值