lvs集群

目录

系统性能扩展方式

集群

Linux Virtual Server简介

LVS集群的工作模式

LVS 调度算法

ipvsadm 工具

---

系统性能扩展方式

• Scale UP：垂直扩展，向上扩展,增强，性能更强的计算机运行同样的服务

• Scale Out：水平扩展，向外扩展,增加设备，并行地运行多个服务调度分配问题，Cluster

垂直扩展不再提及：

随着计算机性能的增长，其价格会成倍增长

单台计算机的性能是有上限的，不可能无限制地垂直扩展，多核CPU意味着即使是单台计算机也可以并行的。那么，为什么不一开始就并行化技术？

集群

Cluster：集群,为解决某个特定问题将多台计算机组合起来形成的单个系统

Cluster分为三种类型：

• LB： Load Balancing，负载均衡，多个主机组成，每个主机只承担一部分访问请求

• HA： High Availiablity，高可用，避免 SPOF（single Point Of failure）

• HPC： High-performance computing，高性能

集群：同一个业务系统，部署在多台服务器上。集群中，每一台服务器实现的功能没有差别，数据和代码都是一样的。

分布式：一个业务被拆成多个子业务，或者本身就是不同的业务，部署在多台服务器上。分布式中，每一台服务器实现的功能是有差别的，数据和代码也是不一样的，分布式每台服务器功能加起来，才是完整的业务。

Linux Virtual Server简介

LVS介绍

LVS：Linux Virtual Server，负载调度器，内核集成，章文嵩（花名正明）, 阿里的四层SLB(Server Load Balance)是基于LVS+keepalived实现

LVS 功能及组织架构

负载均衡的应用场景为高访问量的业务，提高应用程序的可用性和可靠性。

应用于高访问量的业务

如果您的应用访问量很高，可以通过配置监听规则将流量分发到不同的云服务器 ECS（Elastic Compute Service 弹性计算服务）实例上。此外，可以使用会话保持功能将同一客户端的请求转发到同一台后端ECS

扩展应用程序

可以根据业务发展的需要，随时添加和移除ECS实例来扩展应用系统的服务能力，适用于各种Web服务器和App服务器。

消除单点故障

可以在负载均衡实例下添加多台ECS实例。当其中一部分ECS实例发生故障后，负载均衡会自动屏蔽故障的ECS实例，将请求分发给正常运行的ECS实例，保证应用系统仍能正常工作

同城容灾 （多可用区容灾）

为了提供更加稳定可靠的负载均衡服务，阿里云负载均衡已在各地域部署了多可用区以实现同地域容灾。当主可用区出现机房故障或不可用时，负载均衡仍然有能力在非常短的时间内（如：大约30s中断）切换到另外一个备可用区恢复服务能力；当主可用区恢复时，负载均衡同样会自动切换到主可用区提供服务。使用负载均衡时，您可以将负载均衡实例部署在支持多可用区的地域以实现同城容灾。此外，建议您结合自身的应用需要，综合考虑后端服务器的部署。如果您的每个可用区均至少添加了一台ECS实例，那么此种部署模式下的负载均衡服务的效率是最高的。

LVS集群类型中的术语

• VS（代理服务器）：Virtual Server，Director Server(DS), Dispatcher(调度器)，Load Balancer（lvs服务器）

• RS（真实服务器）：Real Server(lvs), upstream server(nginx), backend server(haproxy)（真实服务器）

• CIP：Client IP（客户机IP） 客户机的ip

• VIP：Virtual serve IP VS外网的IP 代理服务器的 外网ip

• DIP：Director IP VS内网的IP 代理服务器的 内网ip

• RIP：Real server IP （真实IP） 真实服务器的 ip地址

访问流程：CIP <--> VIP == DIP <--> RIP

LVS集群的工作模式

• lvs-nat：修改请求报文的目标IP,多目标IP的DNAT

• lvs-dr：操纵封装新的MAC地址（直接路由）

• lvs-tun：隧道模式

LVS的NAT模式

1.当客户端 发起请求报文是：

源ip：客户端的ip地址 (cip)

目的地址: vip(代理服务器的外网地址)

2.当数据包到达我们的代理服务器 源ip不变 需要修改目的ip及端口号

源ip：客户端的ip地址 (cip)

目的地址: rip （后端真实服务器）

3.真实服务器收到后，构建响应报文

源ip：改成真实服务器自己的ip（vip是内网地址）

目的地址: cip （外网客户端地址）

4.再发给代理服务器 ，代理服务器会修改 源ip将 内网地址改成外网地址

源ip：代理服务器的外网ip （vip）

目的地址: cip （外网客户端的地址）

直接路由

直接路由（Direct Routing）：简称 DR 模式，采用半开放式的网络结构，与 TUN

模式的结构类似，但各节点并不是分散在各地，而是与调度器位于同一个物理网络。

负载调度器与各节点服务器通过本地网络连接，不需要建立专用的 IP 隧道

直接路由，LVS默认模式,应用最广泛,通过请求报文重新封装一个MAC首部

进行转发，源MAC是DIP所在的接口的MAC，目标MAC是某挑选出的RS的RIP所在接口的MAC地址；源

IP/PORT，以及目标IP/PORT均保持不变

LVS 调度算法

分为两种

静态方法：不管后端服务器的状态 ，根据自身算法进行调度

动态方法：会根据后端服务器的状态进行调度

静态：

1、RR：roundrobin，轮询,较常用

2、WRR：Weighted RR，加权轮询,较常用 先算 总权重 如果没有设置权重 默认1 然后再用自己的权重 除以总权重

3、SH：Source Hashing，实现session sticky，源IP地址hash；将来自于同一个IP地址的请求始终发往第一次挑中的RS，从而实现会话绑定

4、DH：Destination Hashing；目标地址hash，第一次轮询调度至RS，后续将发往同一个目标地址的请求始终转发至第一次挑中的RS，典型使用场景是正向代理缓存场景中的负载均衡,如: Web缓存

动态：

一个参考值 来确定服务器是否忙 这个值 越小 代表服务器 越闲 就会优先调度给闲的服务器

主要根据每RS当前的负载状态及调度算法进行调度Overhead=value 较小的RS将被调度

1、LC：least connections 适用于长连接应用 最小连接数

Overhead=activeconns*256+inactiveconns
active  活跃
inactive  不活跃

2、WLC：Weighted LC，默认调度方法,较常用 加权最小连接数

Overhead=(activeconns*256+inactiveconns)/weight

3、SED：Shortest Expection Delay，初始连接高权重优先,只检查活动连接,而不考虑非活动连接

Overhead=(activeconns+1)*256/weight

4、NQ：Never Queue，第一轮均匀分配，后续SED

5、LBLC：Locality-Based LC，动态的DH算法，使用场景：根据负载状态实现正向代理,实现Web Cache等 检查服务器忙不忙

6、LBLCR：LBLC with Replication，带复制功能的LBLC，解决LBLC负载不均衡问题，从负载重的复制到负载轻的RS,,实现Web Cache等

ipvsadm 工具

ipvsadm 工具选项说明

-A: 添加虚拟服务器
-D: 删除整个虚拟服务器
-s: 指定负载调度算法(轮询: rr、加权轮询: wrr、最少连接: lc、加权最少连接: wlc)
-a: 添加真实服务器（节点服务器）
-d: 删除某一个节点
-t: 指定VIP地址及TCP端口
-r: 指定RIP地址及TCP端口
-m: 表示使用NAT群集模式
-g: 表示使用DR模式
-i: 表示使用TUN模式
一w: 设置权重(权重为0时表示暂停节点)
-p 60: 表示保持长连接60秒
-l: 列表查看 LVS虚拟服务器(默认为查看所有)
-n: 以数字形式显示地址、端口等信息，常与"-l“选项组合使用。ipvsadm -ln

#管理集群服务
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] [-M netmask] [--pe persistence_engine] [-b sched-flags]
ipvsadm -D -t|u|f service-address #删除
ipvsadm –C #清空
ipvsadm –R #重载,相当于ipvsadm-restore
ipvsadm -S [-n] #保存,相当于ipvsadm-save
#管理集群中的RS
ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight]  
ipvsadm -d -t|u|f service-address -r server-address
ipvsadm -L|l [options]
ipvsadm -Z [-t|u|f service-address]

Unit File: ipvsadm.service

主程序：/usr/sbin/ipvsadm
规则保存工具：/usr/sbin/ipvsadm-save
规则重载工具：/usr/sbin/ipvsadm-restore
配置文件：/etc/sysconfig/ipvsadm-config
ipvs调度规则文件：/etc/sysconfig/ipvsadm