01 LVS负载均衡群集

1.1 LVS群集应用基础

群集的称呼来自于英文单词“Cluster"，表示一群、一串的意思，用在服务器领域则表示大量服务器的集合体，以区分于单个服务器。

1.1.1 群集技术概述

LVS（Linux Virtual Server）是Linux虚拟服务器的简称，是一个由章文嵩博士发起的自由软件项目。LVS工作在内核的TCP/IP协议栈上，采用IP负载均衡技术和基于内容请求分发技术，将请求均衡地转移到不同的服务器上执行，从而实现高性能、高可用的服务器集群。LVS已成为Linux标准内核的一部分，无需重新编译内核即可使用。

1.群集的类型

无论是哪种群集，都至少包括两台节点服务器，而对外表现为一个整体，只提供一个访问入口。根据群集所针对的目标差异，可分为以下三种类型。

• 负载均衡群集：以提高应用系统的响应能力、尽可能处理更多的访问请求、减少延迟为目标,获得高并发、高负载的整体性能
• 高可用群集;以提高应用系统的可靠性、尽可能地减少中断时间为目标，确保服务的连续性，达到高可用(H)的容错效果。
• 高性能运算群集:以提高应用系统的 CPU运算速度、扩展硬件资源和分析能力为目标，获得相当于大型、超级计算机的高性能运算(HPC)能力

2.负载均衡的分层结构

在典型的负载均衡群集中，包括三个层次的组件，如图1.1所示。前端至少有一个负载调度器(Load Balancer，或称为Director)负责响应并分发来自客户机的访问请求;后端由大量真实服务器(RealServer)构成服务器池(Server Pool)，提供实际的应用服务,整个群集的伸缩性通过增加、删除服务器节点来完成，而这些过程对客户机是透明的;为了保持服务的一致性，所有节点使用共享存储设备。

1.负载调度器（Load Balancer）

• 位于集群的最前端，负责接收并分发来自客户端的请求。
• 使用虚拟IP（VIP）地址对外提供服务，作为集群的单一入口点。
• 安装有LVS模块和监控模块（如Ldirectord），用于监控Real Server的健康状况。

2.服务器池（Server Pool）

• 由一组实际运行应用服务的服务器组成（Real Server）。
• 每个Real Server具有独立的真实IP（RIP）地址，只处理由调度器分发过来的请求。

3.共享存储（Shared Storage）

• 为服务器池中的所有节点提供一致的文件存储服务，确保服务的一致性。
• 通常使用NAS设备、NFS或集群文件系统（如GFS、OCFS2）实现。

3.负载均衡的工作模式

关于群集的负载调度技术，可以基于IP、端口、内容等进行分发，其中基于IP的负载调度是效率最高的。基于IP的负载均衡模式中，常见的有地址转换、IP 隧道和直接路由三种工作模式，如图1.2所示。

• 地址转换(Network Address Translation):简称 NAT 模式，类似于防火墙的私有网络结构，负载调度器作为所有服务器节点的网关，即作为客户机的访问入口，也是各节点回应客户机的访问出口。服务器节点使用私有IP地址，与负载调度器位于同一个物理网络，安全性要优于其他两种方式。
• IP 隧道(IP Tunnel):简称TUN模式，采用开放式的网络结构，负载调度器仅作为客户机的访问入口，各节点通过各自的Internet连接直接回应客户机，而不再经过负载调度器。服务器节点分散在互联网中的不同位置，具有独立的公网IP地址，通过专用IP 隧道与负载调度器相互通信。
• 直接路由(Direct Routing):简称DR模式，采用半开放式的网络结构，与TUN模式的结构类似,但各节点并不是分散在各地,而是与调度器位于同一个物理网络。负载调度器与各节点服务器通过本地网络连接，不需要建立专用的IP隧道。

以上三种工作模式中，NAT方式只需要一个公网IP地址，从而成为最易用的一种负载均衡模式，安全性也比较好，许多硬件负载均衡设备就采用这种方式。

1.1.2 LVS虚拟服务器

Linux Virtual Server 是针对Linux 内核开发的一个负载均衡项目，由我国的章文嵩博士在 1998年5月创建，官方站点位于 http://www,linuxvirtualserver.org/。LVs 实际上相当于基于IP 地址的虚拟化应用,为基于 IP 地址和内容请求分发的负载均衡提出了一种高效的解决方法。

LVS 现在已成为Linux 内核的一部分，默认编译为ip_vs 模块，必要时能够自动调用。在 Cent0s 7系统中，以下操作可以手动加载 ip_vs 模块，并查看当前系统中 ip_vs 模块的版本信息。

1.LVS的负载调度算法

1. 轮询调度（Round-Robin Scheduling, RR）

• 特点：按顺序轮流分配请求到不同的服务器上，确保每台服务器接收到的请求数大致相同。
• 优点：简洁性，无需记录当前所有连接的状态，是一种无状态调度。

2. 加权轮询调度（Weighted Round-Robin Scheduling, WRR）

• 特点：根据后端服务器的处理能力给每台服务器分配不同的权值，权值越高的服务器接收到的请求数越多。
• 优点：能够更灵活地根据服务器性能进行负载均衡。

3. 最小连接调度（Least-Connection Scheduling, LC）

• 特点：动态地将新请求分发到当前连接数最少的服务器上，以平衡各服务器的负载。
• 优点：通过服务器当前所活跃的连接数来估计服务器的负载情况，实现更精确的负载均衡。

4. 加权最小连接调度（Weighted Least-Connection Scheduling, WLC）

• 特点：类似于最小连接算法，但考虑了服务器的权值，权值越高的服务器将承受更大比例的活动连接负载。
• 优点：在最小连接调度的基础上，增加了对服务器处理能力的考虑，使得负载均衡更加精细。

5. 基于局部性的最少链接（Locality-Based Least Connections Scheduling, LBLC）

• 特点：主要用于Cache集群系统，将相同目标IP地址的请求调度到同一台服务器，以提高缓存命中率和处理能力。

6. 带复制的基于局部性最少链接（Locality-Based Least Connections with Replication Scheduling, LBLCR）

• 特点：在LBLC的基础上，增加了服务器组的复制功能，以提高可用性和容错性。

7. 目标地址散列调度（Destination Hashing Scheduling, DH）

• 特点：根据请求的目标IP地址进行散列运算，将请求分配到相应的服务器上，适用于缓存服务器的负载均衡。

8. 源地址散列调度（Source Hashing Scheduling, SH）

• 特点：根据请求的源IP地址进行散列运算，将请求分配到同一台服务器上，以保证来自同一客户端的请求始终被同一台服务器处理。

2.使用ipsadm管理
工具ipvsadm 是在负载调度器上使用的LVS 群集管理工具，通过调用 ip_vs 模块来添加、删除服务器节点，以及查看群集的运行状态。在Cent0s7系统中，需要手动安装ipvsadm.x86 64 0:1.27-7.e17 软件包。

[root@localhost ~]# yum -y install ipvsadm
[root@localhost ~]# ipvsadm -v
ipvsadm v1.27 2008/5/15 (compiled with popt and IPVS v1.2.1)
[root@localhost ~]# 

LVS 群集的管理工作主要包括创建虚拟服务器、添加服务器节点、查看群集节点状态、删除服务器节点和保存负载分配策略。下面分别展示使用ipvsadm命令的操作方法。

2.1：构建LVS负载均衡群集

2.1.1：地址转换模式（LVS-NAT）

1：实验环境：

2：配置负载调度器

[root@localhost ~]# setenforce 0
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# yum -y install ipvsadm
[root@localhost ~]# ipvsadm -v
ipvsadm v1.27 2008/5/15 (compiled with popt and IPVS v1.2.1)
[root@localhost ~]# vi /etc/sysctl.conf 
net.ipv4.ip_forward = 1
[root@localhost ~]# sysctl -p

[root@localhost ~]# ipvsadm -C
[root@localhost ~]# ipvsadm -A -t 172.16.16.172:80 -s rr
[root@localhost ~]# ipvsadm -a -t 172.16.16.172:80 -r 192.168.10.102:80 -m -w 1
[root@localhost ~]# ipvsadm -a -t 172.16.16.172:80 -r 192.168.10.103:80 -m -w 1
[root@localhost ~]# ipvsadm-save
-A -t localhost.localdomain:http -s rr
-a -t localhost.localdomain:http -r 192.168.10.102:http -m -w 1
-a -t localhost.localdomain:http -r 192.168.10.103:http -m -w 1
[root@localhost ~]# systemctl enable ipvsadm

3：配置web节点服务器

（1）在两个web节点安装httpd，并创建测试页

[root@localhost ~]# yum -y install httpd
[root@localhost ~]# systemctl stop firewalld 
[root@localhost ~]# setenforce 0
[root@localhost ~]# yum -y install nfs-utils
[root@localhost ~]# vi /var/www/html/index.html
LVS test1

注意：

另一台web节点的测试页面可以修改为其他文字，这样在测试时，就可以看到调度效果

vi /var/www/html/index.html
LVS test2

（2）启动httpd服务

[root@localhost ~]# systemctl start httpd
[root@localhost ~]# systemctl enable httpd

4：测试LVS群集

客户端测试网站http://172.16.16.172

5：NFS共享存储服务

1：使用NFS发布共享资源

（1）安装nfs-utils、rpcbind软件包

[root@localhost ~]# systemctl stop firewalld 
[root@localhost ~]# setenforce 0
[root@localhost ~]# yum -y install nfs-utils rpcbind
[root@localhost ~]# systemctl enable nfs
[root@localhost ~]# systemctl enable rpcbind

（2）设置共享目录

[root@localhost ~]# mkdir -p /opt/wwwroot
[root@localhost ~]# vi /etc/exports
/opt/wwwroot   192.168.10.0/24(rw,sync,no_root_squash)

（3）启动NFS服务程序

[root@localhost ~]# systemctl start rpcbind
[root@localhost ~]# systemctl start nfs

（4）在web节点挂载nfs

[root@localhost ~]# yum -y install nfs-utils

[root@localhost ~]# mount -t nfs 192.168.10.105:/opt/wwwroot /var/www/html