LVS负载均衡群集——NAT模式

---

一、什么是群集

• Cluster，集群、群集,为解决某个特定问题将多台计算机组合起来形成的单个系统

• 由多台主机构成，但对外只表现为一个整体，相当于一台大型计算机

---

二、企业集群的分类

根据群集所针对的目标差异，可分为三种类型

• 负载均衡群集
• 高可用群集
• 高性能运算群集

负载均衡集群（Load Balance Cluster）

• 提高应用系统的响应能力、尽可能处理更多的访问请求、减少延迟为目标，获得高并发、高负载（LB）的整体性能
• LB的负载分配依赖于主节点的分流算法，将来自客户机的访问请求分担给多个服务器节点，从而缓解整个系统的负载压力。例如，“DNS轮询” “反向代理”等

高可用群集（High Availability Cluster）

• 提高应用系统的可靠性、尽可能地减少中断时间为目标，确保服务的连接性，达到高可用（HA）的容错效果
• HA的工作方式包括双工和主从两种模式，双工即所有节点同时在线;主从则只有主节点在线，但当出现故障时从节点能自动切换为主节点。例如：“故障切换” “双机热备” 等。

高可用运算群集（High Performance Computer Cluster）

• 以提高应用系统的CPU运算速度、扩展硬件资源和分析能力为目标，获得相当于大型、超级计算机的高性能运算（HPC）能力
• 高性能依赖于“分布式运算”、“并行计算”，通过专用硬件和软件将多个服务器的CPU、内存等资源整合在一起，实现只有大型、超级计算机才具备的计算能力。例如：“云计算” “网格计算”等

---

三、负载均衡集群架构

1、负载均衡的结构

第一层，负载调度器(Load Balancer或Director)
访问整个群集系统的唯一入口，对外使用所有服务器共有的VIP地址，也称为群集I地址。通常会配置主、备两台调度器实现热备份，当主调度器失效以后能够平滑替换至备用调度器，确保高可用性。
第二层，服务器池(Server Pool)
群集所提供的应用服务、由服务器池承担，其中每个节点具有独立的RIP地址(真实IP），只处理调度器分发过来的客户机请求。当某个节点暂时失效时，负载调度器的容错机制会将其隔离。等待错误排除以后再重新纳入服务器池。
第三层，共享存储(Share Storage)
为服务器池中的所有节点提供稳定、一致的文件存取服务，确保整个群集的统一性。共享存储可以使用NAS设备，或者提供NFS共享服务的专用服务器。

2、负载均衡集群工作模式分析

• 负载均衡群集是目前企业用得最多的群集类型
• 群集的负载调度技术有三种工作模式
  • 地址转换（NAT模式）
  • IP隧道（TUN模式）
  • 直接路由（DR）(用的最多)

2.1、NAT模式

地址转换

• Network Address Translation，简称NAT模式
• 类似于防火墙的私有网络结构，负载调度器作为所有服务器节点的网关，即作为客户机的访问入口，也是各节点回应客户机的访问出口
• 服务器节点使用私有IP地址，与负载调度器位于同一个物理网络，安全性要优于其他两种方式

2.2、TUN模式IP隧道

IP隧道

• lP Tunnel，简称TUN模式
• 采用开放式的网络结构，负载调度器仅作为客户机的访问入口，各节点通过各自的lnternet连接直接回应客户机，而不再经过负载调度器
• 服务器节点分散在互联网中的不同位置,具有独立的公网IP地址，通过专用IP隧道与负载调度器相互通信

2.3、DR模式

直接路由

• Direct Routing，简称DR模式
• 采用半开放式的网络结构，与TUN模式的结构类似，但各节点并不是分散在各地，而是与调度器位于同一个物理网络
• 负载调度器与各节点服务器通过本地网络连接，不需要建立专用的IP隧道

2.4、NAT和DR的区别

• NAT的负载均衡器会作为用户的请求入口，也会作为节点服务器响应请求的出口，负载均衡器响应请求的出口，负载均衡器的服务器性能将会成为整个集群的瓶颈。
• DR模式用户的访问请求会经过负载均衡器的转发到节点服务器，但是节点服务器的请求响应报文是直接返回给客户端不会经过负载均衡器。

---

四、关于LVS虚拟服务器

1、概况

LVS现在已成为Linux内核的一部分，默认编译为ip_vs模块，必要时能够自动调用。在Centos 7系统中，以下操作可以手动加载ip_vs模块，并查看当前系统中ip_vs模块的版本信息

2、LVS负载均衡调度算法

• 轮询（Round Robin）
  • 将收到的访问请求按照顺序轮流分配给集群中的各节点（真实服务器），均等地对待每一台服务器，而不管服务器实际的连接数和系统负载
• 加权轮询（Weighted Round Robin）
  • 根据调度器设置的权重值来分发请求，权重值高的节点优先获得任务，分配的请求数越来越多
  • 保证性能强的服务器承担更多的访问流量
• 最少连接（Least Connections）
  • 根据真实服务器已建立的连接数进行分配，将收到的访问请求优先分配给连接数最少的节点
• 加权最少连接（Weighted Least Connections）
  • 在服务器节点的性能差异较大时，可以为真实服务器自动调整权重
  • 性能较高的节点将承担更大比例的活动连接负载

3、LVS创建与管理

• 1.创建虚拟服务器
• 2.添加、删除服务器节点
• 3.查看群集及节点情况
• 4.保存负载分配策略

---

五、NFS共享存储服务

1、使用NFS发布共享资源

• 安装nfs-utils、rpcbind软件包
• 设置共享目录
• 启动NFS服务程序
• 查看本机发布的NFS共享目录

2、部署步骤

• 1.加载ip_vs模块，安装ipvsadm工具
• 2.开启路由转发
• 3.新建LVS虚拟服务器并添加节点服务器
• 4.配置节点服务器
  • （建立测试网址、挂载NFS、建立测试网页）
• 5.保存规则并测试

3、LVS管理工具ipvsadm选项说明

选项	说明
-A	添加虚拟服务器
-D	删除整个虚拟服务器-
-s	指定负载调度算法（轮询:rr、加权轮询: wrr、最少连接:lc、加权最少连接: wlc)
-a	表示添加真实服务器(节点服务器）
-d	删除某一个节点
-t	指定VIP地址及TCP端口-r:指定RIP地址及TCP端口-m:表示使用NAT群集模式-g:表示使用DR模式
-i	表示使用TUN模式
-w	设置权重(权重为o时表示暂停节点)-p 60:表示保持长连接60秒
-l	列表查看LvS 虚拟服务器(默认为查看所有)
-n	以数字形式显示地址、端口等信息，常与"-l"选项组合使用。ipvsadm -ln
什么也不加	启用规则

---

六、LVS负载均衡——NAT模式部署

实验准备
负载均衡器，内网：20.0.0.12、外网：12.0.0.1

NFS服务器，20.0.0.5

Web节点服务器1 ，20.0.0.6

Web节点服务器2 ，20.0.0.7

客户端 Windows10 ，12.0.0.12

部署共享存储（NFS服务器：20.0.0.5）

systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0

yum -y install nfs-utils rpcbind

systemctl start rpcbind.service
systemctl start nfs.service

systemctl enable nfs.service
systemctl enable rpcbind.service

mkdir /opt/run
mkdir /opt/xiu

chmod 777 /opt/run 
chmod 777 /opt/xiu

vim /etc/exports
/usr/share *(ro,sync)
/opt/lic 20.0.0.0/24(rw,sync)
/opt/kiki 20.0.0.0/24(rw,sync)

exportfs -rv

配置节点服务器（20.0.0.6、20.0.0.7）

systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0

yum install httpd -y
systemctl start httpd.service
systemctl enable httpd.service

yum -y install nfs-utils rpcbind
showmount -e 20.0.0.5

systemctl start rpcbind
systemctl enable rpcbind

Web1（20.0.0.6）

mount.nfs 20.0.0.5:/opt/run /var/www/html
echo 'this is run web!' > /var/www/html/index.html

vim /etc/sysconfig/network-scripts/ifcfg-ens33
修改网关为20.0.0.10
注释DNS
systemctl restart network

Web2（20.0.0.7）

mount.nfs 20.0.0.5:/opt/xiu /var/www/html
echo 'this is xiu web!' > /var/www/html/index.html

vim /etc/sysconfig/network-scripts/ifcfg-ens33
修改网关为20.0.0.10
注释DNS
systemctl restart network

配置负载调度器

1. #关闭防火墙
systemctl stop firewalld
setenforce 0
 
2. #安装ipvsadm
yum install -y ipvsadm*
 
 
3. #添加一块网卡，我这里是ens38，配置网卡，重启网络
cd /etc/sysconfig/network-scripts/
cp ifcfg-ens33 ifcfg-ens38
vim ifcfg-ens38
去掉网关、UUID、修改IP
vim ifcfg-ens33
去掉网关
systemctl restart network
 
4. #打开路由转发功能
vim /etc/sysctl.conf
net.ipv4.ip_forward = 1 
sysctl -p
 
5. #防火墙做策略
#查看策略
iptables -nL -t nat
#清空策略
iptables -F
#添加策略
iptables -t nat -A POSTROUTING -s 20.0.0.0/24 -o ens37 -j SNAT --to 12.0.0.1
#查看策略
iptables -nL -t nat
 
6. #加载LVS内核模块
modprobe ip_vs
cat /proc/net/ip_vs
 
7. #开启ipvsadm服务
ipvsadm-save >/etc/sysconfig/ipvsadm
systemctl start ipvsadm.service
 
8. #清空策略
ipvsadm -C
 
9. #制定策略
#指定IP地址 外网的入口  -s rr  轮询
ipvsadm -A -t 12.0.0.1:80 -s rr
#先指定虚拟服务器再添加真实服务器地址，-r:真实服务器地址 -m指定nat模式
ipvsadm -a -t 12.0.0.1:80 -r 20.0.0.6:80 -m
ipvsadm -a -t 12.0.0.1:80 -r 20.0.0.7:80 -m
#开启服务
ipvsadm
 
10. 查看策略
ipvsadm -ln					

Windows客户机

##修改网卡信息
ip改为12.0.0.200
网关为12.0.0.1
##浏览器输入http://12.0.0.200