LVS负载均衡群集部署——详细步骤

一、群集的含义：

• Cluster，集群、群集
• 由多台主机构成，但对外只表现为一个整体

二、现代企业网络存在的问题：

• 互联网应用中，随着站点对硬件性能、响应速度、服务稳
• 定性、数据可靠性等要求越来越高，单台服务器力不从心

三、解决方法：

• 使用价格昂贵的小型机、大型机
• 使用普通服务器构建服务群集

四、根据群集所针对的目标差异，可分为三种类型：

• 负载均衡群集
• 高可用群集
• 高性能运算群集

1. 负载均衡群集(Load Balance Cluster)

• 提高应用系统的响应能力、尽可能处理更多的访问请求、
• 减少延迟为目标，获得高并发、高负载(LB）的整体性能
• LB的负载分配依赖于主节点的分流算法

  2.高可用群集(High Availability Cluster)

• 提高应用系统的可靠性、尽可能地减少中断时间为目标，确保服务的连续性，达到高可用(HA)的容错效果
• HA的工作方式包括双工和主从两种模式

  3.高性能运算群集（High Performance Computer Cluster)

• 提高应用系统的CPU运算速度、扩展硬件资源和分析能力为目标，获得相当于大型、超级计算机的高性能运算（HPC)能力
• 高性能依赖于“分布式运算”、“并行计算”，通过专用硬件和软件将多个服务器的CPU、内存等资源整合在一起，实现只有大型、超级计算机才具备的计算能力

五、负载均衡的结构

• 第一层，负载调度器(Load Balancer或Director)
• 第二层，服务器池(Server Pool)
• 第三层，共享存储(Share Storage)

六、负载均衡的网络架构，有三种常见的

1.NAT模式：

• 地址转换Network Address Translation，简称NAT模式
• 类似于防火墙的私有网络结构，负载调度器作为所有服务器节点的网关，即作为客户机的访问入口，也是各节点回应客户机的访问出口
• 服务器节点使用私有IP地址，与负载调度器位于同一个物理网络，安全性要优于其他两种方式

2. TUN模式：

• IP隧道lPTunnel，简称TUN模式
• 采用开放式的网络结构，负载调度器仅作为客户机的访问入口，各节点通过各自的Internet连接直接回应客户机，而不再经过负载调度器
• 服务器节点分散在互联网中的不同位置，具有独立的公网IP地址，通过专用IP隧道与负载调度器相互通信

3.DR模式

• 直接路由Direct Routing，简称DR模式
• 采用半开放式的网络结构，与TUN模式的结构类似，但各节点并不是分散在各地，而是与调度器位于同一个物理网络
• 负载调度器与各节点服务器通过本地网络连接，不需要建立专用的IP隧道

七、关于LVS虚拟服务器

• Linux Virtual Server
• 针对Linux内核的负载均衡解决方案
• 1998年5月，由我国的章文嵩博士创建
• 官方网站: http://www.linuxvirtualserver.org/

八、LVS的负载调度算法（4种）

1.轮询（Round Robin)

• 将收到的访问请求按照顺序轮流分配给群集中的各节点(真实服务器)，均等地对待每一台服务器，而不管服务器实际的连接数和系统负载

2.加权轮询(Weighted Round Robin)

• 根据调度器设置的权重值来分发请求，权重值高的节点优先获得任务，分配的请求数越多
• 保证性能强的服务器承担更多的访问流量

3.最少连接(Least Connections)

• 根据真实服务器已建立的连接数进行分配，将收到的访问请求优先分配给连接数最少的节点

4.加权最少连接(Weighted Least Connections)

• 在服务器节点的性能差异较大时，可以为真实服务器自动调整权重性能较高的节点将承担更大比例的活动连接负载

九、LVS群集创建与管理办法

1. 创建虚拟服务器
2. 添加、删除服务器节点
3. 查看群集及节点状况
4. 保存分配的策略

十、实验设计

1. 加载ip_vs模块，安装ipvsadm工具
2. 开启路由转发
3. 新建LVS虚拟服务器并添加节点服务器
4. 搭建NFS共享存储服务
   4.1 介绍nfs
   ①　Network File System,网络文件系统依赖于RPC(远端过程调用)
   ②　需安装nfs-utils、rpcbind软件包
   ③　系统服务: nfs、rpcbind
   ④　共享配置文件:/etc/exports
   4.2 使用NFS发布共享资源
   ①　安装nfs-utils、rpcbind软件包
   ②　设置共享目录
   ③　启动NFS服务程序
   ④　查看本机发布的NFS共享目录
   4.3.在客户机中访问NFS共享资源
   ①　安装rpcbind软件包，并启动rpcbind服务
   ②　手动挂载NFS共享目录
   ③　fstab自动挂载设置
5. 配置节点服务器
   5.1 建立测试网站
   5.2 挂载NFS共享存储
   5.3 建立测试网页
6. 保存规则并测试

实验拓扑

1.搭建调度器

[root@localhost network-scripts]# nmcli connection  //查看UUID号，绑定网卡
NAME               UUID                                TYPE      DEVICE 
ens33           	    e700afd3-d9d3-4e75-ba0f-1c472d256ce8   ethernet   ens33  
virbr0            	ec8ec847-c505-4e0a-ac6c-a9d1131d768c   bridge     virbr0 
Wired connection 1 	032bc5ee-d4a0-3374-a2a1-8b3079c39070  ethernet   ens36  
[root@localhost network-scripts]# ifconfig
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 20.0.0.11  netmask 255.255.255.0  broadcast 20.0.0.255
		……省略部分
ens36: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.30.11  netmask 255.255.255.0  broadcast 192.168.30.255
        ……省略部分
[root@localhost ~]# yum -y install ipvsadm
[root@localhost ~]# ipvsadm -v   //查看ipvsadm信息
ipvsadm v1.27 2008/5/15 (compiled with popt and IPVS v1.2.1)
[root@localhost ~]# modprobe ip_vs   //加载ip_vs功能，确认内核对ip_vs的支持
[root@localhost ~]# cat /proc/net/ip_vs   //查看信息
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port Forward Weight ActiveConn InActConn
###############创建虚拟服务器规则################################
[root@localhost ~]# ipvsadm -A -t 20.0.0.11:80 -s rr
##############添加Web服务器节点规则##############################
[root@localhost ~]# ipvsadm -a -t 20.0.0.11:80 -r 192.168.30.22 -m -w 1
[root@localhost ~]# ipvsadm -a -t 20.0.0.11:80 -r 192.168.30.33 -m -w 1
##############保存规则，并记录到/opt/ipvsadm文件中###############
[root@localhost ~]# ipvsadm-save > /opt/ipvsadm
[root@localhost ~]# cat /opt/ipvsadm 
-A -t localhost.localdomain:http -s rr
-a -t localhost.localdomain:http -r 192.168.30.22:http -g -w 1
-a -t localhost.localdomain:http -r 192.168.30.33:http -g -w 1
###############做路由转发####################################
[root@localhost ~]# vi /etc/sysctl.conf 
net.ipv4.ip_forward=1
[root@localhost ~]# sysctl -p //查看转发信息
net.ipv4.ip_forward = 1

#################如果有iptables防火墙，需要做SNAT##############
[root@localhost ~]# iptables -t nat -A POSTROUTING -s 192.168.30.0/24 -o ens33 -j SNAT --to-source 20.0.0.11
#########################################.#######################

2.搭建服务器池

2.1配置WEB1

[root@mysql2 ~]# ifconfig   //查看ip
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.30.22  netmask 255.255.255.0  broadcast 192.168.30.255
[root@mysql2 ~]# route -n   //查看路由表，看是否配置网关
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.30.11   0.0.0.0         UG    100    0        0 ens33
192.168.30.0    0.0.0.0         255.255.255.0   U     100    0        0 ens33
192.168.122.0   0.0.0.0         255.255.255.0   U     0      0        0 virbr0
[root@localhost ~]# yum -y install nfs-utils  //使用showmount需要安装这个工具
[root@localhost ~]# showmount -e 192.168.30.44  //查看共享状况
Export list for 192.168.30.44:
/opt/web2 192.168.30.0/24
/opt/web1 192.168.30.0/24
[root@mysql2 ~]# yum -y install httpd  //安装httpd
[root@mysql2 ~]# systemctl start httpd
[root@mysql2 ~]# systemctl enable httpd
#######挂载共享文件############
[root@localhost html]# vi /etc/fstab
192.168.30.44:/opt/web1 /var/www/html nfs defaults,_netdev 0 0
[root@localhost html]# mount 192.168.30.44:/opt/web1 /var/www/html/

2.2配置WEB2

[root@localhost ~]# ifconfig
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.30.33  netmask 255.255.255.0  broadcast 192.168.30.255
[root@localhost ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.30.11   0.0.0.0         UG    100    0        0 ens33
192.168.30.0    0.0.0.0         255.255.255.0   U     100    0        0 ens33
192.168.122.0   0.0.0.0         255.255.255.0   U     0      0        0 virbr0
[root@localhost ~]# yum -y install nfs-utils
[root@localhost ~]# showmount -e 192.168.30.44   //若查看不到，可能是nfs服务器发布失败，去nfs服务器再次发布一下：exportsfs
Export list for 192.168.30.44:
/opt/web2 192.168.30.0/24
/opt/web1 192.168.30.0/24
[root@mysql2 ~]# yum -y install httpd
[root@mysql2 ~]# systemctl start httpd
[root@mysql2 ~]# systemctl enable httpd
#######挂载共享文件############
[root@localhost html]# vi /etc/fstab
192.168.30.44:/opt/web2 /var/www/html nfs defaults,_netdev 0 0
[root@localhost html]# mount 192.168.30.44:/opt/web2 /var/www/html/

3.搭建共享储存

[root@localhost ~]# ifconfig
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.30.44  netmask 255.255.255.0  broadcast 192.168.30.255
        inet6 fe80::a52a:406e:6512:1c66  prefixlen 64  scopeid 0x20<link>
[root@localhost ~]# route -n   //查看路由表，看网关
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.30.11   0.0.0.0         UG    100    0        0 ens33
192.168.30.0    0.0.0.0         255.255.255.0   U     100    0        0 ens33
192.168.122.0   0.0.0.0         255.255.255.0   U     0      0        0 virbr0
[root@localhost ~]# rpm -q nfs-utils  //查看nfs是否安装
nfs-utils-1.3.0-0.61.el7.x86_64
[root@localhost ~]# rpm -q rpcbind  //查看rpcbind是否安装
rpcbind-0.2.0-47.el7.x86_64
[root@localhost ~]# yum -y install nfs-utils  //确实安装了
Loaded plugins: fastestmirror, langpacks
Loading mirror speeds from cached hostfile
Package 1:nfs-utils-1.3.0-0.61.el7.x86_64 already installed and latest version
Nothing to do
[root@localhost ~]# yum -y install rpcbind
Loaded plugins: fastestmirror, langpacks
Loading mirror speeds from cached hostfile
Package rpcbind-0.2.0-47.el7.x86_64 already installed and latest version
Nothing to do
[root@localhost ~]# systemctl start nfs
[root@localhost ~]# systemctl enable nfs
Created symlink from /etc/systemd/system/multi-user.target.wants/nfs-server.service to /usr/lib/systemd/system/nfs-server.service.
[root@localhost ~]# systemctl start rpcbind
[root@localhost ~]# systemctl enable rpcbind
[root@localhost ~]# vi /etc/exports
/opt/web1 192.168.30.0/24(rw,sync)
/opt/web2 192.168.30.0/24(rw,sync)
[root@localhost ~]# systemctl restart nfs
[root@localhost ~]# systemctl restart rpcbind
[root@localhost ~]# showmount -e
Export list for localhost.localdomain:
/opt/web2 192.168.30.0/24
/opt/web1 192.168.30.0/24
[root@localhost web2]# exportfs -vr
exporting 192.168.30.0/24:/opt/web2
exporting 192.168.30.0/24:/opt/web1
[root@localhost ~]# mkdir /opt/web1/ /opt/web1/
[root@localhost ~]# vi /opt/web1/index.html
<html>
<title>I'm Web1</title>
<body><h1>I'm Web1</h1></body>
<img src="web1.jpg" />
</html>
[root@localhost ~]# vi /opt/web2/index.html
<html>
<title>I'm Web2</title>
<body><h1>I'm Web2</h1></body>
<img src="web2.png" />
</html>

4.测试共享储存

登入http://192.168.30.22，测试正常

登入http://192.168.30.33，测试正常

5.测试轮询

登入http://20.0.0.11，发现轮流从web1和web2服务器中读取数据，第一次访问是web1，间隔1分钟刷新（因为存在缓存），访问的就是web2。轮询正常

-----常用命令的解释如下: ------

LVS的负载调度算法有四种最常用的:轮询算法(rr)、加权轮询(wrr)、最少轮询(Ic)、加权最少轮询(wlc)

1)创建虚拟服务器(注意:NAT模式要两块网卡，调度器的地址是外网口地址)

群集的VIP地址为20.0.0.11，针对TCP 80端口提供负载分流服务，使用的轮询调度算法。对于负载均衡调度器来说，VIP必须是本机实际已启用的IP地址
ipvsadm -A -t 20.0.0.11:80 -s rr //选项"-A"表示添加虚拟服务器，"-t"用来指定VIP地址及TCP端口，"-S"用来指定负载调度算法——rr、wrr、lc、wlc 。

2）添加服务器节点

ipvsadm -a -t 20.0.0.11:80 -r 192.168.80.33:80 -m
ipvsadm -a -t 20.0.0.11:80 -r 192.168.80.44:80 -m
//选项"-a"表示添加真实服务器，”-t”用来指定VIP地址及TCP端口，"-r"用来指定RIP地址及TCP端口，"-m"表示使用NAT群集模式("-g"是DR模式，"-i"是TUN横式)
{-m参数后面还可以跟-w的参数，这里没有做的"-w"用来设置权重(权重为0时表示暂停节点)}

3）删除服务器节点

ipvsadm -d -r 192.168.30.22:8o -t 20.0.0.11:80 //需要从服务器池中删除某一个节点时，使用选项"-d"”。执行删除操作必须指定目标对象，包括节点地址、虚拟IP地址。如上所示的操作将会删除LVS群集20.0.0.11中的节点192.168.30.22

若需要删除整个虚拟服务器时，使用选项-D并指定虚拟IP地址即可，无需要指定节点。例如:“ipvsadm -D -t 20.0.0.11:80"，则删除此虚拟服务嚣。
ipvsadm -L //查看节点状态，加个"-n"将以数字形式显示地址、端口信息

4）备份与还原规则

ipvsadm-save > /etc/sysconfig/ipvsadm1/保存策略
使用导出/导入工具ipvsadm-save/ipvsadm-restore可以保存、恢复LVS策略，方法类似于iptables的规则的导出、导入
(可以利用ipvsadm-restore < /dev/null 来清空所有规则)