LVS负载均衡群集

群集的含义

cluster,集群，群集

由多台主机构成，但对外只表现为一个整体

问题

互联网应用中，随着站点对硬件性能，响应速度，服务稳定性、数据可靠性等要求越来越高，单台服务器力不从心

解决方法

使用价格昂贵的小型机、大型机

使用普通服务器构建服务群集

集群的分类

负载均衡群集

提高应用系统的响应能力、尽可能处理更多的访问请求、减少延迟为目标，获得高并发、高负载的整体性能

LB的负载分配依赖于主节点的分流算法

高可用群集（High Availability Cluster）

提高应用系统的可靠性、尽可能地减少中断时间为目标，确保服务的连续性，达到高可用的容错效果

HA的工作方式包括双工和主从两种模式

高性能运算群集（High Performance Computer Cluster）

提高应用系统的CPU运算速度、扩展硬件资源和分析能力为目标。获得相当于大型、超级计算机的高性能运算（HPC）能力

高性能依赖于“分布式运算”，“并行计算”，通过专用硬件和软件将多个服务器的CPU、内存等资源整合在一起，实现只有大型、超级计算机才具备的计算能力

负载均衡的结构

第一层：负载调度器

第二层：服务器池

第三层：共享存储

负载均衡的工作模式

负载均衡群集是目前企业用的最多的群集类型

群集的负载调度技术有三种工作模式

地址转换

简称NAT模式

类似于防火墙的私有网络结构，负载调度器作为所有服务器节点的网关，即作为客户机的访问入口，也是各节点回应客户机的访问出口

服务器节点使用私有 IP 地址，与负载调度器位于同一个物理网络，安全性要优于其他两种方式。

IP隧道

IP 隧道（IP Tunnel）：简称 TUN 模式

采用开放式的网络结构，负载调度器仅作为客户机的访问入口，各节点通过各自的 Internet 连接直接回应客户机，而不再经过负载调度器

直接路由

直接路由（Direct Routing）：简称 DR 模式

采用半开放式的网络结构，与 TUN模式的结构类似，但各节点并不是分散在各地，而是与调度器位于同一个物理网络

负载调度器与各节点服务器通过本地网络连接，不需要建立专用的 IP 隧道

关于LVS虚拟服务器

Linux Virtual Servier

调度算法

轮询（Round Robin）：将收到的访问请求按照顺序轮流分配给群集中的各节点，均等地对待每台服务器，而不管服务器实际的连接数和系统负载

加权轮询（Weighted Round Robin）：根据调度器设置的权重值来分发请求，权重值高的节点优先获得任务并且分配的请求越多，这样可以保证性能高的节点承担更多请求

最少连接（Least Connections）：根据真实服务器已建立的连接数进行分配，将收到的访问请求优先分配给连接数最少的节点。如果所有的服务器节点性能相近，采用这种方式可以更好地均衡负载

加权最少连接（Weighted Least Connections）：在服务器节点的性能差异较大的情况下，调度器可以根据节点服务器负载自动调整权重，权重较高的节点将承担更大比例的活动连接负载

NAT实验

搭建基础环境

1.准备6台机器，修改主机名

2.web01，web02，web03这三台的ip采用静态

nmcli con show

#三台机器执行该命令设置为静态IP，ipv4的地址为自己要设置静态IP地址，网关使用自己的网关
nmcli con mod ens33  connection.autoconnect yes ipv4.add 192.168.27.129/24 ipv4.gateway 192.168.27.2 ipv4.dns 114.114.114.114 ipv4.method man

nmcli con up ens33

3.lvs，nfs的IP采用静态IP或者动态IP都可以

4.client节点采用dhcp模式

在在web01，web02，web03节点执行即可

nmcli con mod ens33   ipv4.gateway LVS节点的IP
nmcli con up ens33
route -n

如果没有route命令，可以使用 ip route

在lvs节点开启路由转发功能，使其具有网关的功能

echo 'net.ipv4.ip_forward = 1' >> /etc/sysctl.conf
sysctl -p

为lvs添加网卡（添加一块网络适配器，并设置为仅主机模式）

为client节点添加lvs机器的第二个网卡，并设置client节点的网络适配器为仅主机模式。在虚拟机上查询IP地址，在xshell中连接新的IP地址（注意IP地址是lvs第二个网卡同一网段的）

在web01,web02,web03上下载服务，并开启，设置开机自启动

yum -y install httpd
systemctl start httpd
systemctl enable httpd

配置lvs

在lvs节点中加载ip_vs模块（不能直接使用，需要借助工具）

# 加载 ip_vs 模块
modprobe ip_vs

# 查看 ip_vs 版本信息
cat /proc/net/ip_vs

yum -y install ipvsadm
ipvsadm -v

设置负载均衡服务

ipvsadm -A -t 192.168.142.128:80 -s rr
ipvsadm -a -t 192.168.142.128:80 -r 192.168.27.129:80 -m -w 1
ipvsadm -a -t 192.168.142.128:80 -r 192.168.27.130:80 -m -w 1
ipvsadm -a -t 192.168.142.128:80 -r 192.168.27.132:80 -m -w 1
# -a 表示添加真实服务器
# -t 用来指定 VIP 地址及 TCP 端口
# -r 用来指定 RIP 地址及 TCP 端口
# -m 表示使用 NAT 群集模式（-g DR 模式和-i TUN 模式）
# -w 用来设置权重（权重为 0 时表示暂停节点）
ipvsadm -ln

        在web01，web02，web03节点修改网页便于验证
                echo 'This is web01' > /var/www/html/index.html
                echo 'This is web02' > /var/www/html/index.html
                echo 'This is web03' > /var/www/html/index.html

在client节点进行验证，访问第二网卡的IP地址，则会生成不同的web服务的内容

在lvs设置虚拟服务器永久生效


ipvsadm-save -n >/etc/sysconfig/ipvsadm
systemctl start ipvsadm
11.删除虚拟服务器的IP地址
ipvsadm -ln       #先查看当前有哪些IP地址
ipvsadm -d -r 192.168.27.167:80 -t 192.168.25.128:80   #第一个IP地址为你要删除从服务器的IP地址，第二个IP地址为哪个主网卡的IP地址
ipvsadm -D -t 主网卡IP地址                 #删除主服务器创建的虚拟网卡的IP地址
# 清除原有策略
ipvsadm -C

共享存储

在nfs节点安装共享存储，并设置开机自启动

yum -y install nfs-utils rpcbind
systemctl enable nfs
systemctl enable rpcbind

创建共享目录

mkdir -p /opt/wwwroot
# rw 表示允许读写（ro 为只读），
# sync 表示同步写入，
# no_root_squash 表示当客户机以 root 身份访问时赋予本地 root 权限
#（默认是 root_squash，将作为 nfsnobody 用户降权对 待）。
echo '/opt/wwwroot 192.168.27.0/24(rw,sync,no_root_squash)' > /etc/exports
#启动服务
systemctl start rpcbind
systemctl start nfs

在三台共享web服务中下载nfs服务

yum -y install rpcbind nfs-utils
#挂载服务，IP地址为nfs共享目录的IP地址
# 手动挂载 NFS 共享目录
mount 192.168.27.133:/opt/wwwroot /var/www/html


#由于每次都需要手动挂载，所以设置成永久挂载
# fstab 自动挂载设置
echo '192.168.27.133:/opt/wwwroot /var/www/html nfs defaults,_netdev 0 0' >> /etc/fstab

在nfs机器的/var/wwwroot/下写网页

验证

在client机器中，再次访问第二个网卡的地址，会显示出你写的网页内容，并且在三台web服务中的/var/www/html下会有对应的网页文件生成

DR模式

基础环境

关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
关闭内核安全机制
setenforce 0
sed -i
"S/ASELINUX=.*/SELINUX=disabled/g
/etc/selinux/config
修改主机名
set-hostname lvs
hostnamectl set-hostname web01
hostnamectl set-hostname web02
hostnamectl set-hostname web03
hostnamectl set-hostname nfs

配置vip（在lvs节点操作）

1.查看/etc/sysconfig/network-scripts/下是否有网卡文件（ifcfg-ens33）

2.复制网卡复制文件，进行修改配置

3.启用配置的网卡服务(ifup ens33:0)，查看是否是自己配置的网址

配置内核参数（在lvs节点操作）

关闭内核参数

# 调整 proc 响应参数
## 对于 DR 群集模式来说，由于 LVS 负载调度器和各节点需要共用 VIP 地址，应该关闭 Linux 内核的重定向参数响应
## 数据包的入接口和路由后的指定的出接口是同一个接口，所以需要关闭重定向
echo 'net.ipv4.conf.all.send_redirects = 0' >> /etc/sysctl.conf
echo 'net.ipv4.conf.default.send_redirects = 0' >> /etc/sysctl.conf
echo 'net.ipv4.conf.ens33.send_redirects = 0' >> /etc/sysctl.conf
sysctl -p

加载ip_vs模块

# 加载 ip_vs 模块
modprobe ip_vs

# 查看 ip_vs 版本信息
cat /proc/net/ip_vs
#装载ipvsaadm
yum -y install ipvsadm

ipvsadm -v

创建服务

#创建了一个虚拟服务，监听在192.168.27.200的80端口上，并使用轮询（rr）调度算法。
ipvsadm -A -t 192.168.27.200:80 -s rr
#添加三个后端服务器
ipvsadm -a -t 192.168.27.200:80 -r 192.168.27.129 -g -w 1
ipvsadm -a -t 192.168.27.200:80 -r 192.168.27.130 -g -w 1
ipvsadm -a -t 192.168.27.200:80 -r 192.168.27.132 -g -w 1
ipvsadm -ln

配置三台web节点

#下载aptech服务，设置为开机自启动
yum -y install httpd
systemctl start httpd
systemctl enable httpd

配置web服务器vip

cat > /etc/sysconfig/network-scripts/ifcfg-lo:0 << EOF
DEVICE=lo:0
IPADDR=192.168.27.200
NETMASK=255.255.255.255
ONBOOT=yes
EOF
# 启动网卡
ifup lo:0
ifconfig lo:0

添加路由

# 添加 VIP 本地访问路由 （临时添加）
route add -host 192.168.27.200 dev lo:0
#设置为开机自启（把文件追加到开机自启文件，给予权限）
echo 'route add -host 192.168.27.200 dev lo:0' >> /etc/rc.local
chmod +x /etc/rc.d/rc.local

调整web服务内核参数

cat >> /etc/sysctl.conf << EOF
# 忽略arp广播
net.ipv4.conf.all.arp_ignore = 1
# 匹配精确ip地址回包
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
EOF
sysctl -p

验证,在宿主机curl 定义的地址，或者在nfs机器。能出现web服务的网页内容（网页存放位置，/var/www/html/）

配置nfs节点，使用共享存储同一管理网页

下载包，设置为开机自启动

yum -y install nfs-utils rpcbind
systemctl enable nfs
systemctl enable rpcbind