LVS集群

TUN模式是一种基于IP层的隧道模式，在TUN模式下，负载均衡器通过建立隧道（tunnel）技术，将客户端请求封装在IP包中，数据包在隧道传输过程中不做地址转换，仅进行封装和解封装操作，并通过隧道转发给后端服务器。后端服务器处理请求后，将响应通过隧道发回给负载均衡器，再由负载均衡器返回给客户端。TUN模式常用于虚拟私有网络（VPN）的实现。

这些工作模式可以根据实际需求和网络环境选择，每种模式都有自己的特点和适用场景。根据工作模式的选择，配置正确的网络环境和路由设置，LVS可以实现高性能的负载均衡和高可用性的服务。

四、LVS负载均衡算法

1、静态负载均衡

rr（round robin，轮询）

wrr（weight round robin，加权轮询）

sh（source hashing，源地址散列算法（HASH））

dh（destination hashing，目标地址 HASH）

2、动态负载均衡

lc（leash-connection，最少连接）

简单算法：active * 256 + inactive (谁的小选谁)

wlc（加权最少连接）

简单算法：（active * 256 + inactive) / weight（谁的小选谁）

sed（最少期望延迟）

简单算法：（active + 1) * 256 / weight （谁的小选谁）

nq（never queue，永不排队）

LBLC（基于局部性的最少连接）

LBLCR（基于局部性的带复制功能的最少连接）

五、ipvsadm命令详解

-A	添加虚拟服务节点
-D	删除虚拟服务节点
-L	查看虚拟服务节点列表
-a	添加真实服务节点
-d	添加真实服务节点
-l	添加真实服务节点
-t	指定虚拟服务器IP地址
-s	指定虚拟服务器IP地址
-r	指定虚拟服务器IP地址
-w	指定权重值
-g	直接路由模式（默认）
-i	直接路由模式（默认）
-m	NAT模式

六、LVS配置案例

（一）基础配置

关闭防火墙

systemctl stop firewalld && systemctl disable firewalld

关闭Selinux

setenforce 0

关闭Networkmanager

systemctl stop NetworkManager && systemctl disable NetworkManager

配置IP地址

实验要求准备三台虚拟机，同时可以使用主机与虚拟机之间的通联

虚拟机1：

第一块网卡ens33：192.168.11.101

第二块网卡ens36：192.168.1.100

虚拟机2：

192.168.11.102

虚拟机3：

192.168.11.103

（二）实现NAT模型搭建

拓补图

1、负载调度器配置

1.1、配置IP地址

增加一块网卡然后查看第二块网卡名称

ip a

配置ip地址

cd /etc/sysconfig/network-scripts/
cp ifcfg-ens33 ifcfg-ens36
vim ifcfg-ens36

网卡参数为：

TYPE=Ethernet
BOOTPROTO=static
NAME=ens36
DEVICE=ens36
ONBOOT=yes
IPADDR=192.168.1.100
PREFIX=24
GATEWAY=192.168.1.2
DNS1=192.168.1.2

为了达到使用效果，将主机的VMnet5默认网关地址改为第一台虚拟机的ens36的网卡IP地址,进行访问。

虚拟机之间互ping网络测试

ping主机

1.2、安装ipvsadm

yum install -y ipvsadm

解析：

ipvsadm是一个Linux系统中的工具，用于配置和管理IPVS（IP Virtual Server）服务。IPVS是一个网络负载均衡技术，它可以将来自客户端的请求分发到多个后端服务器上，以实现负载均衡和高可用性。通过ipvsadm工具，可以配置和管理IPVS的调度算法、虚拟服务、后端服务器等参数。

1.3、开启路由转发功能（两种方式）

vim /etc/sysctl.conf

vim /etc/sysctl.d/route.conf

须知：

/etc/sysctl.d/是没有这个文件的，需要我们手动vim进行创建并编辑内容

添加内容如下：

net.ipv4.ip_forward = 1

解析：

"net.ipv4.ip_forward = 1"是Linux内核中的一个网络配置参数，它的作用是启用IP数据包的转发功能。当这个参数的值设置为1时，表示允许Linux系统将收到的IP数据包转发到其他网络接口，实现数据包在不同网络之间的传递。

使用命令使其生效（分别对应上述两种方式）

sysctl -p

sysctl -p /etc/sysctl.d/route.conf

1.4、加载ip_vs模块

modprobe ip_vs
lsmod | grep ip_vs

命令解析：

modprobe: 这是一个命令，用于加载内核模块。

ip_vs: IP_VS是一种内核模块，它实现了Linux上的虚拟服务器技术。

lsmod: 这是一个命令，用于列出已加载的内核模块。

|: 这是一个管道符号，用于将一个命令的输出作为另一个命令的输入。

grep: 这是一个命令，用于在输入中搜索指定的模式（或正则表达式）并返回匹配的行。

综上所述，modprobe ip_vs命令会加载IP_VS内核模块，而lsmod | grep ip_vs命令会列出已加载的内核模块，并过滤出包含"ip_vs"关键词的部分。这样可以查看系统中是否已加载了IP_VS模块。

1.5、启动ipvsadm服务

systemctl start ipvsadm

这里显示启动服务失败，主要原因是缺少这个文件

创建这个缺失的文件

touch /etc/sysconfig/ipvsadm

1.6、配置负载分配策略

ipvsadm -A -t 192.168.1.100:80 -s rr
ipvsadm -a -t 192.168.1.100:80 -r 192.168.11.102:80 -m
ipvsadm -a -t 192.168.1.100:80 -r 192.168.11.103:80 -m

命令解析：

"-A"表示添加一个新的虚拟服务或者后端服务器，"-t"指定了目标地址和端口，"-s"指定了调度算法，"-r"指定了后端服务器的地址和端口，"-m"用于指定调度算法的参数。

第一条命令：添加一个新的虚拟服务，目标地址为192.168.1.100，监听端口为80，使用rrip算法作为调度算法。
第二条命令：添加一个新的后端服务器到虚拟服务中，虚拟服务的目标地址为192.168.1.100，监听端口为80，后端服务器的地址为192.168.11.102，服务端口为80，使用默认的调度算法。
第三条命令：添加一个新的后端服务器到虚拟服务中，虚拟服务的目标地址为192.168.1.100，监听端口为80，后端服务器的地址为192.168.11.103，服务端口为80，使用默认的调度算法。

1.7、保存策略

ipvsadm-save > /etc/sysconfig/ipvsadm

命令解析：

IPVS（IP Virtual Server）是Linux内核中的一个模块，提供了一种负载均衡和集群的解决方案。IPVSADM是一个与IPVS交互的工具，用于配置和管理IPVS的规则和设置。该命令的作用是将当前IPVS的配置保存到指定的文件中，以便在需要时可以重新加载配置。

1.8、查看策略

ipvsadm -Ln

cat /etc/sysconfig/ipvsadm

2、web节点配置

2.1、安装nginx

yum install -y nginx

2.1、启动服务

systemctl start nginx

2.2、更改测试页面进行访问

在第二台虚拟机上进行操作：

echo nginx1 > /usr/share/nginx/html/index.html

在第三台虚拟机上进行操作：

echo nginx2 > /usr/share/nginx/html/index.html

2.3、使用虚拟机1进行访问测试

curl 192.168.11.102
curl 192.168.11.103

2.4、使用主机进行访问测试：

注：使用 ctrl+F5 深度刷新，通过利用 nginx 的方式，实现 LVS 的负载均衡

（三）实现DR模型搭建

实验拓补图

实验要求

准备三台虚拟机，同时可以使用主机与虚拟机之间的通联

虚拟机1：

ens33：192.168.11.101

ens33:0：192.168.11.200

注：网卡信息在下方

虚拟机2：

192.168.11.102

虚拟机3：

192.168.11.103

ping虚拟机之间网络

ping主机

1、负载调度器配置

第一台虚拟机上的配置：

1.1、调整ARP参数

vim /etc/sysctl.conf

net.ipv4.conf.all.send_redirects = 0 
net.ipv4.conf.default.send_redirects=0
net.ipv4.conf.ens33.send_redirects = 0

sysctl -p

1.2、配置虚拟IP地址

cd /etc/sysconfig/network-scripts/

cp ifcfg-ens33 ifcfg-ens33:1
vim ifcfg-ens33:1

重启网络

systemctl restart network

1.3、安装ipvsadm

yum install -y ipvsadm

1.4、加载ip_vs模块

modprobe ip_vs
lsmod | grep ip_vs

1.5、启动ipvsadm服务

touch /etc/sysconfig/ipvsadm
systemctl start ipvsadm

注：跟上个NET做法一样，没有这个文件的话是启动不了服务的

1.6、配置负载分配策略

ipvsadm -A -t 192.168.11.200:80 -s rr
ipvsadm -a -t 192.168.11.200:80 -r 192.168.11.102:80 -g
ipvsadm -a -t 192.168.11.200:80 -r 192.168.11.103:80 -g

1.7、保存策略

ipvsadm-save > /etc/sysconfig/ipvsadm

1.8、查看策略

ipvsadm -Ln
cat /etc/sysconfig/ipvsadm

2、web节点配置

第二台虚拟机和第三台机器配置

2.1、调整ARP参数

vim /etc/sysctl.conf

net.ipv4.conf.all.arp_ignore=1 
net.ipv4.conf.all.arp_announce=2 
net.ipv4.conf.default.arp_ignore=1 
net.ipv4.conf.default.arp_announce = 2 
net.ipv4.conf.lo.arp_ignore = 1 
net.ipv4.conf.lo.arp_announce=2

sysctl -p

2.2、配置虚拟IP地址

两台均是一样的配置

cd /etc/sysconfig/network-scripts/
cp ifcfg-lo ifcfg-lo:0
vim ifcfg-lo:0

DEVICE=lo:0
IPADDR=192.168.11.200
NETMASK=255.255.255.255
NETWORK=192.168.11.0
# If you're having problems with gated making 127.0.0.0/8 a martian,
# you can change this to something else (255.255.255.255, for example)
BROADCAST=192.168.11.255
ONBOOT=yes
NAME=loopback

2.3、重启网络进行查看

2.4、添加回环路由

route add -host 192.168.11.200/32 dev lo:0

3、安装nginx

yum install -y nginx

启动服务

systemctl start nginx

3.1、编辑网页访问文件

echo nginx1 > /usr/share/nginx/html/index.html

echo nginx2 > /usr/share/nginx/html/index.html

3.2、进行测试

curl 192.168.11.102
curl 192.168.11.103

3.3、进行抓包查看

使用系统自带的抓包工具进行查看

tcpdump -i ens33:0

内容解析：

"ARP, Request who-has 192.168.11.103 tell localhost.localdomain, length 28"是一个ARP请求消息，表示有一台主机正在寻找具有IP地址192.168.11.103的目标主机。该请求消息的长度为28字节。

"ARP, Reply 192.168.11.103 is-at 00:0c:29:34:85:61 (oui Unknown), length 46"是一个ARP回复消息，表示具有IP地址192.168.11.103的目标主机的MAC地址是00:0c:29:34:85:61。该回复消息的长度为46字节。

ARP协议用于将IP地址映射到MAC地址，以便在局域网上进行通信。请求消息用于询问目标主机的MAC地址，回复消息用于告知源主机所要访问的目标主机的MAC地址。

使用软件进行查看

（ps:这个软件查看相对来说条理清晰，比系统自带的好用多了）

第一行表示在时刻1118，从IP地址192.168.11.11向IP地址192.168.11.200发送了一个HTTP GET请求，请求的内容是根路径（/）。

第二行表示在时刻1122，从IP地址192.168.11.200向IP地址192.168.11.11发送了一个HTTP响应，响应的状态码是200 OK，响应的内容是文本/HTML格式。

第三行表示在时刻1123，从IP地址192.168.11.11向IP地址192.168.11.200发送了一个HTTP GET请求，请求的内容是/favicon.ico。

第四行表示在时刻1128，从IP地址192.168.11.200向IP地址192.168.11.11发送了一个HTTP响应，响应的状态码是404 Not Found，响应的内容是文本/HTML格式。