目录
一、理论
1.群集简介
（1）概念
群集（或称为集群）是由多台主机构成，但对外，只表现为一个整体，只提供一个访问入口（域名或IP），相当于一台大型计算机。
（2）产生
互联网应用中，随着站点对硬件性能、响应速度、服务稳定性、数据可靠性等要求越来越高，单台服务器开始无法满足负载均衡及高可用的需求，群集因此应运而生。
（3）构成方案
① 使用价格昂贵的小型机、大型机组成群集。
② 使用多台相对廉价的普通服务器构建服务群集。
③ 通过整合多台服务器，使用LVS来达到服务器高可用和负载均衡，并于同一个IP地址对外提供相同服务。这就是企业中常用的一种群集技术——LVS（Linux Virtual Server ，Linux虚拟服务器）。
（4）设计原则
① 可扩展性—集群的横向扩展能力
② 可用性—无故障时间 (SLA service level agreement)
③ 性能—访问响应时间
④ 容量—单位时间内的最大并发吞吐量(C10K 并发问题)
2.群集分类
根据集群针对的目标差异，可分为三种：
表1 群集分类
| 类别 | 功能 |
| 负载均衡群集(Load Balance Cluster) | 提高应用系统的响应能力、尽可能处理更多的访问请求、减少延迟为目标，获得高并发、高负载(LB)的整体性能。 |
| 高可用群集 (High Availability Cluster) | 提高应用系统的可靠性、尽可能地减少中断时间为目标，确保服务的连续性，达到高可用(HA) 的容错效果。 HA的工作方式包括双工和主从两种模式，双工即所有节点同时在线；主从则只有主节点在线，但当出现故障时从节点能自动切换为主节点。 例如：“故障切换”、“双机热备” 等。 |
| 高性能群集(High Performance Computer Cluster) | 以提高应用系统的CPU运算速度、扩展硬件资源和分析能力为目标，获得相当于大型、超级计算机的高性能运算(HPC)能力。 高性能依赖于"分布式运算”、“并行计算” ， 通过专用硬件和软件将多个服务器的CPU、内存等资源整合在一起，实现只有大型、超级计算机才具备的计算能力。 例如，“云计算”、“网格计算”等。 |
3.负载均衡群集架构
负载均衡的结构有3层：
表2 负载均衡结构
| 层数 | 名称 | 功能 |
| 第一层 | 负载调度器(Load Balancer或Director) | 访问整个群集系统的唯一入口， 对外使用所有服务器共有的VIP地址，也称为群集IP地址。通常会配置主、备两台调度器实现热备份，当主调度器失效以后能够平滑替换至备用调度器，确保高可用性。 |
| 第二层 | 服务器池(Server Pool) | 群集所提供的应用服务、由服务器池承担，其中每个节点具有独立的RIP地址(真实IP)，只处理调度器分发过来的客户机请求。当某个节点暂时失效时，负载调度器的容错机制会将其隔离，等待错误排除以后再重新纳入服务器池。 |
| 第三层 | 共享存储(Share Storage) | 为服务器池中的所有节点提供稳定、一致的文件存取服务， 确保整个群集的统一性共享存储可以使用NAS设备,或者提供NFS共享服务的专用服务器。 |
4.负载均衡群集工作模式
（1）分类
负载均衡群集是目前企业用得最多的群集类型,群集的负载调度技术有3种工作模式:
① 地址转换（NAT模式）
② IP隧道 （TUN模式）
③ 直接路由（DR模式）
（2）描述
负载调度工作模式有3种：
表3 负载调度工作模式
| 模式 | 功能 |
| NAT模式 | 地址转换（Network Address Translation），简称NAT模式 类似于防火墙的私有网络结构，负载调度器作为所有服务器节点的网关，即作为客户机的访问入口，也是各节点回应客户机的访问出口。 服务器节点使用私有IP地址，与负载调度器位于同一个物理网络，安全性要优于其他两种方式。 |
| TUN模式 | IP隧道（IP Tunnel）,简称TUN模式，采用开放式的网络结构，负载调度器仅作为客户机的访问入口，各节点通过各自的Internet连接直接回应客户机，而不再经过负载调度器。 |
| DR模式 | 直接路由（Direct Routing），简称DR模式。 |
（3）比较
表4 工作模式比较
| 内容 | NAT | TUN | DR |
| 优点 | 端口转换 | WAN | 性能最好 |
| 缺点 | 性能瓶颈 | 服务器支持隧道模式 | 不支持跨网段 |
| 真实服务器要求 | any | Tunneling | Non-arp device |
| 支持网络 | private(私网) | LAN /WAN(私网/公网) | LAN(私网) |
| 真实服务器数量 | low(10-20) | High(100) | High（100） |
| 真实服务器网关 | lvs内网地址 | Own router(网工定义) | Own router(网工定义) |
（4）NAT模式
① 数据流量分析：
（5）TUN模式
① 数据包流向分析：
（6）DR模式
① 数据包流向分析：
② 特点：
表5 DR模式特点
| 名称 | 含义 | 备注 |
| DS（Director Server） | 前端负载均衡节点服务器 | Director Server作为群集的访问入口，但不作为网关使用； 所有的请求报文经由 Director Server，但回复响应报文不能经过 Director Server。 Director Server 和 Real Server 必须在同一个物理网络中。 |
| RS（Real SERVER） | 后端真实服务器 | Real Server 的网关不允许指向 Director ServeIP，即RealServer发送的数据包不允许经过 Director Server； Real Server 上的 lo 接口配置 VIP 的 IP 地址。 |
| CIP（Client IP） | 客户端IP地址 | |
| VIP（Virtual IP） | 负载均衡对外提供访问的IP地址，一般负载均衡IP都会通过Viirtual IP实现高可用 | |
| RIP（RealServer IP） | 负载均衡后端的真实服务器IP地址 | Real Server 可以使用私有地址，也可以使用公网地址。如果使用公网地址，可以通过互联网对 RIP 进行直接访问 |
5.LVS虚拟服务器
（1）概念
LVS(Linux Virtual Server)，针对Linux内核开发的负载均衡解决方案，LVS 实际上相当于基于IP地址的虚拟化应用， 为基于IP地址和内容请求分发的负载均衡提出了一种高效的解决方法。
LVS现在已成为Linux内核的一部分，默认编译为ip_ vs模块，必要时能够自动调用。在CentOS 7系统中，以下操作可以手动加载ip_ vs模块，并查看当前系统中ip_ vs模块的版本信息。
modprobe ip_vs
cat /proc/net/ip_vs #确认内核对LVS的支持6.LVS的负载调度算法
（1）调度算法
表6 调度算法
| 类别 | 算法 | 简写 | 功能 |
| 固定调度算法 | 轮询（Round Robin） | rr | 将收到的访问请求安装顺序轮流分配给群集指定各节点（真实服务器），均等地对待每一台服务器，而不管服务器实际的连接数和系统负载。 |
| 加权轮询（Weighted Round Robin） | wrr | 依据不同RS的权值分配任务。权重值较高的RS将优先获得任务，并且分配到的连接数将比权值低的RS更多。相同权值的RS得到相同数目的连接数。 | |
| 目的地址哈希调度（destination hashing） | dh | 以目的地址为关键字查找一个静态hash表来获得所需RS。 | |
| 源地址哈希调度（source hashing） | sh | 以源地址为关键字查找--个静态hash表来获得需要的RS。 | |
| 最小连接数调度（ Least Connections） | lc | ipvs表存储了所有活动的连接。LB会比较将连接请求发送到当前连接最少的RS。 根据真实服务器已建立的连接数进行分配，将收到的访问请求优先分配给连接数最少的节点。 | |
| 动态调度算法 | 加权最小连接数调度（Weighted Least Connections） | wlc | 假设各台RS的权值依次为Wi，当前tcp连接数依次为Ti，依次取Ti/Wi为最小的RS作为下一个分配的RS。 |
| 基于地址的最小连接数调度(locality-based least-connection) | lblc | 将来自同一个目的地址的请求分配给同一台RS，此时这台服务器是尚未满负荷的。否则就将这个请求分配给连接数最小的RS，并以它作为下一次分配的首先考虑。 |
7.ipvsadm工具
（1）概念
ipvsadm 是在负载调度器上使用的 LVS 群集管理工具，通过调用 ip_vs 模块来添加、删除服务器节点 ，以及查看集群运行状态，在CentOS 7系统中，需安装软件包。
yum -y install ipvsadm
ipvsadm -vLVS 群集的管理工作主要包括创建虚拟服务器、添加服务器节点、查看群集节点状态、 删除服务器节点和保存负载分配策略。
（2）ipvsadm功能与选项说明
表7 ipvsadm功能与选项说明
| 选项 | 功能 |
| -A | 添加虚拟服务器 |
| -D | 删除整个虚拟服务器 |
| -s | 指定负载调度算法（轮询：rr、加权轮询：wrr、最少连接：lc、加权最少连接：wlc） |
| -a | 表示添加真实服务器（节点服务器） |
| -d | 删除某一个节点 |
| -t | 指定 VIP地址及 TCP端口 |
| r | 指定 RIP地址及 TCP端口 |
| -m | 表示使用 NAT群集模式 |
| -g | 表示使用 DR模式 |
| -i | 表示使用 TUN模式 |
| -w | 设置权重（权重为 0 时表示暂停节点） |
| -p 60 | 表示保持长连接60秒 |
| -l | 列表查看 LVS 虚拟服务器（默认为查看所有） |
| -n | 以数字形式显示地址、端口等信息，常与“-l”选项组合使用。ipvsadm -ln |
8. arp_announce和arp_ignore
arp_ignore和arp_announce参数都和ARP协议相关，主要用于控制系统返回arp响应和发送arp请求时的动作。这两个参数很重要，特别是在LVS的DR场景下，它们的配置直接影响到DR转发是否正常。
（1）arp_ignore参数的作用是控制系统在收到外部的arp请求时，是否要返回arp响应。
arp_ignore参数常用的取值主要有0，1，2，3~8较少用到：
| 取值 | 功能 | 备注 |
| 0 | 响应任意网卡上接收到的对本机IP地址的arp请求（包括环回网卡上的地址），而不管该目的IP是否在接收网卡上。 | |
| 1 | 只响应目的IP地址为接收网卡上的本地地址的arp请求。 | 抑制ARP解析，当有ARP广播的时候不解析。 |
| 2 | 只响应目的IP地址为接收网卡上的本地地址的arp请求，并且arp请求的源IP必须和接收网卡同网段。 | |
| 3 | 如果ARP请求数据包所请求的IP地址对应的本地地址其作用域（scope）为主机（host），则不回应ARP响应数据包，如果作用域为全局（global）或链路（link），则回应ARP响应数据包。 | |
| 4~7 | 保留未使用 | |
| 8 | 不回应所有的arp请求 |
sysctl.conf中包含all和ens/lo（具体网卡）的arp_ignore参数，取其中较大的值生效。
（2）arp_announce的作用是控制系统在对外发送arp请求时，如何选择arp请求数据包的源IP地址。
arp_announce参数常用的取值有0，1，2：
| 取值 | 功能 |
| 0 | 允许使用任意网卡上的IP地址作为arp请求的源IP，通常就是使用数据包a的源IP。 |
| 1 | 尽量避免使用不属于该发送网卡子网的本地地址作为发送arp请求的源IP地址。 |
| 2 | 忽略IP数据包的源IP地址，选择该发送网卡上最合适的本地地址作为arp请求的源IP地址。 |
（3）arp_ignore和arp_announce参数在DR模式下的作用
① arp_ignore
因为DR模式下，每个真实服务器节点都要在环回网卡上绑定虚拟服务IP。这时候，如果客户端对于虚拟服务IP的arp请求广播到了各个真实服务器节点，如果arp_ignore参数配置为0，则各个真实服务器节点都会响应该arp请求，此时客户端就无法正确获取LVS节点上正确的虚拟服务IP所在网卡的MAC地址。假如某个真实服务器节点A的网卡eth1响应了该arp请求，客户端把A节点的eth1网卡的MAC地址误认为是LVS节点的虚拟服务IP所在网卡的MAC，从而将业务请求消息直接发到了A节点的eth1网卡。这时候虽然因为A节点在环回网卡上也绑定了虚拟服务IP，所以A节点也能正常处理请求，业务暂时不会受到影响。但时此时由于客户端请求没有发到LVS的虚拟服务IP上，所以LVS的负载均衡能力没有生效。造成的后果就是，A节点一直在单节点运行，业务量过大时可能会出现性能瓶颈。
所以DR模式下要求arp_ignore参数要求配置为1。
② arp_announce
每个机器或者交换机中都有一张arp表，该表用于存储对端通信节点IP地址和MAC地址的对应关系。当收到一个未知IP地址的arp请求，就会再本机的arp表中新增对端的IP和MAC记录；当收到一个已知IP地址（arp表中已有记录的地址）的arp请求，则会根据arp请求中的源MAC刷新自己的arp表。
如果arp_announce参数配置为0，则网卡在发送arp请求时，可能选择的源IP地址并不是该网卡自身的IP地址，这时候收到该arp请求的其他节点或者交换机上的arp表中记录的该网卡IP和MAC的对应关系就不正确，可能会引发一些未知的网络问题，存在安全隐患。
所以DR模式下要求arp_announce参数要求配置为2。
二、LVS负载均衡群集部署-NAT模式
1.部署
（1）环境准备
负载调度器：内网关 ens33：192.168.204.70，外网关 ens36：12.0.0.1
Web节点服务器1：192.168.204.80
Web节点服务器2：192.168.204.90
NFS共享服务器：192.168.204.60
客户端：12.0.0.12表8 部署NAT模式
| 功能 | IP地址 |
| 客户机 | 12.0.0.12 |
| 负载调度器 | 内网关 ens33：192.168.204.70 外网关 ens36：12.0.0.1 |
| 服务器池 | Web服务器1：192.168.204.80 Web服务器2：192.168.204.90 |
| 共享存储 | NFS共享服务器：192.168.204.60 |
（2）部署共享存储（NFS服务器：192.168.204.60）
① #关闭防火墙
systemctl stop firewalld
setenforce 0
② #安装nfs服务
yum install nfs-utils rpcbind -y
③ #新建目录，并创建站点文件
cd /opt/
mkdir david jack
echo 'this is david web!' > /opt/david/index.html
echo 'this is jack web!' > /opt/jack/index.html
④ #开启服务
systemctl start rpcbind
systemctl start nfs
⑤ #授权
chmod 777 david/ jack/
⑥ #设置共享策略
vim /etc/exports
/opt/david 192.168.204.0/24(rw,sync)
/opt/jack 192.168.204.0/24(rw,sync)
⑦ #发布服务
showmount -e 192.168.204.0/24
或
exportfs -rv
（3）配置Web服务器1（192.168.204.80）
① #关闭防火墙
systemctl stop firewalld
setenforce 0
② #安装httpd、nfs-utils和rpcbind程序
yum install -y httpd
yum install nfs-utils rpcbind -y
③#查看nfs服务
showmount -e 192.168.204.60
④ #挂载站点
#法一：临时挂载
df
cat /var/www/html/index.html
mount 192.168.204.60:/opt/david /var/www/html/
#法二：永久挂载
vim /etc/fstab
192.168.204.60:/opt/david/ /var/www/html/ nfs defaults,_netdev 0 0
mount -a
⑤ #开启httpd服务并设置开机自启动
systemctl start httpd
systemctl enable httpd
⑥ #指定网关
vim /etc/sysconfig/network-scripts/ifcfg-ens33
GATEWAY=192.168.204.70
#DNS1=8.8.8.8
⑦ #重启网络服务
systemctl restart network（4）配置Web服务器2（192.168.204.90）
① #关闭防火墙
systemctl stop firewalld
setenforce 0
② #安装httpd、nfs-utils和rpcbind程序
yum install -y httpd
yum install nfs-utils rpcbind -y
③#查看nfs服务
showmount -e 192.168.204.60
④ #挂载站点
#法一：临时挂载
df
cat /var/www/html/index.html
mount 192.168.204.60:/opt/jack /var/www/html/
#法二：永久挂载
vim /etc/fstab
192.168.204.60:/opt/jack/ /var/www/html/ nfs defaults,_netdev 0 0
mount -a
⑤ #开启httpd服务并设置开机自启动
systemctl start httpd
systemctl enable httpd
⑥ #指定网关
vim /etc/sysconfig/network-scripts/ifcfg-ens33
GATEWAY=192.168.204.70
#DNS1=8.8.8.8
⑦ #重启网络服务
systemctl restart network（5）配置负载调度器（内网关 ens33：192.168.204.70，外网关 ens36：12.0.0.1）
① #关闭防火墙
systemctl stop firewalld
setenforce 0
② #安装ipvsadm
yum install ipvsadm.x86_64 -y
③ #打开路由转发功能
vim /etc/sysctl.conf
net.ipv4.ip_forward = 1
sysctl -p
④ #防火墙做策略
#清空策略
iptables -F
#添加策略
iptables -t nat -A POSTROUTING -s 192.168.204.0/24 -o ens36 -j SNAT --to 12.0.0.1
#查看策略
iptables -nL -t nat
⑤ #加载LVS内核模块
modprobe ip_vs
cat /proc/net/ip_vs
⑥ #开启ipvsadm服务
ipvsadm-save > /etc/sysconfig/ipvsadm
systemctl start ipvsadm.service
⑦ #清空策略
ipvsadm -C
⑧ #制定策略
#指定IP地址 外网的入口 -s rr 轮询
ipvsadm -A -t 12.0.0.1:80 -s rr
#先指定虚拟服务器再添加真实服务器地址，-r:真实服务器地址 -m指定nat模式
ipvsadm -a -t 12.0.0.1:80 -r 192.168.204.80:80 -m
ipvsadm -a -t 12.0.0.1:80 -r 192.168.204.90:80 -m
#开启服务
ipvsadm
⑨ 查看策略
ipvsadm -ln（6）Windows客户机验证
浏览器中进行测试（不断刷新浏览器测试负载均衡效果，刷新间隔需长点）
三、LVS负载均衡群集-DR模式
1.部署
（1）环境准备
DR 服务器：192.168.204.70
Web 服务器1：192.168.204.80
Web 服务器2：192.168.204.90
客户端：192.168.204.250
vip（虚拟回环）：192.168.204.23（2）配置DR负载调度器（192.168.204.70）
① #关闭防火墙
systemctl stop firewalld.service
setenforce 0
② #安装ipvsadm工具
yum install ipvsadm.x86_64 -y
③ #配置虚拟IP地址（VIP：192.168.204.23）
cd /etc/sysconfig/network-scripts/
cp ifcfg-ens33 ifcfg-ens33:0
vim ifcfg-ens33:0
#删除UUID，dns与网关，注意子网
NAME=ens33:0
DEVICE=ens33:0
IPADDR=192.168.204.23
NETMASK=255.255.255.255
④ #重启网络服务、启动网卡
systemctl restart network
ifup ifcfg-ens33:0
⑤ #调整/proc响应参数
#对于 DR 群集模式来说，由于 LVS 负载调度器和各节点需要共用 VIP 地址，应该关闭 Linux 内核的重定向参数响应服务器不是一台路由器，那么它不会发送重定向，所以可以关闭该功能
vi /etc/sysctl.conf
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
⑥ #刷新配置
sysctl -p
⑦ #加载模块
modprobe ip_vs
cat /proc/net/ip_vs
⑧ #配置负载分配策略，并启动服务
ipvsadm-save > /etc/sysconfig/ipvsadm
systemctl start ipvsadm.service
⑨ #清空ipvsadm，并做策略
##添加真实服务器-a 指定VIP地址及TCP端口-t 指定RIP地址及TCP端口 -r 指定DR模式-g
ipvsadm -C
ipvsadm -A -t 192.168.204.23:80 -s rr
ipvsadm -a -t 192.168.204.23:80 -r 192.168.204.80:80 -g
ipvsadm -a -t 192.168.204.23:80 -r 192.168.204.90:80 -g
⑩ #保存设置
ipvsadm
ipvsadm -ln
ipvsadm-save > /etc/sysconfig/ipvsadm
（3）配置第一台Web服务器（VIP：192.168.204.80）
① #关闭防火墙
systemctl stop firewalld.service
setenforce 0
② #安装httpd、开启服务
yum install httpd -y
systemctl start httpd
③ #创建一个站点文件
vim /var/www/html/index.html
this is david
④ #添加回环网卡,修改回环网卡名，IP地址，子网掩码
cd /etc/sysconfig/network-scripts/
cp ifcfg-lo ifcfg-lo:0
vim ifcfg-lo:0
DEVICE=lo:0
IPADDR=192.168.204.23
NETMASK=255.255.255.255
NETWORK=127.0.0.0
systemctl restart network
⑤ #设置路由
route add -host 192.168.204.23 dev lo:0
route -n
⑥ #开机执行命令
vim /etc/rc.d/rc.local
/usr/sbin/route add -host 192.168.204.23 dev lo:0
chmod +x /etc/rc.d/rc.local
⑦ #调整 proc 响应参数
#添加系统只响应目的IP为本地IP的ARP请求
#系统不使用原地址来设置ARP请求的源地址，而是物理mac地址上的IP
vim /etc/sysctl.conf
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
⑧ #刷新配置
sysctl -p
（4）配置第二台Web服务器（VIP：192.168.204.90）
① #关闭防火墙
systemctl stop firewalld.service
setenforce 0
② #安装httpd、开启服务
yum install httpd -y
systemctl start httpd
③ #创建一个站点文件
vim /var/www/html/index.html
this is jack
④ #添加回环网卡,修改回环网卡名，IP地址，子网掩码
cd /etc/sysconfig/network-scripts/
cp ifcfg-lo ifcfg-lo:0
vim ifcfg-lo:0
DEVICE=lo:0
IPADDR=192.168.204.23
NETMASK=255.255.255.255
NETWORK=127.0.0.0
systemctl restart network
⑤ #设置路由
route add -host 192.168.204.23 dev lo:0
route -n
⑥ #开机执行命令
vim /etc/rc.d/rc.local
/usr/sbin/route add -host 192.168.204.23 dev lo:0
chmod +x /etc/rc.d/rc.local
⑦ #调整 proc 响应参数
#添加系统只响应目的IP为本地IP的ARP请求
#系统不使用原地址来设置ARP请求的源地址，而是物理mac地址上的IP
vim /etc/sysctl.conf
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
⑧ #刷新配置
sysctl -p
（5）在客户机上测试（客户端：192.168.204.250）
#DR负载调度服务器
ping 192.168.204.70
#Web服务器1
ping 192.168.204.80
#Web服务器2
ping 192.168.24.90（6）负载均衡测试
使用浏览器访问 http://192.168.204.23
四、实验
1.LVS-NAT模式
（1）部署共享存储（NFS服务器：192.168.204.60）
网卡
① 关闭防火墙
② 安装nfs服务
③ 新建目录，并创建站点文件
④ 开启服务
⑤ 授权
⑥ 设置共享策略
⑦ 发布服务
或者
（2）配置Web服务器1（192.168.204.80）
① 关闭防火墙
② 安装httpd、nfs-utils和rpcbind程序
③查看nfs服务
④ 挂载站点
⑤ 开启httpd服务并设置开机自启动
⑥ 指定网关
⑦ 重启网络服务
（3）配置Web服务器2（192.168.204.90）
① 关闭防火墙
② 安装httpd、nfs-utils和rpcbind程序
③查看nfs服务
④ #挂载站点
⑤ 开启httpd服务并设置开机自启动
⑥ 指定网关 
⑦ 重启网络服务
（4）配置负载调度器（内网关 ens33：192.168.204.70，外网关 ens37：12.0.0.1）
内网关
外网关
① 关闭防火墙
② 安装ipvsadm
③ 打开路由转发功能
④ 防火墙做策略
清空策略
配置SNAT策略，实现snat功能，将所有192.168.204.0这个网段的ip的源ip改为12.0.0.1
查看策略
⑤ 加载LVS内核模块
⑥ 开启ipvsadm服务
⑦ 清空策略
指定IP地址 外网的入口 -s rr 轮询
⑨ 查看策略
（5）Windows客户机验证
浏览器中进行测试（不断刷新浏览器测试负载均衡效果，刷新间隔需长点）
2.DR模式
（1）配置DR负载调度器（192.168.204.70）
① 关闭防火墙
② 安装ipvsadm工具
③ 配置虚拟IP地址（VIP：192.168.204.23）
④ #重启网络服务、启动网卡
⑤ 调整/proc响应参数 
⑥ 刷新配置
⑦ 加载模块
⑧ 配置负载分配策略，并启动服务
⑨ 清空ipvsadm，并做策略
⑩ 保存设置
（2）配置第一台Web服务器（VIP：192.168.204.80）
① 关闭防火墙
② 安装httpd、开启服务
③ 创建一个站点文件
④ 添加回环网卡,修改回环网卡名，IP地址，子网掩码
⑤ 设置路由
⑥ 开机执行命令
⑦ 调整 proc 响应参数
⑧ 刷新配置
（3）配置第二台Web服务器（VIP：192.168.204.90）
① 关闭防火墙
② 安装httpd、开启服务
③ 创建一个站点文件
④ 添加回环网卡,修改回环网卡名，IP地址，子网掩码
⑤ 设置路由
⑥ 开机执行命令
⑦ 调整 proc 响应参数
⑧ 刷新配置
（4）在客户机上测试（客户端：192.168.204.250）
① DR负载调度服务器
② Web服务器1
③ Web服务器2
（5）负载均衡测试
使用浏览器访问 http://192.168.204.23
五、问题
1.LVS-DR中的ARP问题
（1）在LVS-DR负载均衡集群中，负载均衡器与节点服务器都要配置相同的VIP地址，在局域网中具有相同的IP地址，势必会造成各服务器ARP通信的紊乱。当ARP广播发送到LVS-DR集群时，因为负载均衡器和节点服务器都是连接到相同的网络上，它们都会接收到ARP广播。
只有前端的负载均衡器进行响应，其他节点服务器不应该响应ARP广播。
解决方法：
对节点服务器进行处理，使其不响应针对VIP的ARP请求。
使用虚接口lo:0承载VIP地址设置内核参数arp_ ignore=1: 系统只响应目的IP为本地IP的ARP请求。
（2）RealServer返回报文(源IP是VIP)经路由器转发，重新封装报文时,需要先获取路由器的MAC地址发送ARP请求时，Linux默认使用IP包的源IP地址(即VIP) 作为ARP请求包的源IP地址，而不使用发送接口的IP地址。路由器收到ARP请求后，将更新ARP表项。原有的VIP对应Director的MAC地址会被更新为VIP对应RealServer的MAC地址。所以，路由表根据ARP表项，会将新来的请求报文转发给RealServer,导致Director的VIP失效。
解决方法：
对节点服务器进行处理，设置内核参数arp_ announce=2: 系统不使用IP包的源地址来设置ARP请求的源地址，而选择发送接口的IP地址。
2.集群与分布式的区别
（1）集群
集群：同一个业务系统，部署在多台服务器上。集群中，每一台服务器实现的功能没有差别，数据和代码都是一样的。
（2）分布式
分布式：一个业务被拆成多个子业务，或者本身就是不同的业务，部署在多台服务器上。分布式中，每一台服务器实现的功能是有差别的，数据和代码也是不一样的，分布式每台服务器功能加起来，才是完整的业务。
3.添加网卡无配置文件问题
（1）通过ip addr得知网卡已经添加，但是配置文件却没有
（2）使用nmcli con show命令，查看网卡的UUID信息，记下UUID值
（3）使用ip addr命令查看网卡信息，记下ens37网卡的MAC地址
（4）将 /etc/sysconfig/network-scripts/目录中ifcfg-ens33文件复制一份，并命名为 ifcfg-ens37，重新修改配置文件，注意修改必要的硬件信息
[root@localhost ~]# cd /etc/sysconfig/network-scripts/
[root@localhost network-scripts]# cp ifcfg-ens33 ifcfg-ens36
（5）重启网卡测试
4.删除POSTROUTING规则报错
解决方法：显式添加表名
5.ARP问题
（1）IP 地址冲突
① 问题
在LVS-DR负载均衡集群中，负载均衡器与节点服务器都要配置相同的VIP地址，在局域网中具有相同的IP地址。势必会造成各服务器ARP通信的紊乱。
当ARP广播发送到LVS-DR集群时，因为负载均衡器和节点服务器都是连接到相同的网络上，它们都会接收到ARP广播。
只有前端的负载均衡器进行响应，其他节点服务器不应该响应ARP广播
② 解决方法
对节点服务器进行处理，使其不响应针对VIP的ARP请求。用虚接口lo:0承载VIP地址，
设置内核参数arp_ ignore=1: 系统只响应目的IP为本地IP的ARP请求。
路由器发送ARP请求（广播）
ARP---->广播去找ip地址解析成mac地址 默认使用调度服务器上的外网地址（vip地址）响应，
需要在真实服务器上修改内核参数
使真实服务器只对自己服务器上的真实IP地址响应ARP解析。（2）第二次再有访问请求
① 问题
RealServer返回报文（源IP是VIP）经路由器转发，重新封装报文时，需要先获取路由器的MAC地址，发送ARP请求时，Linux默认使用IP包的源IP地址（即VIP）作为ARP请求包中的源IP地址，而不使用发送接口的IP地址，路由器收到ARP请求后，将更新ARP表项，原有的VIP对应Director的MAC地址会被更新为VIP对应RealServer的MAC地址。路由器根据ARP表项，会将新来的请求报文转发给RealServer，导致Director的VIP失效。
② 解决方法
对节点服务器进行处理，设置内核参数arp_announce=2：系统不使用IP包的源地址来设置ARP请求的源地址，而选择发送接口的IP地址。
路由器上绑定了 真实服务器1的mac信息，
#请求到达真实服务器
在真实服务器上修改内核参数
只对所有服务器真实网卡上的地址进行反馈，解析六、总结
集群由多台主机构成，但对外只表现为一个整体，只提供一个访问入口（域名或IP地址），相当于一台大型计算机。
负载均衡集群的结构为第一层负载调度器、第二层服务器池、第三层共享存储。
LVS负载均衡集群的三种工作模式为NAT地址转换模式、DR直接路由模式、TUNNEL隧道模式。
arp_ignore=1，防止网关路由发送ARP广播时调度调节器和节点服务器都进行响应，导致ARP缓存表紊乱，不对非本地物理网卡的ARP请求进行响应，因为vip时，承载lo:0。
arp_announce=2，系统不使用响应数据的源IP地址（VIP）来作为本机进行ARP请求报文的源IP地址，而使用发送报文的物理网卡IP地址作为ARP请求报文的源IP地址，这样可以防止网关路由器接收到的源IP地址为VIP的ARP请求报文后又更新ARP缓存表，导致外网再发送请求时，数据包到达不了调度器。
163
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
