LVS负载均衡

五维猕猴桃

已于 2023-10-30 17:06:52 修改

阅读量231

点赞数

文章标签： lvs 负载均衡运维 centos 服务器 linux

于 2023-10-08 19:05:39 首次发布

本文链接：https://blog.csdn.net/sing_lala/article/details/133688094

版权

LVS负载均衡

1. LVS简介

LVS（Linux Virtual Server）即Linux虚拟服务器，是一个基于Linux的开源负载均衡器项目，用于在高流量网络环境中分发和平衡网络流量。目前LVS已经被集成到Linux内核模块中。它提供了一个可靠的解决方桉，用于将流量分发到多个后端伺服器以实现高可用性和性能。

2. LVS原理

LVS的工作原理是将负载均衡器放置在客户端与后端服务器之间，并通过调度算法将请求分发到适当的后端服务器上。这样可以实现流量的平衡和分散，以避免单一服务器的过载，提高系统的可靠性和可扩展性。

用户从外部访问公司的外部负载均衡服务器，终端用户的Web请求会发送给LVS调度器，调度器根据自己预设的算法决定将该请求发送给后端的某台Web服务器，比如，轮询算法可以将外部的请求平均分发给后端的所有服务器，终端用户访问LVS调度器虽然会被转发到后端真实的服务器，但如果真实服务器连接的是相同的存储，提供的服务也是相同的服务，最终用户不管是访问哪台真实服务器，得到的服务内容都是一样的，整个集群对用户而言都是透明的。最后根据LVS工作模式的不同，真实服务器会选择不同的方式将用户需要的数据发送到终端用户。

3. LVS负载均衡调度算法

负载均衡中，有多种调度算法可用于将流量分配给后端服务器。以下是对几种常见调度算法的介绍：

轮询(Round Robin)算法
- 工作原理：按照顺序将请求依次分配给每个后端服务器，循环往复。
- 优点：简单、公平，确保每个后端服务器都有机会处理请求。
- 缺点：无法根据服务器的负载情况进行动态调整，无法应对服务器不同的性能差异。
最少连接数（Least Connections）算法
- 工作原理：将请求发送给当前连接数最少的后端服务器。
- 优点：可以根据服务器的实际负载情况进行动态调整，将请求分配给负载较轻的服务器。
- 缺点：需要实时跟踪每个后端服务器的连接数，增加了额外的开销。
源IP哈希（Source IP Hashing）算法
- 工作原理：根据请求的源IP地址将请求分配给特定的后端服务器，确保同一客户端的请求始终发送到同一台服务器上。
- 优点：可以确保特定客户端的会话维持在同一台服务器上，适用于需要保持会话一致性的应用。
- 缺点：当后端服务器的数量发生变化时，哈希结果可能会改变，导致请求被重新分配。
加权轮询（Weight Round Robin）算法
主要是对轮询算法的一种优化与补充，LVS会考虑每台服务器的性能，并给每台服务器添加一个权值，如果服务器A的权值为1，服务器B的权值为2，则调度器调度到服务器B的请求会是服务器A的两倍。权值越高的服务器，处理的请求越多。
最小连接调度（Least Connections）算法
工作原理：最小连接调度算法是把新的连接请求分配到当前连接数最小的服务器。最小连接调度是一种动态的调度算法，它通过服务器当前活跃的连接数来估计服务器的情况。调度器需要记录各个服务器已建立连接的数目，当一个请求被调度到某台服务器，其连接数加1；当连接中断或者超时，其连接数减1。（集群系统的真实服务器具有相近的系统性能，采用最小连接调度算法可以比较好地均衡负载。)
加权最少连接（Weight Least Connections）算法
- 工作原理：加权最少连接算法最小连接调度的超集，各个服务器相应的权值表示其处理性能。服务器的缺省权值为1，系统管理员可以动态地设置服务器的权值。加权最小连接调度在调度新连接时尽可能使服务器的已建立连接数和其权值成比例。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。
基于局部的最少连接调度（Locality-Based Least Connections）算法
- 基于局部的最少连接调度（Locality-Based Least Connections）算法是针对请求报文的目标IP地址的负载均衡调度，目前主要用于Cache集群系统，因为在Cache集群客户请求报文的目标IP地址是变化的。这里假设任何后端服务器都可以处理任一请求，算法的设计目标是在服务器的负载基本平衡情况下，将相同目标IP地址的请求调度到同一台服务器，来提高各台服务器的访问局部性和Cache命中率，从而提升整个集群系统的处理能力。LBLC调度算法先根据请求的目标IP地址找出该目标IP地址最近使用的服务器，若该服务器是可用的且没有超载，将请求发送到该服务器；若服务器不存在，或者该服务器超载且有服务器处于一半的工作负载，则使用’最少连接’的原则选出一个可用的服务器，将请求发送到服务器。
带复制的基于局部性的最少连接（Locality-Based Least Connections with Replication ）算法
- 带复制的基于局部性的最少连接算法也是针对目标IP地址的负载均衡，目前主要用于Cache集群系统，它与LBLC算法不同之处是它要维护从一个目标IP地址到一组服务器的映射，而LBLC算法维护从一个目标IP地址到一台服务器的映射。按’最小连接’原则从该服务器组中选出一一台服务器，若服务器没有超载，将请求发送到该服务器；若服务器超载，则按’最小连接’原则从整个集群中选出一台服务器，将该服务器加入到这个服务器组中，将请求发送到该服务器。同时，当该服务器组有一段时间没有被修改，将最忙的服务器从服务器组中删除，以降低复制的程度。
  工作模式的解析
目标地址散列调度（Destination Hashing）算法
- 目标地址散列调度算法先根据请求的目标IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且并未超载，将请求发送到该服务器，否则返回空。
源地址散列调度（Source Hashing）算法
- 源地址散列调度算法先根据请求的源IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且并未超载，将请求发送到该服务器，否则返回空。它采用的散列函数与目标地址散列调度算法的相同，它的算法流程与目标地址散列调度算法的基本相似。、
最短的期望的延迟（Shortest Expected Delay）算法
- 最短的期望的延迟调度算法基于加权最少连接算法。举个例子吧，ABC三台服务器的权重分别为1、2、3 。那么如果使用WLC算法的话一个新请求进入时它可能会分给ABC中的任意一个。使用SED算法后会进行一个运算
  
  A：（1+1）/1=2 B：（1+2）/2=3/2 C：（1+3）/3=4/3 就把请求交给得出运算结果最小的服务器。
最少队列调度（Never Queue）算法
- 最少队列调度算法，无需队列。如果有realserver的连接数等于0就直接分配过去，不需要在进行SED运算。

4. LVS负载均衡三种工作模式

4.1 基于NAT的LVS模式负载均衡(LVS-NAT)

NAT（Network Address Translation）即网络地址转换，其作用是通过数据报头的修改，使得位于企业内部的私有IP地址可以访问外网，以及外部用用户可以访问位于公司内部的私有IP主机。它的原理就是把客户端发来的数据包的IP头的目的地址，在负载均衡器上换成其中一台RS的IP地址并发至此RS来处理，RS处理完后把数据交给负载均衡器,负载均衡器再把数据包原IP地址改为自己的IP，将目的地址改为客户端IP地址即可期间，无论是进来的流量，还是出去的流量，都必须经过负载均衡。

具体工作流程如下：

配置前端负载均衡器：在前端负载均衡器上运行LVS软件，并配置其网络接口和IP地址。负载均衡器通常使用一个公共IP地址，作为对外提供服务的入口。
配置后端真实服务器群：在后端配置一组真实服务器，这些服务器提供相同的服务。每个真实服务器都有自己的唯一IP地址。
配置NAT映射规则：在前端负载均衡器上配置NAT映射规则，将前端负载均衡器的公共IP地址和端口映射到后端真实服务器的IP地址和端口。这样，当前端接收到客户端的请求时，根据负载均衡算法选择一个后端服务器，并将请求转发给该服务器。
数据包转发：前端负载均衡器接收到客户端的请求后，会将请求的目标IP地址和端口替换为选择的后端服务器的IP地址和端口。然后，它将修改后的请求数据包转发到相应的后端服务器。
响应返回：后端服务器处理请求并生成响应后，将响应数据包返回给前端负载均衡器。负载均衡器根据映射规则将响应数据包中的目标IP地址和端口转换回客户端的真实地址，并将响应发送给客户端。

具体来说就是：

第一步，用户通过互联网DNS服务器解析到公司负载均衡设备上面的外网地址，相对于真实服务器而言，LVS外网IP又称VIP（Virtual IP Address），用户通过访问VIP，即可连接后端的真实服务器（Real Server），而这一切对用户而言都是透明的，用户以为自己访问的就是真实服务器，但他并不知道自己访问的VIP仅仅是一个调度器，也不清楚后端的真实服务器到底在哪里、有多少真实服务器。
第二步，用户将请求发送至124.126.147.168，此时LVS将根据预设的算法选择后端的一台真实服务器（192.168.0.1~192.168.0.3），将数据请求包转发给真实服务器，并且在转发之前LVS会修改数据包中的目标地址以及目标端口，目标地址与目标端口将被修改为选出的真实服务器IP地址以及相应的端口。

第三步，真实的服务器将响应数据包返回给LVS调度器，调度器在得到响应的数据包后会将源地址和源端口修改为VIP及调度器相应的端口，修改完成后，由调度器将响应数据包发送回终端用户，另外，由于LVS调度器有一个连接Hash表，该表中会记录连接请求及转发信息，当同一个连接的下一个数据包发送给调度器时，从该Hash表中可以直接找到之前的连接记录，并根据记录信息选出相同的真实服务器及端口信息。

LVS-NAT的特点

网络地址转换：LVS-NAT使用网络地址转换（NAT）技术，将请求的源地址和端口转换为负载均衡器的地址和端口，然后将其转发到相应的真实服务器上。
连接保持：LVS-NAT支持连接保持，即同一个客户端的多个连续请求可以被转发到同一个后端真实服务器上，保持会话的完整性。
高可用性：LVS-NAT可以配置为具有冗馀的负载均衡器，以实现高可用性。如果一个负载均衡器失效，流量可以自动转发到其他可用的负载均衡器上。
透明性：对于客户端而言，LVS-NAT是透明的，客户端只需要与负载均衡器通信，而无需直接与真实服务器进行交互。
可靠性和弹性：LVS-NAT支持多种负载均衡算法，如轮询、加权轮询等，以适应不同的负载情况和需求。
网络安全：LVS-NAT可以提供网络安全功能，如网络地址转换和端口映射，以隐藏真实服务器的信息，增强网络的安全性。
简化管理：LVS-NAT可以集中管理多个真实服务器，简化了系统管理员对服务器的配置和维护工作

4.2 基于TUN的LVS负载均衡(LVS-TUN)

在LVS（NAT）模式的集群环境中，由于所有的数据请求及响应的数据包都需要经过LVS调度器转发，如果后端服务器的数量大于10台，则调度器就会成为整个集群环境的瓶颈。我们知道，数据请求包往往远小于响应数据包的大小。因为响应数据包中包含有客户需要的具体数据，所以LVS（TUN）的思路就是将请求与响应数据分离，让调度器仅处理数据请求，而让真实服务器响应数据包直接返回给客户端。VS/TUN工作模式拓扑结构如图3所示。其中，IP隧道（IP tunning）是一种数据包封装技术，它可以将原始数据包封装并添加新的包头（内容包括新的源地址及端口、目标地址及端口），从而实现将一个目标为调度器的VIP地址的数据包封装，通过隧道转发给后端的真实服务器（Real Server），通过将客户端发往调度器的原始数据包封装，并在其基础上添加新的数据包头（修改目标地址为调度器选择出来的真实服务器的IP地址及对应端口），LVS（TUN）模式要求真实服务器可以直接与外部网络连接，真实服务器在收到请求数据包后直接给客户端主机响应数据。

工作流程如下：

配置前端负载均衡器：在前端负载均衡器上运行LVS软件，并配置其网络接口和IP地址。负载均衡器通常使用一个公共IP地址，作为对外提供服务的入口。
配置后端真实服务器群：在后端配置一组真实服务器，这些服务器提供相同的服务。每个真实服务器都有自己的唯一IP地址。
创建TUN设备：在前端负载均衡器上创建一个TUN设备，并为其配置IP地址和子网掩码。TUN设备用于与后端真实服务器通信。
配置负载均衡规则：在前端负载均衡器上配置负载均衡规则，以确定请求应该转发到哪个后端真实服务器。负载均衡算法可根据不同的需求选择，如轮询、加权轮询、哈希等。
数据包转发：当前端负载均衡器接收到客户端的请求时，根据负载均衡规则选择一个后端真实服务器。它将修改请求数据包的目标IP地址和端口，将其转发到相应的后端服务器。
响应返回：后端真实服务器处理请求并生成响应后，将响应数据包发送回前端负载均衡器。负载均衡器将修改响应数据包中的目标IP地址和端口，将响应返回给客户端。

LVS-TUN的特点

隧道转发：LVS-TUN模式通过建立隧道（tunnel）将请求从前端客户端转发到后端真实服务器。隧道是一种虚拟的通信通道，通过隧道转发可以隐藏真实服务器的IP地址和端口信息，提高系统的安全性。
单向通信：LVS-TUN模式下，负载均衡器只负责将客户端请求转发到后端真实服务器，不负责将真实服务器的响应传递回客户端。这意味着真实服务器只能做出响应，而不能主动与客户端进行通信。
无连接状态：LVS-TUN模式是一种无连接状态的负载均衡模式。负载均衡器不保留与连接相关的状态信息，每个请求都被独立处理。这样可以提高系统的可扩展性和容错性，简化系统配置和管理。
简化网络配置：LVS-TUN模式不需要对后端真实服务器进行特殊的网络配置，可以直接使用真实服务器的IP地址和端口。这简化了系统的网络部署和维护，减少了配置的复杂性。
网络可扩展性：LVS-TUN模式可以适用于不同的网络环境，并且对网络拓扑没有特殊要求。它可以适用于本地网络、广域网甚至互联网中的负载均衡场景，提供灵活性和可扩展性。

4.3 基于DR的LVS负载均衡(LVS-DR)

LVS-DR是lvs的默认模式

在LVS（TUN）模式下，由于需要在LVS调度器与真实服务器之间创建隧道连接，这同样会增加服务器的负担。与LVS（TUN）类似，DR模式也叫直接路由模式，其体系结构如图所示，该模式中LVS依然仅承担数据的入站请求以及根据算法选出合理的真实服务器，最终由后端真实服务器负责将响应数据包发送返回给客户端。与隧道模式不同的是，直接路由模式（DR模式）要求调度器与后端服务器必须在同一个局域网内，VIP地址需要在调度器与后端所有的服务器间共享，因为最终的真实服务器给客户端回应数据包时需要设置源IP为VIP地址，目标IP为客户端IP，这样客户端访问的是调度器的VIP地址，回应的源地址也依然是该VIP地址（真实服务器上的VIP），客户端是感觉不到后端服务器存在的。由于多台计算机都设置了同样一个VIP地址，所以在直接路由模式中要求调度器的VIP地址是对外可见的，客户端需要将请求数据包发送到调度器主机，而所有的真实服务器的VIP地址必须配置在Non-ARP的网络设备上，也就是该网络设备并不会向外广播自己的MAC及对应的IP地址，真实服务器的VIP对外界是不可见的，但真实服务器却可以接受目标地址VIP的网络请求，并在回应数据包时将源地址设置为该VIP地址。调度器根据算法在选出真实服务器后，在不修改数据报文的情况下，将数据帧的MAC地址修改为选出的真实服务器的MAC地址，通过交换机将该数据帧发给真实服务器。整个过程中，真实服务器的VIP不需要对外界可见。

具体流程如下：

用户发送请求：用户通过其设备（如浏览器）向负载均衡器发送请求。请求中包含目标服务的地址和端口。
负载均衡器接收请求：负载均衡器接收到用户的请求。
负载均衡器选择后端服务器：负载均衡器使用预先配置的负载均衡算法（如轮询、加权轮询、源IP哈希等）选择一个后端真实服务器来处理用户的请求。
负载均衡器修改请求：负载均衡器修改请求的目标MAC地址，将其设置为所选后端服务器的MAC地址。
负载均衡器转发请求：负载均衡器将修改后的请求直接转发给后端真实服务器，使用网络路由的方式。
后端服务器处理请求：被选择的后端真实服务器接收到请求并开始处理。它执行请求所需的操作，例如处理业务逻辑、查询数据库等。
后端服务器生成响应：后端服务器根据请求的处理结果生成响应数据。
响应返回给用户：后端服务器将生成的响应直接返回给用户的设备，绕过负载均衡器。

LVS-DR的特点

直接路由：LVS-DR模式下，负载均衡器将请求转发到后端服务器时，直接修改封包的目标MAC地址，使其绕过负载均衡器直接到达后端服务器。这样可以降低负载均衡器的处理开销，提高整个系统的吞吐量和性能。
真实服务器处理响应：LVS-DR模式下，后端真实服务器直接将生成的响应返回给用户，而不需要经过负载均衡器。这样可以减少负载均衡器的网络传输开销，提高系统的承载能力。
无连接状态：LVS-DR模式是一种无连接状态的负载均衡模式。负载均衡器仅负责选择后端服务器和修改封包，不保留任何与连接相关的状态信息。这样可以实现高度可扩展性和容错性，并简化系统配置和管理。
可靠性和高可用性：由于LVS-DR模式下负载均衡器只是转发封包并不处理响应，因此即使负载均衡器发生故障，后端服务器仍然可以正常响应客户端的请求，提高了系统的可靠性和高可用性。
网络性能优化：LVS-DR模式通过直接路由封包，减少了负载均衡器的网络处理开销，提高了网络性能。同时，后端服务器也可以直接与客户端通信，减少了请求和响应的传输路径，进一步提升了网络性能。

5. LVS-DR部署

dr模型实现http和https两种负载均衡集群，并且rs都要提供相同的私钥和证书

主机名	ip	系统版本
DR	192.168.234.123 192.168.234.200(VIP)	CentOS8
rs1	192.168.234.22 192.168.234.200(VIP)	CentOS8
rs2	192.168.234.33 192.168.234.200(VIP)	CentOS8

5.1 在两台rs下载apache

## rs1
[root@rs1 ~]# yum install -y httpd

[root@rs1 ~]# systemctl disable --now firewalld
Removed /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.

[root@rs1 ~]# setenforce 0

[root@rs1 ~]#  sed -i 's/^SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config 

[root@rs1 ~]# systemctl enable --now httpd
Created symlink /etc/systemd/system/multi-user.target.wants/httpd.service → /usr/lib/systemd/system/httpd.service.
[root@rs1 ~]# 


## rs2
[root@rs2 ~]# yum install -y httpd

[root@rs2 ~]# systemctl disable --now firewalld
Removed /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.

[root@rs2 ~]# setenforce 0

[root@rs2 ~]# sed -i 's/^SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config 

[root@rs2 ~]# systemctl enable --now httpd
Created symlink /etc/systemd/system/multi-user.target.wants/httpd.service → /usr/lib/systemd/system/httpd.service.


## DR关闭防火墙
[root@DR ~]# systemctl disable --now firewalld
Removed /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
[root@DR ~]# setenforce 0
[root@DR ~]# sed -i 's/^SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config 
[root@DR ~]#

5.2 在两台rs写入网页内容

## rs1 
[root@rs1 ~]# echo 'This is rs1' > /var/www/html/index.html

## rs2
[root@rs2 ~]# echo 'This is rs2' > /var/www/html/index.html

5.3 配置DR网卡配置文件（配置dip）

[root@DR ~]# cat /etc/sysconfig/network-scripts/ifcfg-ens160 
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static            ## 注意：必须为静态ip
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=eui64
NAME=ens160
UUID=8fafba4d-2793-474a-bb7c-0f354652cc0f
DEVICE=ens160
ONBOOT=yes
IPADDR=192.168.234.123
PREFIX=24
GATEWAY=192.168.234.2
DNS1=8.8.8.8
[root@DR ~]#

5.4 配置DR的vip

[root@DR ~]# yum install -y net-tools

## 在ens160的网卡上加一条vip
[root@DR ~]# ifconfig
ens160: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.234.123  netmask 255.255.255.0  broadcast 192.168.234.255
        inet6 fe80::20c:29ff:fe44:e420  prefixlen 64  scopeid 0x20<link>
        ether 00:0c:29:44:e4:20  txqueuelen 1000  (Ethernet)
        RX packets 73630  bytes 103295788 (98.5 MiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 23858  bytes 1331921 (1.2 MiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 127.0.0.1  netmask 255.0.0.0
        inet6 ::1  prefixlen 128  scopeid 0x10<host>
        loop  txqueuelen 1000  (Local Loopback)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
        
        
## 添加vip
[root@DR ~]# ifconfig ens160:0 192.168.234.200/32 broadcast 192.168.234.200 up


## 可以看见已经成功添加
[root@DR ~]# ifconfig
ens160: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.234.123  netmask 255.255.255.0  broadcast 192.168.234.255
        inet6 fe80::20c:29ff:fe44:e420  prefixlen 64  scopeid 0x20<link>
        ether 00:0c:29:44:e4:20  txqueuelen 1000  (Ethernet)
        RX packets 74008  bytes 103355191 (98.5 MiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 24133  bytes 1360505 (1.2 MiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

ens160:0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.234.200  netmask 0.0.0.0  broadcast 192.168.234.200
        ether 00:0c:29:44:e4:20  txqueuelen 1000  (Ethernet)

 collisions 0

5.5 编辑rs1物理网卡

## 要配静态ip
[root@rs1 ~]# cat /etc/sysconfig/network-scripts/ifcfg-ens160 
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=none
DEFROUTE=yes
IPV4_FAILURE_FATAL=yes
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=eui64
NAME=ens160
UUID=f11e417b-cd4c-4736-8c07-9f6502e04625
DEVICE=ens160
ONBOOT=yes
IPADDR=192.168.234.22
PREFIX=24
GATEWAY=192.168.234.2
DNS1=8.8.8.8
[root@rs1 ~]#

5.6 编辑rs2物理网卡

## 配置静态ip
[root@rs2 ~]# cat /etc/sysconfig/network-scripts/ifcfg-ens160 
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=none
DEFROUTE=yes
IPV4_FAILURE_FATAL=yes
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=eui64
NAME=ens160
UUID=c84808e4-cb33-4b45-a6a5-0048d7da279b
DEVICE=ens160
ONBOOT=yes
IPADDR=192.168.234.33
PREFIX=24
GATEWAY=192.168.234.2
DNS1=8.8.8.8
[root@rs2 ~]#

5.7 修改网卡内核参数

## sr1
[root@rs1 ~]# vim /etc/sysctl.conf
## 添加这两行
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
[root@rs1 ~]# sysctl -p
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
[root@rs1 ~]# yum install -y net-tools

## sr2
[root@rs2 ~]# vim /etc/sysctl.conf
## 添加这两行
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
[root@rs2 ~]# sysctl -p
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
[root@rs2 ~]# yum install -y net-tools

5.8 在rs上配置vip

## 注意：此处必须先修改网卡内核参数然后再配置vip，因为如果先配vip，vip配好后就会立马通告给别人，而修改内核参数就是为了不通告
## rs1
[root@rs1 ~]# ifconfig lo:0 192.168.234.200/32 broadcast 192.168.234.200 up

[root@rs1 ~]# ifconfig
ens160: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.234.22  netmask 255.255.255.0  broadcast 192.168.234.255
        inet6 fe80::20c:29ff:fe86:971e  prefixlen 64  scopeid 0x20<link>
        ether 00:0c:29:86:97:1e  txqueuelen 1000  (Ethernet)
        RX packets 10270  bytes 11373846 (10.8 MiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 5518  bytes 606916 (592.6 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 127.0.0.1  netmask 255.0.0.0
        inet6 ::1  prefixlen 128  scopeid 0x10<host>
        loop  txqueuelen 1000  (Local Loopback)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

lo:0: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 192.168.234.200  netmask 0.0.0.0
        loop  txqueuelen 1000  (Local Loopback)
        

## rs2
[root@rs2 ~]# ifconfig lo:0 192.168.234.200/32 broadcast 192.168.234.200 up

[root@rs2 ~]# ifconfig
ens160: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.234.33  netmask 255.255.255.0  broadcast 192.168.234.255
        inet6 fe80::20c:29ff:fe81:9835  prefixlen 64  scopeid 0x20<link>
        ether 00:0c:29:81:98:35  txqueuelen 1000  (Ethernet)
        RX packets 20180  bytes 25600057 (24.4 MiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 10018  bytes 1035629 (1011.3 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 127.0.0.1  netmask 255.0.0.0
        inet6 ::1  prefixlen 128  scopeid 0x10<host>
        loop  txqueuelen 1000  (Local Loopback)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

lo:0: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 192.168.234.200  netmask 0.0.0.0
        loop  txqueuelen 1000  (Local Loopback)

5.9 在DR上配置路由信息

[root@DR ~]# route add -host 192.168.234.200 dev ens160:0
[root@DR ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.234.2   0.0.0.0         UG    100    0        0 ens160
192.168.234.0   0.0.0.0         255.255.255.0   U     100    0        0 ens160
192.168.234.200 0.0.0.0         255.255.255.255 UH    0      0        0 ens160
[root@DR ~]#

5.10 在rs上配置路由信息

## rs1
[root@rs1 ~]# route add -host 192.168.234.200 dev lo:0
[root@rs1 ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.234.2   0.0.0.0         UG    100    0        0 ens160
192.168.234.0   0.0.0.0         255.255.255.0   U     100    0        0 ens160
192.168.234.200 0.0.0.0         255.255.255.255 UH    0      0        0 lo
[root@rs1 ~]# 


## rs2
[root@rs2 ~]# route add -host 192.168.234.200 dev lo:0
[root@rs2 ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.234.2   0.0.0.0         UG    100    0        0 ens160
192.168.234.0   0.0.0.0         255.255.255.0   U     100    0        0 ens160
192.168.234.200 0.0.0.0         255.255.255.255 UH    0      0        0 lo
[root@rs2 ~]#

5.11 在DR上添加并保存规则

## DR
[root@DR ~]# yum install -y ipvsadm
[root@DR ~]# ipvsadm -A -t 192.168.234.200:80 -s wrr
[root@DR ~]# ipvsadm -a -t 192.168.234.200:80 -r 192.168.234.22:80 -g
[root@DR ~]# ipvsadm -a -t 192.168.234.200:80 -r 192.168.234.33:80 -g
[root@DR ~]# ipvsadm -S > /etc/sysconfig/ipvsadm
[root@DR ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.234.200:80 wrr
  -> 192.168.234.22:80            Route   1      0          0         
  -> 192.168.234.33:80            Route   1      0          0         
[root@DR ~]#

5.12 在web上访问

在web端上访问

再在DR上看

[root@DR ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.234.200:80 wrr
  -> 192.168.234.22:80            Route   1      1          2         
  -> 192.168.234.33:80            Route   1      1          1 
  
## 可以看见已经有两个活跃接口

在命令行上curl

PS C:\Users\kiwi\Desktop> curl http://192.168.234.200                                                                                                                                                                                                                                                                                                                  StatusCode        : 200                                                                                                 StatusDescription : OK
Content           : This is rs2

RawContent        : HTTP/1.1 200 OK
                    Keep-Alive: timeout=5, max=100
                    Connection: Keep-Alive
                    Accept-Ranges: bytes
                    Content-Length: 12
                    Content-Type: text/html; charset=UTF-8
                    Date: Sun, 08 Oct 2023 08:36:45 GMT
                    ETag: "c...
Forms             : {}
Headers           : {[Keep-Alive, timeout=5, max=100], [Connection, Keep-Alive], [Accept-Ranges, bytes], [Content-Lengt
                    h, 12]...}
Images            : {}
InputFields       : {}
Links             : {}
ParsedHtml        : mshtml.HTMLDocumentClass
RawContentLength  : 12



PS C:\Users\kiwi\Desktop> curl http://192.168.234.200


StatusCode        : 200
StatusDescription : OK
Content           : This is rs1

RawContent        : HTTP/1.1 200 OK
                    Accept-Ranges: bytes
                    Content-Length: 12
                    Content-Type: text/html; charset=UTF-8
                    Date: Sun, 08 Oct 2023 08:36:52 GMT
                    ETag: "c-6072f91f66aa4"
                    Last-Modified: Sun, 08 Oct 2023 07:39:1...
Forms             : {}
Headers           : {[Accept-Ranges, bytes], [Content-Length, 12], [Content-Type, text/html; charset=UTF-8], [Date, Sun
                    , 08 Oct 2023 08:36:52 GMT]...}
Images            : {}
InputFields       : {}
Links             : {}
ParsedHtml        : mshtml.HTMLDocumentClass
RawContentLength  : 12



PS C:\Users\86136\Desktop>

实现HTTPS负载均衡集群

生成密钥与证书

## CA生成密钥
[root@rs1 ~]# mkdir /etc/pki/CA
[root@rs1 ~]# cd /etc/pki/CA/
[root@rs1 CA]# mkdir private
[root@rs1 CA]# (umask 077;openssl genrsa -out private/cakey.pem 2048)
[root@rs1 CA]# 

## 生成自签署证书
[root@rs1 CA]# openssl req -new -x509 -key private/cakey.pem -out cacert.pem -days 365
[root@rs1 CA]# touch index.txt && echo 01 > serial

## 生成证书
[root@rs1 CA]# touch index.txt && echo 01 > serial

[root@rs1 CA]# mkdir certs newcerts crl

[root@rs1 CA]#  cd /etc/httpd/ && mkdir ssl && cd ssl

[root@rs1 ssl]# (umask 077;openssl genrsa -out httpd.key 2048)

[root@rs1 ssl]# openssl req -new -key httpd.key -days 365 -out httpd.csr

[root@rs1 ssl]# openssl ca -in httpd.csr -out httpd.crt -days 365

[root@rs1 ssl]# ls
httpd.crt  httpd.csr  httpd.key

## 安装证书
[root@rs1 ssl]# yum -y install httpd-devel
[root@rs1 ssl]# yum -y install mod_ssl
[root@rs1 ssl]# grep -Ev '^$|^#' /etc/httpd/conf.d/ssl.conf
Listen 443 https
SSLPassPhraseDialog exec:/usr/libexec/httpd-ssl-pass-dialog
SSLSessionCache         shmcb:/run/httpd/sslcache(512000)
SSLSessionCacheTimeout  300
SSLCryptoDevice builtin
<VirtualHost _default_:443>
DocumentRoot "/var/www/html/www.kiwi.com"       ## 修改为挂证书的网站
ServerName www.kiwi.com:443                     ## 修改为挂证书的网站
ErrorLog logs/ssl_error_log
TransferLog logs/ssl_access_log
LogLevel warn
SSLEngine on
SSLHonorCipherOrder on
SSLCipherSuite PROFILE=SYSTEM
SSLProxyCipherSuite PROFILE=SYSTEM
SSLCertificateFile /etc/httpd/ssl/httpd.crt      ## 修改为相应的位置
SSLCertificateKeyFile /etc/httpd/ssl/httpd.key   ## 修改为相应的位置
<FilesMatch "\.(cgi|shtml|phtml|php)$">
    SSLOptions +StdEnvVars
</FilesMatch>
<Directory "/var/www/cgi-bin">
    SSLOptions +StdEnvVars
</Directory>
BrowserMatch "MSIE [2-5]" \
         nokeepalive ssl-unclean-shutdown \
         downgrade-1.0 force-response-1.0
CustomLog logs/ssl_request_log \
          "%t %h %{SSL_PROTOCOL}x %{SSL_CIPHER}x \"%r\" %b"
</VirtualHost>
[root@rs1 ssl]# 

## 重启服务
[root@rs1 ssl]# systemctl restart httpd

生成成功

将rs1证书复制到rs2

[root@rs2 httpd]# cd /etc/httpd/ && mkdir ssl && cd ssl
[root@rs2 ssl]# scp root@192.168.234.22:/etc/httpd/ssl/httpd.crt /etc/httpd/ssl/
[root@rs2 ssl]# scp root@192.168.234.22:/etc/httpd/ssl/httpd.key /etc/httpd/ssl/

## 下载证书
[root@rs2 ssl]# yum -y install httpd-devel mod_ssl

## 这里改为与rs1一致
[root@rs2 ssl]# grep -Ev '^$|^#' /etc/httpd/conf.d/ssl.conf
Listen 443 https
SSLPassPhraseDialog exec:/usr/libexec/httpd-ssl-pass-dialog
SSLSessionCache         shmcb:/run/httpd/sslcache(512000)
SSLSessionCacheTimeout  300
SSLCryptoDevice builtin
<VirtualHost _default_:443>
DocumentRoot "/var/www/html/www.kiwi.com"
ServerName www.kiwi.com:443
ErrorLog logs/ssl_error_log
TransferLog logs/ssl_access_log
LogLevel warn
SSLEngine on
SSLHonorCipherOrder on
SSLCipherSuite PROFILE=SYSTEM
SSLProxyCipherSuite PROFILE=SYSTEM
SSLCertificateFile /etc/httpd/ssl/httpd.crt
SSLCertificateKeyFile /etc/httpd/ssl/httpd.key
<FilesMatch "\.(cgi|shtml|phtml|php)$">
    SSLOptions +StdEnvVars
</FilesMatch>
<Directory "/var/www/cgi-bin">
    SSLOptions +StdEnvVars
</Directory>
BrowserMatch "MSIE [2-5]" \
         nokeepalive ssl-unclean-shutdown \
         downgrade-1.0 force-response-1.0
CustomLog logs/ssl_request_log \
          "%t %h %{SSL_PROTOCOL}x %{SSL_CIPHER}x \"%r\" %b"
</VirtualHost>

## 重启服务
[root@rs2 ssl]# systemctl restart httpd

再做负载均衡

## 在DR上添加规则
[root@DR ~]# ipvsadm -A -t 192.168.234.200:443 -s wrr
[root@DR ~]# ipvsadm -a -t 192.168.234.200:443 -r 192.168.234.22:443 -g
[root@DR ~]# ipvsadm -a -t 192.168.234.200:443 -r 192.168.234.33:443 -g
[root@DR ~]# ipvsadm -S > /etc/sysconfig/ipvsadm