Lvs与搭建HTTP负载均衡集群

Lvs与搭建HTTP负载均衡集群


Lvs简介

Lvs官方网站

LVS(Linux Virtual Server)即Linux虚拟服务器,是由章文嵩博士主导的开源负载均衡项目,目前LVS已经被集成到Linux内核模块中。在Linux内核中实现了基于IP的数据请求负载均衡调度方案,终端互联网用户从外部访问公司的负载均衡服务器,终端用户的Web请求会发送给LVS调度器,调度器根据自己预设的算法决定将该请求发送给后端的某台Web服务器,比如,轮询算法可以将外部的请求平均分发给后端的所有服务器,终端用户访问LVS调度器虽然会被转发到后端真实的服务器,但如果真实服务器连接的是相同的存储,提供的服务也是相同的服务,最终用户不管是访问哪台真实服务器,得到的服务内容都是一样的,整个集群对用户而言都是透明的。最后根据LVS工作模式的不同,真实服务器会选择不同的方式将用户需要的数据发送到终端用户,LVS工作模式分为NAT模式、TUN模式、以及DR模式

体系结构

在这里插入图片描述

使用LVS架设的服务器集群系统有三个部分组成:最前端的负载均衡层(Loader Balancer),中间的服务器群组层,用Server Array表示,最底层的数据共享存储层,用Shared Storage表示。在用户看来所有的应用都是透明的,用户只是在使用一个虚拟服务器提供的高性能服务。
Load Balancer层:位于整个集群系统的最前端,有一台或者多台负载调度器(Director Server)组成,LVS模块就安装在Director Server上,而Director的主要作用类似于一个路由器,它含有完成LVS功能所设定的路由表,通过这些路由表把用户的请求分发给Server Array层的应用服务器(Real Server)上。同时,在Director Server上还要安装对Real Server服务的监控模块Ldirectord,此模块用于监测各个Real Server服务的健康状况。在Real Server不可用时把它从LVS路由表中剔除,恢复时重新加入。
Server Array层:由一组实际运行应用服务的机器组成,Real Server可以是WEB服务器、MAIL服务器、FTP服务器、DNS服务器、视频服务器中的一个或者多个,每个Real Server之间通过高速的LAN或分布在各地的WAN相连接。在实际的应用中,Director Server也可以同时兼任Real Server的角色。
Shared Storage层:是为所有Real Server提供共享存储空间和内容一致性的存储区域,在物理上,一般有磁盘阵列设备组成,为了提供内容的一致性,一般可以通过NFS网络文件系统共享数据,但是NFS在繁忙的业务系统中,性能并不是很好,此时可以采用集群文件系统,例如Red hat的GFS文件系统,oracle提供的OCFS2文件系统等。
从整个LVS结构可以看出,Director Server是整个LVS的核心,目前,用于Director Server的操作系统只能是Linux和FreeBSD,linux2.6内核不用任何设置就可以支持LVS功能,而FreeBSD作为 Director Server的应用还不是很多,性能也不是很好。对于Real Server,几乎可以是所有的系统平台,Linux、windows、Solaris、AIX、BSD系列都能很好的支持。

Lvs管理工具

ipvs:内核中的协议栈上实现
ipvs是LVS软件核心,是允许在LB(负载均衡层)上,这是个基于ip层的负载均衡
ipvs的总体结构主要有ip包处理,负载均衡算法,系统配置和管理三个模块以及虚拟服务器与真实服务器链表组成。 
ipvs管理集群服务管理服务上的RS(real  server)。 
一个ipvs主机可以同时定义多个cluster server,但可能会影响调度性格。 
一个ipvs服务至少应该有一个RS。

ipvsadm:用户空间的命令行工具,用于管理集群服务器
-A 添加一个集群服务
-E 修改已添加的集群服务
-D 删除虚拟服务
-C 清空整个表
-R 从标准输入重载
-S 保存值到标准输出 
-a 向指定的client server中添加real server
-e 修改RS
-d 删除真实服务
-L/-l  列出表
-t 服务器地址是host[:port],tcp协议
-u 服务器地址是host[:port],udp协议
-r 服务器地址主机和端口,只支持端口映射的LVS类型才允许此处使用和集群服务中的不同端口
-g dr(direct routing)(default)模式
-i tun模式
-m nat模式
-w 实际服务器容器,指定权重
-n  数字格式显示ip和port,注意-n只能写在-L之后

Ipvsadm核心功能
集群服务管理:增、删、改
集群服务的RS管理:增、删、改
查看
语法:
ipvsadm  -A -t ip:port -s rr
ipvsadm  -a  -t  ip:port  -r   ip:port  -g/m/i

Ipvsadm -Ln

保存:
建议保存在/etc/sysconfig/ipvsadm
ipvsadm-save > /etc/sysconfig/ipvsadm
ipvsadm -Sn > /etc/sysconfig/ipvsadm

重载
ipvsadm -R < /etc/sysconfig/ipvsadm
systemctl  restart  ipvsadm

Lvs工作模式及原理

NAT模式:
通过网络地址转换实现的虚拟服务器
大并发访问时,调度器的性能成为瓶颈

DR模式
直接使用路由技术实现虚拟服务器
节点服务器需要配置VIP,注意MAC地址广播

TUN模式
通过隧道方式实现虚拟服务

NAT模式原理:
这个是通过网络地址转换的方法来实现调度的。首先调度器(LB)接收到客户的请求数据包时(请求的目的IP为VIP),根据调度算法决定将请求发送给哪个后端的真实服务器(RS)。然后调度就把客户端发送的请求数据包的目标IP地址及端口改成后端真实服务器的IP地址(RIP),这样真实服务器(RS)就能够接收到客户的请求数据包了。真实服务器响应完请求后,查看默认路由(NAT模式下我们需要把RS的默认路由设置为LB服务器。)把响应后的数据包发送给LB,LB再接收到响应包后,把包的源地址改成虚拟地址(VIP)然后发送回给客户端。
在这里插入图片描述

注意事项:
在NAT模式中,Real Server的网关必须指向LVS,否则报文无法送达客户端

特点:
1、NAT 技术将请求的报文和响应的报文都需要通过 LB 进行地址改写,因此网站访问量比较大的时候 LB 负载均衡调度器有比较大的瓶颈,一般要求最多只能 10-20 台节点
2、只需要在 LB 上配置一个公网 IP 地址就可以了。
3、每台内部的 realserver 服务器的网关地址必须是调度器 LB 的内网地址。
4、NAT 模式支持对 IP 地址和端口进行转换。即用户请求的端口和真实服务器的端口可以不一致。

NAT模式的优缺点:
优点:集群中的物理服务器可以使用任何支持TCP/IP操作系统,只有负载均衡器需要一个合法的IP地址
缺点:扩展性有限。当服务器节点(普通PC服务器)增长过多时,负载均衡器将成为整个系统的瓶颈,因为所有的请求包和应答包的流向都经过负载均衡器。当服务器节点过多时,大量的数据包都交汇在负载均衡器那,速度就会变慢!

DR模式原理:
DR模式是通过改写请求报文的目标MAC地址,将请求发给真实服务器的,而真实服务器响应后的处理结果直接返回给客户端用户。同TUN模式一样,DR模式可以极大的提高集群系统的伸缩性。而且DR模式没有IP隧道的开销,对集群中的真实服务器也没有必要必须支持IP隧道协议的要求。但是要求调度器LB与真实服务器RS都有一块网卡连接到同一物理网段上,必须在同一个局域网环境。
在这里插入图片描述

1、客户端将请求发往前端的负载均衡器,请求报文源地址是CIP,目标地址为VIP。
2、负载均衡器收到报文后,发现请求的是在规则里面存在的地址,那么它将客户端请求报文的源MAC地址改为自己DIP的MAC地址,目标MAC改为了RIP的MAC地址,并将此包发送给RS
3、RS发现请求报文中的目的MAC是自己,就会将此报文接收下来,处理完请求报文后,将响应报文通过lo接口送给eth0网卡直接发送给客户端。

注意事项:
需要设置lo接口的VIP不能响应本地网络内的arp请求,这个IP就直接设置为32位的网络位即可。

TUN模式(隧道模式)
LVS/TUN的工作流程图如下所示,它和NAT模式不同的是,它在LB和RS之间的传输不用改写IP地址。而是把客户请求包封装在一个IP tunnel里面,然后发送给RS节点服务器,节点服务器接收到之后解开IP tunnel后,进行响应处理。并且直接把包通过自己的外网地址发送给客户不用经过LB服务器。
在这里插入图片描述

1、客户端将请求发往前端的负载均衡器,请求报文源地址是CIP,目标地址为VIP。
2、负载均衡器收到报文后,发现请求的是在规则里面存在的地址,那么它将在客户端请求报文的首部再封装一层IP报文,将源地址改为DIP,目标地址改为RIP,并将此包发送给RS。
3、RS收到请求报文后,会首先拆开第一层封装,然后发现里面还有一层IP首部的目标地址是自己lo接口上的VIP,所以会处理此请求报文,并将响应报文通过lo接口送给eth0网卡直接发送给客户端。

优点:负载均衡器只负责将请求包分发给后端节点服务器,而RS将应答包直接发给用户。所以,减少了负载均衡器的大量数据流动,负载均衡器不再是系统的瓶颈,就能处理很巨大的请求量,这种方式,一台负载均衡器能够为很多RS进行分发。而且跑在公网上就能进行不同地域的分发。
缺点:隧道模式的RS节点需要合法IP,这种方式需要所有的服务器支持”IP Tunneling”(IP Encapsulation)协议,服务器可能只局限在部分Linux系统上。

Lvs调度算法

静态调度算法(4种):
1、轮询调度rr
均等的对待每一台服务器,不管服务器上的实际连接数和系统负载
2、加权论调wrr
调度器可以自动问询真实服务器的负载情况,并动态调整权值

3、源地址散列调度算法 sh
与目标地址散列调度算法类似,但它是根据源地址散列算法进行静态分配固定的服务器资源。

4、目标地址散列调度算法 dh
该算法是根据目标 IP 地址通过散列函数将目标 IP 与服务器建立映射关系,出现服务器不可用或负载过高的情况下,发往该目标 IP 的请求会固定发给该服务器。

动态调度算法(6种)
5、最少链接 lc
动态地将网络请求调度到已建立的连接数最少的服务器上
如果集群真实的服务器具有相近的系统性能,采用该算法可以较好的实现负载均衡

6、 加权最少链接 wlc
调度器可以自动问询真实服务器的负载情况,并动态调整权值
带权重的谁不干活就给谁分配,机器配置好的权重高

7、 基于局部性的最少连接调度算法 lblc
这个算法是请求数据包的目标 IP 地址的一种调度算法,该算法先根据请求的目标 IP 地址寻找最近的该目标 IP 地址所有使用的服务器,如果这台服务器依然可用,并且有能力处理该请求,调度器会尽量选择相同的服务器,否则会继续选择其它可行的服务器

8、 复杂的基于局部性最少的连接算法 lblcr
记录的不是要给目标 IP 与一台服务器之间的连接记录,它会维护一个目标 IP 到一组服务器之间的映射关系,防止单点服务器负载过高。

9、 最少期望延迟 sed
不考虑非活动链接,谁的权重大,优先选择权重大的服务器来接收请求,但权重大的机器会比较忙

10、 永不排队 nq
无需队列,如果有realserver的连接数为0就直接分配过去

LVS-实战:搭建HTTP负载均衡集群

(声明一下四种模式我每做完一种模式我都会恢复快照再做下一个以免出问题,大家如果出问题找不到问题根源也可以尝试一下恢复快照)

1.搭建搭建lvs-nat模式的http负载集群

环境需求:

主机名主机作用IP/DIPVIP
DRLVS服务器(DR)192.168.188.128192.168.43.100
RS1apache服务器1(RS)192.168.188.129网关为DR网关
RS2apache服务器2(RS)192.168.188.137网关为DR网关
client客户端 (用于测试)192.168.188.132客户端不需要VIP

RS1配置

#关闭selinux和防火墙
[root@RS1 ~]# systemctl disable --now firewalld.service
[root@RS1 ~]# setenforce 0
setenforce: SELinux is disabled
[root@RS1 ~]# sed -ri 's/^(SELINUX=).*/\1disabled/g' /etc/selinux/config

#配置ip
[root@RS1 ~]# nmcli connection modify ens33 ipv4.addresses 192.168.188.129/24 ipv4.gateway 192.168.43.100 ipv4.dns 8.8.8.8 ipv4.method manual autoconnect yes
[root@RS1 ~]# nmcli connection up ens33
Connection successfully activated (D-Bus active path: /org/freedesktop/NetworkManager/ActiveConnection/2)

#配置好yum源,然后安装httpd,然后配置好网站首页
[root@RS1 ~]# dnf -y install httpd
[root@RS1 ~]# echo "RS1" > /var/www/html/index.html
[root@RS1 ~]# systemctl enable --now httpd

RS2配置

#关闭selinux和防火墙
[root@RS2 ~]# systemctl disable --now firewalld.service
[root@RS2 ~]# setenforce 0
setenforce: SELinux is disabled
[root@RS2 ~]# sed -ri 's/^(SELINUX=).*/\1disabled/g' /etc/selinux/config

#配置ip
[root@RS2 ~]# nmcli connection modify ens33 ipv4.addresses 192.168.188.137/24 ipv4.gateway 192.168.43.100 ipv4.dns 8.8.8.8 ipv4.method manual autoconnect yes
[root@RS2 ~]# nmcli connection up ens33
Connection successfully activated (D-Bus active path: /org/freedesktop/NetworkManager/ActiveConnection/2)

#配置好yum源,然后安装httpd服务,然后配置好网站首页
[root@RS2 ~]# dnf -y install httpd
[root@RS2 ~]# echo "RS2" > /var/www/html/index.html
[root@RS2 ~]# systemctl enable --now httpd

DR配置

#关闭selinux和防火墙
[root@DR ~]# systemctl disable --now firewalld.service
[root@DR ~]# setenforce 0
[root@DR ~]# sed -ri 's/^(SELINUX=).*/\1disabled/g' /etc/selinux/config

#给DR,添加一块网卡(我这里是在VMware中给DR这台虚拟机添加),我这里添加的是仅主机模式网卡,以便区分,网段为:192.168.43.0(网段是VMware中虚拟网络编辑器的仅主机网段)
#设置网卡ip,192.168.43.100
[root@DR ~]# nmcli connection
NAME                UUID                                  TYPE      DEVICE
ens33               ac5e769e-3070-4c64-bcfc-15551455883e  ethernet  ens33
Wired connection 1  94c0f93b-01ea-3b73-9ab7-034911644229  ethernet  ens36
[root@DR ~]# nmcli connection modify Wired\ connection\ 1 con-name ens36 ipv4.addresses 192.168.43.100/24 ipv4.dns 8.8.8.8 ipv4.method manual autoconnect yes
[root@DR ~]# nmcli connection up ens36
Connection successfully activated (D-Bus active path: /org/freedesktop/NetworkManager/ActiveConnection/3)
[root@DR ~]# ip a | grep ens36
3: ens36: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
    inet 192.168.43.100/24 brd 192.168.43.255 scope global noprefixroute ens36

#开启转发功能
[root@DR ~]# vim /etc/sysctl.conf
net.ipv4.ip_forward = 1
[root@DR ~]# sysctl -p
net.ipv4.ip_forward = 1

#配置好好两台web服务器后,最后再安装ipvsadm并添加规则
[root@DR ~]# dnf -y install ipvsadm
[root@DR ~]# ipvsadm -A -t 192.168.43.100:80 -s rr
[root@DR ~]# ipvsadm -a -t 192.168.43.100:80 -r 192.168.188.129:80 -m
[root@DR ~]# ipvsadm -a -t 192.168.43.100:80 -r 192.168.188.137:80 -m
[root@DR ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.43.100:80 rr
  -> 192.168.188.129:80           Masq    1      0          0
  -> 192.168.188.137:80           Masq    1      0          0
[root@DR ~]# ipvsadm -Sn > /etc/sysconfig/ipvsadm
[root@DR ~]# systemctl restart ipvsadm.service
[root@DR ~]# systemctl enable ipvsadm.service

客户端(client)进行测试,因为选择的是轮询(rr)

[root@client ~]# curl http://192.168.43.100
RS2
[root@client ~]# curl http://192.168.43.100
RS1
[root@client ~]# curl http://192.168.43.100
RS2
[root@client ~]# curl http://192.168.43.100
RS1
2.搭建搭建lvs-dr模式的http负载集群

环境需求:

主机名主机作用IP/DIPVIP
DRLVS服务器(DR)192.168.188.128lo:192.168.188.200
RS1apache服务器1(RS)192.168.188.129lo:192.168.188.200
RS2apache服务器2(RS)192.168.188.137lo:192.168.188.200
client客户端 (用于测试)192.168.188.132客户端不需要VIP

RS1配置

#关闭selinux和防火墙
[root@RS1 ~]# systemctl disable --now firewalld.service
[root@RS1 ~]# setenforce 0
setenforce: SELinux is disabled
[root@RS1 ~]# sed -ri 's/^(SELINUX=).*/\1disabled/g' /etc/selinux/config

#RS1上配置内核参数
[root@RS1 ~]# vim /etc/sysctl.conf
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1        (下面两条是为了保险,其实只需要关闭lo网卡的对外公布apr即可)
net.ipv4.conf.all.arp_announce = 2
[root@RS1 ~]# sysctl -p
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2

#配置VIP
[root@RS1 ~]# dnf -y install net-tools  //(先安装ifconfig命令)
[root@RS1 ~]# ifconfig lo 192.168.188.200/32 broadcast 192.168.188.200 netmask 255.255.255.255 up

#永久生效lo网卡配置
[root@RS1 ~]# echo "ifconfig lo 192.168.188.200/32 broadcast 192.168.188.200 netmask 255.255.255.255 up" >> /etc/rc.d/rc.local
[root@RS1 ~]# chmod +x /etc/rc.d/rc.local

#添加路由
[root@RS1 ~]# route add -host 192.168.188.200/32 dev lo

#安装httpd服务,然后配置好网站首页
[root@RS1 ~]# dnf -y install httpd
[root@RS1 ~]# echo "RS1" > /var/www/html/index.html
[root@RS1 ~]# systemctl enable --now httpd

RS2配置

#关闭selinux和防火墙
[root@RS2 ~]# systemctl disable --now firewalld.service
[root@RS2 ~]# setenforce 0
[root@RS2 ~]# sed -ri 's/^(SELINUX=).*/\1disabled/g' /etc/selinux/config

#RS2上配置内核参数
[root@RS2 ~]# vim /etc/sysctl.conf
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
[root@RS2 ~]# sysctl -p
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2

#配置VIP
[root@RS2 ~]# dnf -y install net-tools
[root@RS2 ~]# ifconfig lo 192.168.188.200/32 broadcast 192.168.188.200 netmask 255.255.255.255 up

#永久生效lo网卡配置
[root@RS2 ~]# echo "ifconfig lo 192.168.188.200/32 broadcast 192.168.188.200 netmask 255.255.255.255 up" >> /etc/rc.d/rc.local
[root@RS2 ~]# chmod +x /etc/rc.d/rc.local

#添加路由
[root@RS2 ~]# route add -host 192.168.188.200/32 dev lo

#安装httpd服务,然后配置好网站首页
[root@RS2 ~]# dnf -y install httpd
[root@RS2 ~]# echo "RS2" > /var/www/html/index.html
[root@RS2 ~]# systemctl enable --now httpd

DR配置

#关闭selinux和防火墙
[root@DR ~]# systemctl disable --now firewalld.service
[root@DR ~]# setenforce 0
[root@DR ~]# sed -ri 's/^(SELINUX=).*/\1disabled/g' /etc/selinux/config

#配置lo网卡ip
[root@DR ~]# dnf -y install net-tools  //(先安装ifconfig命令)
[root@DR ~]# ifconfig lo 192.168.188.200/32 broadcast 192.168.188.200 netmask 255.255.255.255 up
[root@DR ~]# ip a |grep lo
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 192.168.188.200/0 brd 192.168.188.200 scope global lo

#永久生效lo网卡配置
[root@DR ~]# echo "ifconfig lo 192.168.188.200/32 broadcast 192.168.188.200 netmask 255.255.255.255 up" >> /etc/rc.d/rc.local
[root@DR ~]# chmod +x /etc/rc.d/rc.local

#配置好好两台web服务器后,最后再安装ipvsadm并添加规则
[root@DR ~]# dnf -y install ipvsadm
[root@DR ~]# ipvsadm -A -t 192.168.188.200:80 -s rr
[root@DR ~]# ipvsadm -a -t 192.168.188.200:80 -r 192.168.188.129:80 -g
[root@DR ~]# ipvsadm -a -t 192.168.188.200:80 -r 192.168.188.137:80 -g
[root@DR ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.188.200:80 rr
  -> 192.168.188.129:80           Route   1      0          0
  -> 192.168.188.137:80           Route   1      0          0
[root@DR ~]# ipvsadm -Sn > /etc/sysconfig/ipvsadm
[root@DR ~]# systemctl restart ipvsadm.service
[root@DR ~]# systemctl enable ipvsadm.service

客户端(client)进行测试,因为选择的是轮询(rr)

[root@client ~]# curl 192.168.188.200
RS2
[root@client ~]# curl 192.168.188.200
RS1
[root@client ~]# curl 192.168.188.200
RS2
[root@client ~]# curl 192.168.188.200
RS1
3.搭建搭建lvs-tun模式的http负载集群

环境需求:

主机名主机作用IP/DIPVIP
DRLVS服务器(DR)192.168.188.128tunl0:192.168.188.201
RS1apache服务器1(RS)192.168.188.129tunl0:192.168.188.201
RS2apache服务器2(RS)192.168.188.137tunl0:192.168.188.201
client客户端 (用于测试)192.168.188.132客户端不需要VIP

RS1配置

#关闭selinux和防火墙
[root@RS1 ~]# systemctl disable --now firewalld.service
[root@RS1 ~]# setenforce 0
setenforce: SELinux is disabled
[root@RS1 ~]# sed -ri 's/^(SELINUX=).*/\1disabled/g' /etc/selinux/config

#启用ipip模块,配置VIP
[root@RS1 ~]# dnf -y install net-tools
[root@RS1 ~]# modprobe ipip
[root@RS1 ~]# ifconfig tunl0 192.168.188.201 broadcast 192.168.188.201 netmask 255.255.255.255
[root@RS1 ~]# echo "ifconfig tunl0 192.168.188.201 broadcast 192.168.188.201 netmask 255.255.255.255" >> /etc/rc.d/rc.local
[root@RS1 ~]# chmod +x /etc/rc.d/rc.local

#修改内核参数
[root@RS1 ~]# vim /etc/sysctl.conf
net.ipv4.conf.tunl0.arp_ignore = 1
net.ipv4.conf.tunl0.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.tunl0.rp_filter = 0
net.ipv4.conf.all.rp_filter = 0
[root@RS1 ~]# sysctl -p
net.ipv4.conf.tunl0.arp_ignore = 1
net.ipv4.conf.tunl0.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.tunl0.rp_filter = 0
net.ipv4.conf.all.rp_filter = 0

#安装httpd服务,然后配置好网站首页
[root@RS1 ~]# dnf -y install httpd
[root@RS1 ~]# echo "RS1" > /var/www/html/index.html
[root@RS1 ~]# systemctl enable --now httpd

RS2配置

#关闭selinux和防火墙
[root@RS2 ~]# systemctl disable --now firewalld.service
[root@RS2 ~]# setenforce 0
[root@RS2 ~]# sed -ri 's/^(SELINUX=).*/\1disabled/g' /etc/selinux/config

#启用ipip模块,配置VIP
[root@RS2 ~]# dnf -y install net-tools
[root@RS2 ~]# modprobe ipip
[root@RS2 ~]# ifconfig tunl0 192.168.188.201 broadcast 192.168.188.201 netmask 255.255.255.255
[root@RS2 ~]# echo "ifconfig tunl0 192.168.188.201 broadcast 192.168.188.201 netmask 255.255.255.255" >> /etc/rc.d/rc.local
[root@RS2 ~]# chmod +x /etc/rc.d/rc.local

#修改内核参数
[root@RS2 ~]# vim /etc/sysctl.conf
net.ipv4.conf.tunl0.arp_ignore = 1
net.ipv4.conf.tunl0.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.tunl0.rp_filter = 0
net.ipv4.conf.all.rp_filter = 0
[root@RS2 ~]# sysctl -p
net.ipv4.conf.tunl0.arp_ignore = 1
net.ipv4.conf.tunl0.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.tunl0.rp_filter = 0
net.ipv4.conf.all.rp_filter = 0

#安装httpd服务,然后配置好网站首页
[root@RS2 ~]# dnf -y install httpd
[root@RS2 ~]# echo "RS2" > /var/www/html/index.html
[root@RS2 ~]# systemctl enable --now httpd.service

DR配置

#关闭selinux和防火墙
[root@DR ~]# systemctl disable --now firewalld.service
[root@DR ~]# setenforce 0
[root@DR ~]# sed -ri 's/^(SELINUX=).*/\1disabled/g' /etc/selinux/config

#修改内核参数,开启IP转发
[root@DR ~]# vim /etc/sysctl.conf
net.ipv4.ip_forward = 1
[root@DR ~]# sysctl -p
net.ipv4.ip_forward = 1

#配置VIP
[root@DR ~]# dnf -y install net-tools
[root@DR ~]# ifconfig tunl0 192.168.188.201 broadcast 192.168.188.201 netmask 255.255.255.255
[root@DR ~]# ip a |grep tunl0
3: tunl0@NONE: <NOARP,UP,LOWER_UP> mtu 1480 qdisc noqueue state UNKNOWN group default qlen 1000
    inet 192.168.188.201/32 brd 192.168.188.201 scope global tunl0

#永久生效
[root@DR ~]# echo "ifconfig tunl0 192.168.188.201 broadcast 192.168.188.201 netmask 255.255.255.255" >> /etc/rc.d/rc.local
[root@DR ~]# chmod +x /etc/rc.d/rc.local

#配置好好两台web服务器后,最后再安装ipvsadm并添加规则
[root@DR ~]# dnf -y install ipvsadm
[root@DR ~]# ipvsadm -A -t 192.168.188.201:80 -s rr
[root@DR ~]# ipvsadm -a -t 192.168.188.201:80 -r 192.168.188.129:80 -i
[root@DR ~]# ipvsadm -a -t 192.168.188.201:80 -r 192.168.188.137:80 -i
[root@DR ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.188.201:80 rr
  -> 192.168.188.129:80           Tunnel  1      0          0
  -> 192.168.188.137:80           Tunnel  1      0          0
[root@DR ~]# ipvsadm -Sn > /etc/sysconfig/ipvsadm
[root@DR ~]# systemctl restart ipvsadm.service
[root@DR ~]# systemctl enable ipvsadm.service

客户端(client)进行测试,因为选择的是轮询(rr)

[root@client ~]# curl 192.168.188.201
RS2
[root@client ~]# curl 192.168.188.201
RS1
[root@client ~]# curl 192.168.188.201
RS2
[root@client ~]# curl 192.168.188.201
RS1
4.搭建搭建lvs-dr模式的https负载集群

环境需求:

主机名主机作用IP/DIPVIP
DRLVS服务器(DR)192.168.188.128lo:192.168.188.202
RS1apache服务器1(RS)192.168.188.129lo:192.168.188.202
RS2apache服务器2(RS)192.168.188.137lo:192.168.188.202
client客户端 (用于测试)192.168.188.132客户端不需要VIP

RS1配置

#关闭selinux和防火墙
[root@RS1 ~]# systemctl disable --now firewalld.service
[root@RS1 ~]# setenforce 0
setenforce: SELinux is disabled
[root@RS1 ~]# sed -ri 's/^(SELINUX=).*/\1disabled/g' /etc/selinux/config

#RS1上配置内核参数
[root@RS1 ~]# vim /etc/sysctl.conf 
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
[root@RS1 ~]# sysctl -p
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2

#配置VIP
[root@RS1 ~]# dnf -y install net-tools
[root@RS1 ~]# ifconfig lo 192.168.188.202/32 broadcast 192.168.188.202 netmask 255.255.255.255 up

#永久生效lo网卡配置
[root@RS1 ~]# echo "ifconfig lo 192.168.188.202/32 broadcast 192.168.188.202 netmask 255.255.255.255 up" >> /etc/rc.d/rc.local
[root@RS1 ~]# chmod +x /etc/rc.d/rc.local

#添加路由
[root@RS1 ~]# route add -host 192.168.188.202/32 dev lo

#安装httpd服务,然后配置好https网站首页
[root@RS1 ~]# dnf -y install httpd mod_ssl
[root@RS1 ~]# vim /etc/httpd/conf.modules.d/00-base.conf
LoadModule ssl_module modules/mod_ssl.so //添加这一条
[root@RS1 ~]# mkdir /etc/httpd/ssl
[root@RS1 ~]#  cd /etc/httpd/ssl
[root@RS1 ssl]# openssl genrsa -out httpd.key 2048
Generating RSA private key, 2048 bit long modulus (2 primes)
.......................................+++++
............+++++
e is 65537 (0x010001)

[root@RS1 ssl]# openssl req -new -key httpd.key -out httpd.csr
You are about to be asked to enter information that will be incorporated
into your certificate request.
What you are about to enter is what is called a Distinguished Name or a DN.
There are quite a few fields but you can leave some blank
For some fields there will be a default value,
If you enter '.', the field will be left blank.
-----
Country Name (2 letter code) [XX]:cn
State or Province Name (full name) []:hb
Locality Name (eg, city) [Default City]:wh
Organization Name (eg, company) [Default Company Ltd]:rt
Organizational Unit Name (eg, section) []:linux
Common Name (eg, your name or your server's hostname) []:www.zjq.com
Email Address []:123@4.com

Please enter the following 'extra' attributes
to be sent with your certificate request
A challenge password []:
An optional company name []:

[root@RS1 ssl]# openssl x509 -req -days 365 -in httpd.csr -signkey httpd.key -out httpd.crt
Signature ok
subject=C = cn, ST = hb, L = wh, O = rt, OU = linux, CN = www.zjq.com, emailAddress = 123@4.com
Getting Private key

[root@RS1 ssl]# ls
httpd.crt  httpd.csr  httpd.key
[root@RS1 ssl]# vim /etc/httpd/conf.d/ssl.conf
SSLCertificateFile /etc/httpd/ssl/httpd.crt
SSLCertificateKeyFile /etc/httpd/ssl/httpd.key

[root@RS1 ssl]# echo "RS1" > /var/www/html/index.html
[root@RS1 ssl]# systemctl enable --now httpd
[root@RS1 ssl]# systemctl restart httpd

#检查https是否可用
[root@RS1 ssl]#  curl -k https://192.168.188.129
RS1

#将证书,签名,私钥scp到RS2
[root@RS1 ssl]# scp /etc/httpd/ssl/* root@192.168.188.137:/root/
The authenticity of host '192.168.188.137 (192.168.188.137)' can't be established.
ECDSA key fingerprint is SHA256:xcy844Y4iCL8sJi9n3kvBl9j2E0kLdgeCUC/lOLVEI0.
Are you sure you want to continue connecting (yes/no/[fingerprint])? yes
Warning: Permanently added '192.168.188.137' (ECDSA) to the list of known hosts.
root@192.168.188.137's password:
httpd.crt                                                              100% 1253     1.0MB/s   00:00
httpd.csr                                                              100% 1021     1.0MB/s   00:00
httpd.key    

RS2配置

#关闭selinux和防火墙
[root@RS1 ~]# systemctl disable --now firewalld.service
[root@RS1 ~]# setenforce 0
setenforce: SELinux is disabled
[root@RS1 ~]# sed -ri 's/^(SELINUX=).*/\1disabled/g' /etc/selinux/config

#RS2上配置内核参数
[root@RS2 ~]# vim /etc/sysctl.conf
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
[root@RS2 ~]# sysctl -p
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2

#配置VIP
[root@RS2 ~]# dnf -y install net-tools
[root@RS2 ~]# ifconfig lo 192.168.188.202/32 broadcast 192.168.188.202 netmask 255.255.255.255 up

#永久生效lo网卡配置
[root@RS2 ~]# echo "ifconfig lo 192.168.188.202/32 broadcast 192.168.188.202 netmask 255.255.255.255 up" >> /etc/rc.d/rc.local
[root@RS2 ~]# chmod +x /etc/rc.d/rc.local

#添加路由
[root@RS2 ~]# route add -host 192.168.188.202/32 dev lo

#安装httpd服务,然后配置好https网站首页
[root@RS2 ~]# dnf -y install httpd mod_ssl
[root@RS2 ~]# vim /etc/httpd/conf.modules.d/00-base.conf
LoadModule ssl_module modules/mod_ssl.so

[root@RS2 ~]# mkdir /etc/httpd/ssl
[root@RS2 ~]# ls
anaconda-ks.cfg  httpd.crt  httpd.csr  httpd.key

[root@RS2 ~]# mv httpd.* /etc/httpd/ssl/
[root@RS2 ~]# ls /etc/httpd/ssl/
httpd.crt  httpd.csr  httpd.key

[root@RS2 ~]# vim /etc/httpd/conf.d/ssl.conf
SSLCertificateFile /etc/httpd/ssl/httpd.crt
SSLCertificateKeyFile /etc/httpd/ssl/httpd.key

[root@RS2 ~]# echo "RS2" > /var/www/html/index.html
[root@RS2 ~]# systemctl enable --now httpd
[root@RS2 ~]# systemctl restart httpd

#检查https是否可用
[root@RS2 ~]# curl -k https://192.168.188.137
RS2

DR配置

#关闭selinux和防火墙
[root@RS1 ~]# systemctl disable --now firewalld.service
[root@RS1 ~]# setenforce 0
setenforce: SELinux is disabled
[root@RS1 ~]# sed -ri 's/^(SELINUX=).*/\1disabled/g' /etc/selinux/config

#配置lo网卡ip
[root@DR ~]# dnf -y install net-tools
[root@DR ~]# ifconfig lo 192.168.188.202/32 broadcast 192.168.188.202 netmask 255.255.255.255 up
[root@DR ~]# ip a |grep lo
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 192.168.188.202/0 brd 192.168.188.202 scope global lo

#永久生效lo网卡配置
[root@DR ~]# echo "ifconfig lo 192.168.188.202/32 broadcast 192.168.188.202 netmask 255.255.255.255 up" >> /etc/rc.d/rc.local
[root@DR ~]# chmod +x /etc/rc.d/rc.local

#配置好好两台web服务器后,最后再安装ipvsadm并添加规则
[root@DR ~]# dnf -y install ipvsadm
[root@DR ~]# ipvsadm -A -t 192.168.188.202:443 -s rr
[root@DR ~]# ipvsadm -a -t 192.168.188.202:443 -r 192.168.188.129:443 -g
[root@DR ~]# ipvsadm -a -t 192.168.188.202:443 -r 192.168.188.137:443 -g
[root@DR ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.188.202:443 rr
  -> 192.168.188.129:443          Route   1      0          0
  -> 192.168.188.137:443          Route   1      0          0
[root@DR ~]# ipvsadm -Sn > /etc/sysconfig/ipvsadm
[root@DR ~]# systemctl enable ipvsadm.service
[root@DR ~]# systemctl restart ipvsadm.service

客户端(client)进行测试,因为选择的是轮询(rr)

[root@client ~]# curl -k https://192.168.188.202
RS2
[root@client ~]# curl -k https://192.168.188.202
RS1
[root@client ~]# curl -k https://192.168.188.202
RS2
[root@client ~]# curl -k https://192.168.188.202
RS1
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

随便投投

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值