LVS 负载均衡服务搭建

Gabriel_liao

已于 2023-09-11 14:38:38 修改

阅读量376

点赞数

分类专栏：负载均衡文章标签： lvs 负载均衡运维

于 2023-07-19 14:40:12 首次发布

本文链接：https://blog.csdn.net/qq_31906785/article/details/131804350

版权

负载均衡专栏收录该内容

9 篇文章 0 订阅

订阅专栏

文章目录

前言
服务器规划
HTTPD 服务搭建
一、网络配置
在LVS服务器上配置VIP，定义集群服务
- ipvsadm用法

前言

Linux 标准内核的一部分，Linux 2.4 之前，必须重新编译内核才能支持

负载均衡模型：

负载均衡类型	核心原理	实践案例
两层	修改请求数据包中的 MAC 地址后转发	LVS DR 模式
三层	将请求数据包重新封装后转发	LVS（TUNNEL）
四层	修改请求数据包目标地址种的IP或IP+端口后进行转发	F5、LVS、NginxHAProxy
七层	解封请求数据包在HTTP层判断请求头后进行转发	F5、Nginx、HAProxy…
DNS	域名多个 A 解析、智能解析	万网、DNSPod

LVS 相关术语

DS：Director Server，指的是前端负载均衡器节点。
RS：Real Server，后端真实的工作服务器。
VIP：向外部直接面向用户请求，作为用户请求的目标的IP地址。
DIP：Director Server IP，主要用于和内部主机通讯的IP地址。
RIP：Real Server IP，后端服务器的IP地址。
CIP：Client IP，访问客户端的IP地址

LVS的负载调度算法：

轮询（rr,RoundRobin）
加权轮询（wrr,Weighted RoundRobin）
最少连接（lc, LeastConnections）
加权最少连接（wlc,WeightedLeastConnections）
source hashing源地址hash（sh）

LVS工作模式

LVS有三种工作模式：NAT，DR，TUN，DR是三种工作模式中性能最高的，TUN次之。

1.NAT（NetworkAddress Translation）即网络地址映射模式

2.DR（DirectRouting）即直接路由模式

3.TUN（IP Tunneling）即IP隧道模式

LVS的工作模式详解

原博客

NAT：网络地址转换
- NAT（Network Address Translation）即网络地址转换，其作用是通过数据报头的修改，使得位于企业内部的私有IP地址可以访问外网，以及外部用用户可以访问位于公司内部的私有IP主机。LVS负载调度器可以使用两块网卡配置不同的IP地址，一块设置为私钥IP与内部网络通过交换设备相互连接，e第二块设备为外网IP与外部网络联通。
DR：路由模式
- 直接路由模式（DR模式）要求调度器与后端服务器必须在同一个局域网内，VIP地址需要在调度器与后端所有的服务器间共享，因为最终的真实服务器给客户端回应数据包时需要设置源IP为VIP地址，目标IP为客户端IP，这样客户端访问的是调度器的VIP地址，回应的源地址也依然是该VIP地址（真实服务器上的VIP），客户端是感觉不到后端服务器存在的。
TUN：隧道模式
- LVS（TUN）的思路就是将请求与响应数据分离，让调度器仅处理数据请求，而让真实服务器响应数据包直接返回给客户端。LVS（TUN）模式要求真实服务器可以直接与外部网络连接，真实服务器在收到请求数据包后直接给客户端主机响应数

三种工作模式的解析

NAT模式：

第一步，用户通过互联网DNS服务器解析到公司负载均衡设备上面的外网地址，相对于真实服务器而言，LVS外网IP又称VIP（Virtual IP Address），用户通过访问VIP，即可连接后端的真实服务器（Real Server），而这一切对用户而言都是透明的，用户以为自己访问的就是真实服务器，但他并不知道自己访问的VIP仅仅是一个调度器，也不清楚后端的真实服务器到底在哪里、有多少真实服务器。
第二步，用户将请求发送至124.126.147.168，此时LVS将根据预设的算法选择后端的一台真实服务器（192.168.0.1~192.168.0.3），将数据请求包转发给真实服务器，并且在转发之前LVS会修改数据包中的目标地址以及目标端口，目标地址与目标端口将被修改为选出的真实服务器IP地址以及相应的端口。
第三步，真实的服务器将响应数据包返回给LVS调度器，调度器在得到响应的数据包后会将源地址和源端口修改为VIP及调度器相应的端口，修改完成后，由调度器将响应数据包发送回终端用户，另外，由于LVS调度器有一个连接Hash表，该表中会记录连接请求及转发信息，当同一个连接的下一个数据包发送给调度器时，从该Hash表中可以直接找到之前的连接记录，并根据记录信息选出相同的真实服务器及端口信息。

在这里插入图片描述

TUN模式：

在LVS（NAT）模式的集群环境中，由于所有的数据请求及响应的数据包都需要经过LVS调度器转发，如果后端服务器的数量大于10台，则调度器就会成为整个集群环境的瓶颈。

我们知道，数据请求包往往远小于响应数据包的大小。因为响应数据包中包含有客户需要的具体数据，所以LVS（TUN）的思路就是将请求与响应数据分离，让调度器仅处理数据请求，而让真实服务器响应数据包直接返回给客户端。

VS/TUN工作模式拓扑结构如下图所示。其中，IP隧道（IP tunning）是一种数据包封装技术，它可以将原始数据包封装并添加新的包头（内容包括新的源地址及端口、目标地址及端口），从而实现将一个目标为调度器的VIP地址的数据包封装，通过隧道转发给后端的真实服务器（Real Server），通过将客户端发往调度器的原始数据包封装，并在其基础上添加新的数据包头（修改目标地址为调度器选择出来的真实服务器的IP地址及对应端口），LVS（TUN）模式要求真实服务器可以直接与外部网络连接，真实服务器在收到请求数据包后直接给客户端主机响应数据。

在这里插入图片描述

DR模式：

在LVS（TUN）模式下，由于需要在LVS调度器与真实服务器之间创建隧道连接，这同样会增加服务器的负担。与LVS（TUN）类似，DR模式也叫直接路由模式，其体系结构如下图所示，该模式中LVS依然仅承担数据的入站请求以及根据算法选出合理的真实服务器，最终由后端真实服务器负责将响应数据包发送返回给客户端。

与隧道模式不同的是，直接路由模式（DR模式）要求调度器与后端服务器必须在同一个局域网内，VIP地址需要在调度器与后端所有的服务器间共享，因为最终的真实服务器给客户端回应数据包时需要设置源IP为VIP地址，目标IP为客户端IP，这样客户端访问的是调度器的VIP地址，回应的源地址也依然是该VIP地址（真实服务器上的VIP），客户端是感觉不到后端服务器存在的。由于多台计算机都设置了同样一个VIP地址，所以在直接路由模式中要求调度器的VIP地址是对外可见的，客户端需要将请求数据包发送到调度器主机，而所有的真实服务器的VIP地址必须配置在Non-ARP的网络设备上，也就是该网络设备并不会向外广播自己的MAC及对应的IP地址，真实服务器的VIP对外界是不可见的，但真实服务器却可以接受目标地址VIP的网络请求，并在回应数据包时将源地址设置为该VIP地址。调度器根据算法在选出真实服务器后，在不修改数据报文的情况下，将数据帧的MAC地址修改为选出的真实服务器的MAC地址，通过交换机将该数据帧发给真实服务器。整个过程中，真实服务器的VIP不需要对外界可见。

在这里插入图片描述

服务器规划

主机名	IP地址	角色
root@master	192.168.100.10	LVS服务器
root@node1	192.168.100.11	RS1
root@node2	192.168.100.12	RS2

VIP是192.168.100.88 DIP是：192.168.0.10

客户端window ： 192.168.199.189

HTTPD 服务搭建

RS安装 httpd并修改 index.html为对应ip地址

[root@node1 ~]# yum install httpd
[root@node1 ~]# systemctl stop firewalld		//开启服务前关闭防火墙
[root@node1 ~]# systemctl start httpd		//开启httpd服务
[root@node1 ~]# systemctl status httpd		//查看服务是否开启成功

修改 httpd 首页 :

[root@node1 ~]#cd /var/www/html/
[root@node1 ~]#echo 192.168.100.11 > index.html
[root@node1 ~]# systemctl restart httpd  //重启httpd服务

master 测试：

[root@master  all]# curl 192.168.100.11
192.168.100.11
[root@master  all]# curl 192.168.100.12
192.168.100.12

一、网络配置

修改内核参数，让其两个RS配置的VIP不对局域网做ARP通报和ARP请求响应，同时配置路由，目标IP为VIP的报文转发至VIP所在接口，并在各RS上配置好VIP

[root@node1 ~]# cat setparam.sh
#/bin/bash
 
 
vip='192.168.0.222'
mask='255.255.255.255'
interface='lo:0'
 
case $1 in
start)
        echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
        echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
        echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
        echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
        ifconfig $interface  $vip netmask $mask broadcast $vip up
        route add -host $vip dev $interface
        ;;
stop)
        ifconfig $interface down
        echo 0 >/proc/sys/net/ipv4/conf/all/arp_announce
        echo 0 >/proc/sys/net/ipv4/conf/lo/arp_announce
        echo 0 >/proc/sys/net/ipv4/conf/all/arp_ignore
        echo 0 >/proc/sys/net/ipv4/conf/lo/arp_ignore
        ;;
*)
        echo "Usage:bash $0 start|stop"
        exit 1
        ;;
esac

以上脚本的意思就是设置内核参数，然后把VIP绑定到lo:0，添加主机路由

查看当前网络 node1：

[root@node1 lvs]# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 00:0c:29:95:6c:38 brd ff:ff:ff:ff:ff:ff
    inet 192.168.100.11/24 brd 192.168.100.255 scope global noprefixroute ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:fe95:6c38/64 scope link 
       valid_lft forever preferred_lft forever
3: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN group default 
    link/ether 02:42:c6:4a:de:df brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.1/16 brd 172.17.255.255 scope global docker0
       valid_lft forever preferred_lft forever
4: cali7b1f2e5e4bb@if3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1440 qdisc noqueue state UP group default 
    link/ether ee:ee:ee:ee:ee:ee brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet6 fe80::ecee:eeff:feee:eeee/64 scope link 
       valid_lft forever preferred_lft forever

执行脚本：

[root@node1 lvs]# bash -x setparam.sh start
+ vip=192.168.100.222
+ mask=255.255.255.255
+ interface=lo:0
+ case $1 in
+ echo 2
+ echo 2
+ echo 1
+ echo 1
+ ifconfig lo:0 192.168.100.222 netmask 255.255.255.255 broadcast 192.168.100.222 up
+ route add -host 192.168.100.222 dev lo:0

查看当前网络：

[root@node1 lvs]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.100.254 0.0.0.0         UG    100    0        0 ens33
10.244.104.0    192.168.100.12  255.255.255.192 UG    0      0        0 ens33
10.244.166.128  0.0.0.0         255.255.255.192 U     0      0        0 *
10.244.166.137  0.0.0.0         255.255.255.255 UH    0      0        0 cali7b1f2e5e4bb
10.244.219.64   192.168.100.10  255.255.255.192 UG    0      0        0 ens33
172.17.0.0      0.0.0.0         255.255.0.0     U     0      0        0 docker0
192.168.100.0   0.0.0.0         255.255.255.0   U     100    0        0 ens33
192.168.100.222 0.0.0.0         255.255.255.255 UH    0      0        0 lo
[root@node1 lvs]# ifconfig
cali7b1f2e5e4bb: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1440
        inet6 fe80::ecee:eeff:feee:eeee  prefixlen 64  scopeid 0x20<link>
        ether ee:ee:ee:ee:ee:ee  txqueuelen 0  (Ethernet)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

docker0: flags=4099<UP,BROADCAST,MULTICAST>  mtu 1500
        inet 172.17.0.1  netmask 255.255.0.0  broadcast 172.17.255.255
        ether 02:42:c6:4a:de:df  txqueuelen 0  (Ethernet)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.100.11  netmask 255.255.255.0  broadcast 192.168.100.255
        inet6 fe80::20c:29ff:fe95:6c38  prefixlen 64  scopeid 0x20<link>
        ether 00:0c:29:95:6c:38  txqueuelen 1000  (Ethernet)
        RX packets 37611  bytes 36936912 (35.2 MiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 19281  bytes 2078686 (1.9 MiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 127.0.0.1  netmask 255.0.0.0
        inet6 ::1  prefixlen 128  scopeid 0x10<host>
        loop  txqueuelen 1000  (Local Loopback)
        RX packets 16103  bytes 1132055 (1.0 MiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 16103  bytes 1132055 (1.0 MiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

lo:0: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 192.168.100.222  netmask 255.255.255.255
        loop  txqueuelen 1000  (Local Loopback)

[root@node1 lvs]#

可以看到我们执行脚本后，对应的内核参数都已经设置好，VIP和相关路由也都添加成功；同样node2也只需要把上面的脚本拿过去运行一遍即可

在LVS服务器上配置VIP，定义集群服务

ipvsadm用法

添加，删除服务器节点
-A: 添加虚拟服务器
-E: 编辑虚拟服务器
-D: 删除虚拟服务器
-t: 添加tcp服务器
-u: 添加udp服务器
-s: 指定调度算法。如轮询rr/加权轮询wrr/最少连接lc/加权最少连接wlc
-a 添加真实服务器
-d 删除真实服务器
-r 指定真实服务器的地址
-m 使用NAT模式；-g，-i分别对应DR，TUN模式
-w 为节点服务器设置权重，默认为1

添加集群：

[root@master ~]# ipvsadm -A -t 192.168.100.222:80 -s rr 
[root@master ~]# ipvsadm -a -t 192.168.100.222:80 -r 192.168.100.11 -g 
[root@master ~]# ipvsadm -a -t 192.168.100.222:80 -r 192.168.100.12 -g

查看路由规则

[root@master ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.100.222:80 rr
  -> 192.168.100.11:80            Route   1      0          0         
  -> 192.168.100.12:80            Route   1      0          0         
TCP  10.0.0.1:80 wlc

rr表示轮询

访问测试：

[root@master ~]# curl 192.168.100.222
192.168.100.12
[root@master ~]# curl 192.168.100.222
192.168.100.11

更换一个调度算法：

ipvsadm -E -t 192.168.0.222:80 -s sh

Gabriel_liao

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录