LVS负载均衡

最新推荐文章于 2023-08-14 14:58:19 发布
最新推荐文章于 2023-08-14 14:58:19 发布
阅读量255 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34553294/article/details/84592689
版权

LVS原理

  • 当用户的请求过来时，会直接分发到Director Server上，然后它把用户的请求根据设置好的调度算法，智能均衡地分发到后端真正服务器(real server)上

LVS的组成–Director Server

  1. ipvs(ip virtual server)：一段代码工作在内核空间，叫ipvs，是真正生效实现调度的代码。
  2. ipvsadm：另外一段是工作在用户空间，叫ipvsadm，负责为ipvs内核框架编写规则，定义谁是集群服务，而谁是后端真实的服务器。(Real Server)

LVS相关术语

  1. DS：Director Server,指的是前端负载均衡器节点。
  2. RS：Real Server,后端真实的工作服务器。
  3. VIP：Virtual IP,向外部直接面向用户请求，作为用户请求的目标的IP地址。
  4. DIP：Director Server IP,主要用于和内部主机通讯的IP地址。
  5. RIP：Real Server IP,后端服务器的IP地址。
  6. CIP：Client IP,访问客户端的IP地址。

LVS/NAT

原理

在这里插入图片描述

  • NAT方式的实现原理和数据包的改变
  1. 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。 此时报文的源IP为CIP，目标IP为VIP
  2. PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链
  3. IPVS比对数据包请求的服务是否为集群服务，若是，修改数据包的目标IP地址为后端服务器IP，然后将数据包发至POSTROUTING链。 此时报文的源IP为CIP，目标IP为RIP
  4. POSTROUTING链通过选路，将数据包发送给Real Server
  5. Real Server比对发现目标为自己的IP，开始构建响应报文发回给Director Server。 此时报文的源IP为RIP，目标IP为CIP
  6. Director Server在响应客户端前，此时会将源IP地址修改为自己的VIP地址，然后响应给客户端。 此时报文的源IP为VIP，目标IP为CIP

LVS-NAT模型的特性

  1. RS应该使用私有地址，RS的网关必须指向DIP
  2. 请求和响应报文都需要经过Director Server，高负载场景中，Director Server易成为性能瓶颈
  3. 支持端口映射

集群方式部署解决Director Server负载过高的问题

  • LVS集群部署方式实现的主要思想：LVS和上联交换机间运行OSPF协议，上联交换机通过ECMP等价路由，将数据流分发给LVS集群，LVS集群再转发给业务服务器；
  • lvs和交换机间运行ospf心跳，1个vip配置在集群的所有LVS上，当一台LVS down，交换机会自动发现并将其从ECMP等价路由中剔除；

LVS/DR

将请求报文的目标MAC地址重设为挑选出的RS的MAC地址

在这里插入图片描述

  1. 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。 此时报文的源IP为CIP，目标IP为VIP
  2. PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链
  3. IPVS比对数据包请求的服务是否为集群服务，若是，将请求报文中的源MAC地址修改为DIP的MAC地址，将目标MAC地址修改RIP的MAC地址，然后将数据包发至POSTROUTING链。 此时的源IP和目的IP均未修改，仅修改了源MAC地址为DIP的MAC地址，目标MAC地址为RIP的MAC地址
  4. 由于DS和RS在同一个网络中，所以是通过二层来传输。POSTROUTING链检查目标MAC地址为RIP的MAC地址，那么此时数据包将会发至Real Server。
  5. RS发现请求报文的MAC地址是自己的MAC地址，就接收此报文。处理完成之后，将响应报文通过lo接口传送给eth0网卡然后向外发出。 此时的源IP地址为VIP，目标IP为CIP
  6. 响应报文最终送达至客户端

LVS-DR模型的特性

  1. 保证前端路由将目标地址为VIP报文统统发给Director Server，而不是RS
    解决方法：
    • 在前端路由器做静态地址路由绑定，将对于VIP的地址仅路由到Director Server
    • 存在问题：用户未必有路由操作权限，因为有可能是运营商提供的，所以这个方法未必实用
    • arptables：在arp的层次上实现在ARP解析时做防火墙规则，过滤RS响应ARP请求。这是由iptables提供的
    • 修改RS上内核参数（arp_ignore和arp_announce）将RS上的VIP配置在lo接口的别名上，并限制其不能响应对VIP地址解析请求。
  2. 所有的请求报文经由Director Server，但响应报文必须不能进过Director Server
  3. RS的网关绝不允许指向DIP(因为我们不允许他经过director)
  4. RS上的lo接口配置VIP的IP地址
  5. 缺陷：RS和DS必须在同一机房中，不支持地址转换，也不支持端口映射

LVS/Tun

在原有的IP报文外再次封装多一层IP首部，内部IP首部(源地址为CIP，目标IIP为VIP)，外层IP首部(源地址为DIP，目标IP为RIP)

在这里插入图片描述

  1. 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。 此时报文的源IP为CIP，目标IP为VIP 。
  2. PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链
  3. IPVS比对数据包请求的服务是否为集群服务，若是，在请求报文的首部再次封装一层IP报文，封装源IP为为DIP，目标IP为RIP。然后发至POSTROUTING链。 此时源IP为DIP，目标IP为RIP
  4. POSTROUTING链根据最新封装的IP报文，将数据包发至RS（因为在外层封装多了一层IP首部，所以可以理解为此时通过隧道传输）。 此时源IP为DIP，目标IP为RIP
  5. RS接收到报文后发现是自己的IP地址，就将报文接收下来，拆除掉最外层的IP后，会发现里面还有一层IP首部，而且目标是自己的lo接口VIP，那么此时RS开始处理此请求，处理完成之后，通过lo接口送给eth0网卡，然后向外传递。 此时的源IP地址为VIP，目标IP为CIP
  6. 响应报文最终送达至客户端

特点

所有的请求报文经由Director Server，但响应报文必须不能进过Director Server

企业中最常用的是 DR 实现方式，而 NAT 配置上比较简单和方便

LVS的八种调度算法

  1. 轮叫调度 rr
  • 这种算法是最简单的，就是按依次循环的方式将请求调度到不同的服务器上，该算法最大的特点就是简单。轮询算法假设所有的服务器处理请求的能力都是一样的，调度器会将所有的请求平均分配给每个真实服务器，不管后端 RS 配置和处理能力，非常均衡地分发下去。
  1. 加权轮叫 wrr
  • 这种算法比 rr 的算法多了一个权重的概念，可以给 RS 设置权重，权重越高，那么分发的请求数越多，权重的取值范围 0 – 100。主要是对rr算法的一种优化和补充， LVS 会考虑每台服务器的性能，并给每台服务器添加要给权值，如果服务器A的权值为1，服务器B的权值为2，则调度到服务器B的请求会是服务器A的2倍。权值越高的服务器，处理的请求越多。
  1. 最少链接 lc
  • 这个算法会根据后端 RS 的连接数来决定把请求分发给谁，比如 RS1 连接数比 RS2 连接数少，那么请求就优先发给 RS1
  1. 加权最少链接 wlc
  • 这个算法比 lc 多了一个权重的概念。
  1. 基于局部性的最少连接调度算法 lblc
  • 这个算法是请求数据包的目标 IP 地址的一种调度算法，该算法先根据请求的目标 IP 地址寻找最近的该目标 IP 地址所有使用的服务器，如果这台服务器依然可用，并且有能力处理该请求，调度器会尽量选择相同的服务器，否则会继续选择其它可行的服务器
  1. 复杂的基于局部性最少的连接算法 lblcr
  • 记录的不是要给目标 IP 与一台服务器之间的连接记录，它会维护一个目标 IP 到一组服务器之间的映射关系，防止单点服务器负载过高。
  1. 目标地址散列调度算法 dh
  • 该算法是根据目标 IP 地址通过散列函数将目标 IP 与服务器建立映射关系，出现服务器不可用或负载过高的情况下，发往该目标 IP 的请求会固定发给该服务器。
  1. 源地址散列调度算法 sh
  • 与目标地址散列调度算法类似，但它是根据源地址散列算法进行静态分配固定的服务器资源。

LVS负载均衡实验

  • 实验环境
节点网卡IPVIP
Director节点eth0 192.168.0.8vip eth0:0 192.168.0.38
Real server1eth0 192.168.0.18vip lo:0 192.168.0.38
Real server2eth0 192.168.0.28vip lo:0 192.168.0.38
  • 安装
  1. 两个 real server 上都安装 mysql 服务
  2. Director 上安装 ipvsadm
yum install -y ipvsadm
  • Director 上配置脚本
# vim /usr/local/sbin/lvs_dr.sh

#! /bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward
ipv=/sbin/ipvsadm
vip=192.168.0.38
rs1=192.168.0.18
rs2=192.168.0.28
ifconfig eth0:0 down
ifconfig eth0:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip dev eth0:0
$ipv -C
$ipv -A -t $vip:80 -s wrr
$ipv -a -t $vip:80 -r $rs1:80 -g -w 3
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1

执行脚本完成配置

bash /usr/local/sbin/lvs_dr.sh
  • 在2台 rs 上配置脚本：
# vim /usr/local/sbin/lvs_dr_rs.sh

#! /bin/bash
vip=192.168.0.38
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

执行脚本完成配置

bash /usr/local/sbin/lvs_dr_rs.sh
  • 通过连接VIP测试负载均衡可用性。

LVS+keepalived高可用

  • LVS可以实现负载均衡，但是不能够进行健康检查，比如一个rs出现故障，LVS 仍然会把请求转发给故障的rs服务器，这样就会导致请求的无效性。keepalive 软件可以进行健康检查，而且能同时实现 LVS 的高可用性，解决 LVS 单点故障的问题，其实 keepalive 就是为 LVS 而生的。

LVS+keepalived安装

实验环境

Keepalived1 + lvs1(Director1)：192.168.0.48
Keepalived2 + lvs2(Director2)：192.168.0.58
Real server1：192.168.0.18
Real server2：192.168.0.28
VIP: 192.168.0.38

安装系统软件

  • Lvs + keepalived的2个节点安装
yum install ipvsadm keepalived -y
  • Real server 的2个节点安装mysql
yum install epel-release -y

Real server节点2台配置脚本

# vim /usr/local/sbin/lvs_dr_rs.sh

#! /bin/bash
vip=192.168.0.38
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
  • 节点rs 上分别执行脚本完成配置
    bash /usr/local/sbin/lvs_dr_rs.sh

keepalived节点配置(2节点)

  • 主节点( MASTER )配置文件
vim /etc/keepalived/keepalived.conf

vrrp_instance VI_1 {
    state MASTER
    interface eth0
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.0.38
    }
}
virtual_server 192.168.0.38 80 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    persistence_timeout 0
    protocol TCP
    real_server 192.168.0.18 80 {
        weight 1
        TCP_CHECK {
            connect_timeout 10
            nb_get_retry 3
            delay_before_retry 3
            connect_port 80
        }
    }
    real_server 192.168.0.28 80 {
        weight 1
        TCP_CHECK {
            connect_timeout 10
            nb_get_retry 3
            delay_before_retry 3
            connect_port 80
        }
    }
}
  • 从节点( BACKUP )配置文件:
    拷贝主节点的配置文件keepalived.conf，然后修改如下内容：
    state MASTER -> state BACKUP
priority 100 -> priority 90
  • keepalived的2个节点执行如下命令，开启转发功能：
# echo 1 > /proc/sys/net/ipv4/ip_forward

启动keepalive

先主后从分别启动keepalive
service keepalived start

ali-LVS开源地址https://github.com/alibaba/LVS

参考链接:http://www.cnblogs.com/liwei0526vip/p/6370103.html
https://blog.csdn.net/Ki8Qzvka6Gz4n450m/article/details/79119665

黄眉老祖
关注
LVS VRRP和ECMP两种模式需要注意的点
weixin_43253662的博客
03-31 1384
基于vrrp的主从LVS 了解vrrp协议工作原理及keepalived.conf配置参数. 最全的文档官方没有最新更新, 需从源码doc目录中查看. 了解组播概念. vrrp主从切换时,VIP生效需向网关发送arp更新,keepalived.conf中有自动定时刷新arp功能,了解arp工作原理. virtual_ipaddress最多支持20个VIP,原因是担心发送通告包过长.当需求超过20...
LVS负载均衡全解析
dyh的博客
06-16 627
  客户通过本地设置dns获得hosts文件，dns解析CDN（需要厂家购买的服务或者自研），CDN进入企业内部的VIP上，一般公司会把VIP强制到路由器上，路由器通过OSPF协议走等价路由（例一致性哈西算法），通过路由协议分发到例如LVS调度节点CDN：Content Delivery Network，即内容分发网络。CDN是构建在现有网络基础之上的智能虚拟网络，依靠部署在各地的边缘服务器，通过中心平台的负载均衡、内容分发、调度等功能模块，使用户就近获取所需内容，降低网络拥塞，提高用户访问响应速度和命中率
突破LVS瓶颈，LVS Cluster部署（OSPF + LVS）
weixin_33753003的博客
07-10 192
为什么80%的码农都做不了架构师？>>> ...
LVS负载均衡详解(LVS简介、四种工作模式、十种调度算法)以及流量转发过程
qq_42343557的博客
07-19 2141
LVS负载均衡详解及流量转发过程
lvs负载均衡集群实验.docx
03-18
lvs负载均衡集群实验 lvs负载均衡集群是基于Linux操作系统的高可用性集群解决方案，通过将多个Real Server集成到一个虚拟的IP地址（Virtual IP，VIP）上，来实现对外提供服务的目的。下面将对lvs负载均衡集群的实验...
Linux&&LVS负载均衡群集
01-09
Linux&&LVS负载均衡群集概念群集的类型负载均衡的分层结构负载均衡的工作模式环境部署（NAT模式）负载调度器部署启动ip_vs模块LVS的负载调度算法使用ipvsadm管理工具NFS共享存储服务使用NFS发布共享资源在客户机中...
lvs负载均衡
01-20
总的来说，LVS负载均衡技术是构建高效、可扩展的分布式服务架构的关键组件，结合ARP和DNS解析机制，能提供强大的网络服务管理和优化能力。而了解ARP欺骗以及如何防止它，对于维护网络环境的安全至关重要。通过熟练...
lvs负载均衡源码
07-11
LVS负载均衡器的调度算法有很多种，例如轮询（Round Robin）、最少连接（Least Connections）、短连接优先（Shortest Connection First）等，可以根据实际需求选择合适的算法来分配请求。 在“LVS-master”这个...
做一个大规模,高并发,高可用,可扩展的三层和四层负载均衡系统ECMP+LVS
最新发布
机核动力的博客
08-14 325
首先四层的负载均衡我们用LVS,三层的我们通过ECMP(OSPF)来实现。支持ECMP特性的路由器将IP报文转发到不同的负载均衡服务器上，LVS通过NAT的方式进行负载均衡。首先看看这个实现的网络拓扑结构。总共有9台机器，LVS负载均衡服务器2台，RealServer真实服务器4台，2台客户端访问机器，1台Quagga主路由器.
LVS-DR（Direct Routing）直接路由模式实现负载均衡
lyy962464的博客
09-28 1220
一、LVS的背景 Internet的快速增长使多媒体网络服务器面对的访问数量快速增加，服务器需要具备提供大量并发访问服务的能力，因此对于大负载的服务器来讲，CPU、I/O处理能力很快会成为瓶颈。由于单台服务器的性能总是有限的，简单的提高硬件性能并不能真正解决这个问题。为此，必须采用多服务器和负载均衡技术才能满足大量并发访问的需要。Linux虚拟服务器(Linux Virtual Servers,...
LVS的不足之处及第四种转发类型FULLNAT
qq_42343557的博客
07-19 730
LVS三种转发模式的不足与第四种转发模式FULLNAT
LVS负载均衡群集（DR直接路由模式）
m0_50650953的博客
12-08 313
LVS（DR直接路由模式）DR直接路由模式DR模式工作原理DR模式中的名词解释LVS-NAT模式和LVS-DR模式区别搭建LVS的DR模式项目环境配置步骤LVS调度器配置NFS共享目录配置Web1配置### Web2配置访问测试 DR直接路由模式 DR模式工作原理 1、客户端发送请求至调度器（VIP），请求报文源地址是CIP，目标地址为VIP； 2、LVS调度器接收到请求，报文在PREROUTING链检查，确定目的IP是本机，于是将报文发送至INPUT链，ipvs内核模块确定请求的服务是配置的LVS集群服
LVS简介以及集群部署方式
XR风云
05-06 2873
1、LVS简介 LVS的IP负载均衡技术是通过IPVS模块实现的。IPVS模块是LVS集群的核心软件模块，它安装在LVS集群作为负载均衡的主节点上，虚拟出一个IP地址和端口对外提供服务。用户通过访问这个虚拟服务（VS），然后访问请求由负载均衡器（LB）调度到后端真实服务器（RS）中，由RS实际处理用户的请求给返回响应。 ipvs (IP Virtual Server)实现了传...
LVS负载均衡群集-直接路由模式(LVS-DR)
weixin_50344807的博客
12-08 331
LVS-DR数据包流向分析 1.Client向目标VIP发出请求，Director(负载均衡器)接收。 2.Director根据负载均衡算法选择RealServer_1，不修改也不封装IP报文，而是将数据帧的MAC地址改为RealServer_1的MAC地址，然后在局域网上发送。 3.RealServer 1收到这个帧,解封装后发现目标IP与本机匹配(RealServer事先绑定VIP)，于是处理这个报文。随后重新封装报文，发送到局域网。 4.Client将收到回复报文。Client认为得到正常的服务，而不
LVS 生产环境架构详解
codebay118的博客
05-22 5249
一、LVS 技术介绍 1.1 工作原理 LVS 是 Linux Virtual Server 的简写，意即 Linux 虚拟服务器，是一个开源的负载均衡流量调度器。LVS 集群采用 IP 负载均衡技术和基于内容请求分发技术，将用户请求按照一定策略分发到后端的 Server 上，从而将一组服务器构成一个高性能的、高可用的虚拟服务器。在特定的场景下，整个服务器集群的结构对客户是透明的，而且无需修改
LVS在大流量下基于OSPF的负载均衡实施方案
weixin_34259559的博客
06-07 362
随着开源技术的发展，以及商业设备价格的不断攀升。大公司总是希望能使用开源的方案来替换过去使用的商业设备。比如之前大家用的很多的F5和A10,现在已经在逐步被LVS替换。传统的单个lvs的性能是比不上商业设备的，而且稳定性等也相对会差些。告诉大家很多大公司都在用这些技术的。基本思路就是把多个LVS组成一个OSPF集群，这样可以使得LVS集群的性能可以远远超过单个传统的商业设备（当然，对于F5等等其实...
数据中心内负载均衡-ECMP的使用分析
weixin_33907511的博客
08-07 2252
背景 数据中心的网络拓扑通常采用CLOS结构，主机之间常存在多条路径。数据中心为满足吞吐量敏感型流量的需求会提供大量的带宽资源。那么利用数据中心这种网络拓扑已知，路径资源、带宽资源丰富的特性，可以更好的实现负载均衡，将数据流分布到不同路径上进行数据传输，避免拥塞，提高数据中心内的资源利用率。 ECMP(Equal-cost multi-path) ECMP是一个逐跳的基于流的负载均衡策略，当路由器...
Linux LVS负载均衡技术详解
在本文中，我们将深入探讨Linux LVS负载均衡技术和网络OSI七层模型。 首先，LVS（Linux Virtual Server）是基于Linux内核的高性能网络负载均衡解决方案，它能够将请求分发到多台服务器，提高系统的可用性和响应速度...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值