LVS学习笔记

最新推荐文章于 2024-05-13 22:26:55 发布

东烨

最新推荐文章于 2024-05-13 22:26:55 发布

阅读量154

点赞数

分类专栏： Linux 文章标签： LVS 笔记

本文链接：https://blog.csdn.net/weixin_43520186/article/details/102705956

版权

Linux 专栏收录该内容

11 篇文章 0 订阅

订阅专栏

集群与分布式相关概念

集群

Cluster

集群,为解决某个特定问题将多台计算机组合起来形成的单个系统

Linux Cluster类型

LB：Load Balancing，负载均衡
HA：High Availiablity，高可用，SPOF（single Point Of failure）

MTBF:Mean Time Between Failure 平均无故障时间
MTTR:Mean Time To Restoration（ repair）平均恢复前时间
A=MTBF/（MTBF+MTTR） (0,1)：99%,99.5%,99.9%,99.99%,99.999%
HPC：High-performance computing，高性能 www.top500.org

分布式

分布式系统

分布式存储： Ceph，GlusterFS，FastDFS，MogileFS
分布式计算：hadoop，Spark

集群与分布式的区别

集群：同一个业务系统，部署在多台服务器上。集群中，每一台服务器实现的功能没有差别，数据和代码都是一样的
分布式：一个业务被拆成多个子业务，或者本身就是不同的业务，部署在多台服务器上。分布式中，每一台服务器实现的功能是有差别的，数据和代码也是不一样的，分布式每台服务器功能加起来，才是完整的业务
分布式是以缩短单个任务的执行时间来提升效率的，而集群则是通过提高单位时间内执行的任务数来提升效率。

LVS

工作原理

VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS，根据调度算法来挑选RS

查看内核是否支持

    [root@dongye ~]# grep -i -A 10 "IPVS" /boot/config-3.10.0-862.el7.x86_64
    # IPVS transport protocol load balancing support
    CONFIG_IP_VS_PROTO_TCP=y #开启tcp
    CONFIG_IP_VS_PROTO_UDP=y #开启udp
    CONFIG_IP_VS_PROTO_AH_ESP=y
    CONFIG_IP_VS_PROTO_ESP=y
    CONFIG_IP_VS_PROTO_AH=y
    CONFIG_IP_VS_PROTO_SCTP=y #
    # IPVS scheduler #默认支持的算法
    CONFIG_IP_VS_RR=m
    CONFIG_IP_VS_WRR=m
    CONFIG_IP_VS_LC=m
    CONFIG_IP_VS_WLC=m
    CONFIG_IP_VS_LBLC=m
    CONFIG_IP_VS_LBLCR=m
    CONFIG_IP_VS_DH=m
    CONFIG_IP_VS_SH=m
    CONFIG_IP_VS_SED=m

lvs集群类型

四种类型： nat、dr、tun、fullnat

lvs-nat

修改请求报文的目标IP,多目标IP的DNAT
本质是多目标IP的DNAT，通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和PORT实现转发

(1) RIP和DIP应在同一个IP网络，且应使用私网地址；RS的网关要指向DIP
(2) 请求报文和响应报文都必须经由Director转发，Director易于成为系统瓶颈
(3) 支持端口映射，可修改请求报文的目标PORT
(4) VS必须是Linux系统，RS可以是任意OS系统
nat 实现图

LVS的NAT模型

lvs-dr

操纵封装新的MAC地址
Direct Routing，直接路由，LVS默认模式,应用最广泛,通过为请求报文重新封装一个MAC首部进行转发，源MAC是DIP所在的接口的MAC，目标MAC是某挑选出的RS的RIP所在接口的MAC地址；源IP/PORT，以及目标IP/PORT均保持不变

实现

Director和各RS都配置有VIP
确保前端路由器将目标IP为VIP的请求报文发往Director

在前端网关做静态绑定VIP和Director的MAC地址

在RS上使用arptables工具

arptables -A IN -d $VIP -j DROP
arptables -A OUT -s $VIP -j mangle --mangle-ip-s $RIP

在RS上修改内核参数以限制arp通告及应答级别

/proc/sys/net/ipv4/conf/all/arp_ignore
/proc/sys/net/ipv4/conf/all/arp_announce
RS的RIP可以使用私网地址，也可以是公网地址；RIP与DIP在同一IP网络；RIP的网关不能指向DIP，以确保响应报文不会经由Director
RS和Director要在同一个物理网络
请求报文要经由Director，但响应报文不经由Director，而由RS直接发往Client
不支持端口映射（端口不能修改）
RS可使用大多数OS系统

dr实现图

LVS的NAT模型

lvs-tun

在原请求IP报文之外新加一个IP首部
转发方式

不修改请求报文的IP首部（源IP为CIP，目标IP为VIP），而在原IP报文之外再封装一个IP首部（源IP是DIP，目标IP是RIP），将报文发往挑选出的目标RS；RS直接响应给客户端（源IP是VIP，目标IP是CIP）

实现

DIP, VIP, RIP都应该是公网地址
RS的网关一般不能指向DIP
请求报文要经由Director，但响应不经由Director
不支持端口映射
RS的OS须支持隧道功能

lvs-fullnat

修改请求报文的源和目标IP
通过同时修改请求报文的源IP地址和目标IP地址进行转发

CIP --> DIP
VIP --> RIP

实现

VIP是公网地址，RIP和DIP是私网地址，且通常不在同一IP网络；因此，RIP的网关一般不会指向DIP
RS收到的请求报文源地址是DIP，因此，只需响应给DIP；但Director还要将其发往Client
请求和响应报文都经由Director
支持端口映射

注意：此类型kernel默认不支持

调度算法

ipvs scheduler：根据其调度时是否考虑各RS当前的负载状态
两种方法：静态方法和动态方法

静态方法

仅根据算法本身进行调度
四种算法：RR WRR SH DH

RR

RR：roundrobin，轮询

WRR

Weighted RR，加权轮询

SH

SH：Source Hashing，实现session sticky，源IP地址hash；将来自于同一个IP地址的请求始终发往第一次挑中的RS，从而实现会话绑定

DH

DH：Destination Hashing；目标地址哈希，第一次轮询调度至RS，后续将发往同一个目标地址的请求始终转发至第一次挑中的RS，典型使用场景是正向代理缓存场景中的负载均衡，如：宽带运营商

动态方法

主要根据每RS当前的负载状态及调度算法进行调度Overhead=value较小的RS将被调度
六种算法：LC WLC SED NQ LBLC LBLCR

LC

LC：least connections 适用于长连接应用
Overhead=activeconns*256+inactiveconns

WLC

WLC：Weighted LC，默认调度方法
Overhead=(activeconns*256+inactiveconns)/weight

SED

SED：Shortest Expection Delay,初始连接高权重优先
Overhead=(activeconns+1)*256/weight

NQ

NQ：Never Queue，第一轮均匀分配，后续SED

LBLC

LBLC：Locality-Based LC，动态的DH算法，使用场景：根据负载状态实现正向代理

LBLCR

LBLCR：LBLC with Replication，带复制功能的LBLC，解决LBLC负载不均衡问题，从负载重的复制到负载轻的RS

ipvsadm

ipvsadm来自ipvsadm包
ipvsadm包构成

Unit File: ipvsadm.service
主程序：/usr/sbin/ipvsadm
规则保存工具：/usr/sbin/ipvsadm-save
规则重载工具：/usr/sbin/ipvsadm-restore
配置文件：/etc/sysconfig/ipvsadm-config
ipvsadm：用户空间的命令行工具，规则管理器，用于管理集群服务及RealServer
ipvs：工作于内核空间netfilter的INPUT钩子上的框架
支持的协议：TCP， UDP， AH， ESP， AH_ESP, SCTP

ipvsadm命令

    语法：
        ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] [-M netmask] [--pepersistence_engine] [-b sched-flags]
        ipvsadm -D -t|u|f service-address 删除
        ipvsadm –C 清空
        ipvsadm –R 重载
        ipvsadm -S [-n] 保存
        ipvsadm -a|e -t|u|f service-address -r server-address [options]
        ipvsadm -d -t|u|f service-address -r server-address
        ipvsadm -L|l [options]
        ipvsadm -Z [-t|u|f service-address]

    管理集群服务：增、改、删
        
        增、改：
            ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]
        
        删除：
            ipvsadm -D -t|u|f service-address

        service-address：
            -t|u|f：
                -t: TCP协议的端口，VIP:TCP_PORT
                -u: UDP协议的端口，VIP:UDP_PORT
                -f：firewall MARK，标记，一个数字
        
        [-s scheduler]：指定集群的调度算法，默认为wlc

    管理集群上的RS：增、改、删
        
        增、改
            ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight]

        删
            ipvsadm -d -t|u|f service-address -r server-address

        server-address
            rip[:port] 如省略port，不作端口映射

        [-g|i|m]
            -g: gateway, dr类型，默认
            -i: ipip, tun类型
            -m: masquerade, nat类型

        -w 
            weight :权重

    保存及重载规则
        保存：建议保存至/etc/sysconfig/ipvsadm
            ipvsadm-save > /PATH/TO/IPVSADM_FILE
            ipvsadm -S > /PATH/TO/IPVSADM_FILE
            systemctl stop ipvsadm.service
        
        重载：
            ipvsadm-restore < /PATH/FROM/IPVSADM_FILE
            systemctl restart ipvsadm.service

与防火墙标记连用

FireWall Mark(FWM)：防火墙标记
MARK target 可用于给特定的报文打标记

–set-mark value
其中：value 可为0xffff格式，表示十六进制数字
借助于防火墙标记来分类报文，而后基于标记定义集群服务；可将多个不同的应用使用同一个集群服务进行调度

实现方法

在Director主机打标记

iptables -t mangle -A PREROUTING -d $vip -p $proto –m multiport --dports $p o r t 1,$ port2,… -j MARK --set-mark NUMBER
在Director主机基于标记定义集群服务

ipvsadm -A -f NUMBER [options]

东烨

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
LVS学习笔记

集群与分布式相关概念集群Cluster集群,为解决某个特定问题将多台计算机组合起来形成的单个系统Linux Cluster类型LB：Load Balancing，负载均衡HA：High Availiablity，高可用，SPOF（single Point Of failure）MTBF:Mean Time Between Failure 平均无故障时间MTTR:Mea...
复制链接

扫一扫