高性能集群Linux Virtual ServerCL

内容概要:

1,集群概念

2,LVS介绍

3,LVS实现

4,LVS高可用性

Cluster概念:

1,系统扩展方式:

    Scale UP : 向上扩展,增强.

    Scale Out : 向外扩展,增加设备,调度分配问题,Cluster.

2,Cluster: 

    集群,为解决某个特定问题将多台计算机组合起来形成单个系统.

3,Linux Cluster 类型:

    LB : Load Balancing , 负载均衡

    HA : High Availiablity ,高可用  , SPOF(single point of failure)

            MTBF : Mean Time Between Failure 平均无故障时间

             MTTR : Mean Time To Restoration ( repair ) 平均恢复前时间

            A = MTBF / (MTBF + MTTR )

    HPC : High-performance computing , 高性能 ,排名可参考(www.top500.org)

4,分布式系统:

    分布式储存 :  云盘

    分布式计算 : hadoop , Spark

Cluster分类:

LB Cluster 的实现;

硬件:

    F5 Big-IP

    Citrix Netscaler

     A10 A10

软件:

    lvs: Linux Virtual Server

    nginx : 支持四层调度

    haproxy : 支持四层调度

    ats : apache traffic server , 由yahoo!捐助

    perlbal : Perl 编写

    pound

 Cluster分类:

基于工作的协议层次划分 :

    传输层(通用):DPORT

        LVS:

        nginx : stream

        haproxy : mode tcp

        应用层(专用): 针对特定协议,自定义的请求模型分类

            proxy server :

                http : nginx , httpd , haproxu(mode http) , ...

                fastcgi : nginx , httpd , ...

                mysql : mysql-proxy , ...

Cluster相关:

会话保持 : 负载均衡

    (1) session sticky : 同一用户调度固定服务器

            Source IP : LVS sh算法(对某一特定服务而言)

            Cookie

    (2)session replication : 每台服务器拥有全部session

            session multicast cluster 

    (3) session server : 专门的session服务器

            Memcached , Redis

HA集群实现方案:

    keepalived : vrrp 协议

    ais : 应用接口规范

            heartbeat

            cman + rgmanager(RHCS)

            coresync_pacemaker 

LVS介绍:

LVS: Linux Virtual Server , 负载调度器 , 集成内核 

        VS : Virtual Server , 负责调度

        RS : Real Server , 负责真正提供服务

        L4 : 四层路由器或交换机

工作原理: VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS,根据调度算法来挑选RS.

iptables/netfilter : 

    iptables : 用户空间的管理工具

    netfilter : 内核空间上的框架

    流入: PREROUTING --> INPUT

    流出: OUTPUT --> POSTROUTING

    转发: PREROUTING --> FORWARD --> POSTROUTING 

    DNAT: 目标地址转换

LVS集群体系结构:

我自己按照理解画的草图,网上有很多详细的(这是一个VS/NAT模式的)

LVS概念:

lvs集群类型中的术语:

VS : Virtual Server , Director Server(DS)

        Dispatcher(调度器) , Load Balancer 

RS : Real Server(lvs) , upstream server(nginx)

        backend server(haproxy)

CIP : Client IP

VIB : Virtual Server IP

RIP : Real Server IP

访问流程 : CIP <--> VIP == DIP <--> RIP

Lvs集群的类型:

lvs : ipvsadm/ipvs 

        ipvsadm : 用户空间的命令行工具 , 规则管理器

        ipvs : 工作与内核空间的netfilter的INPUT钩子上的框架

lvs集群的类型:

    lvs-nat : 修改请求报文的目标IP , 多目标IP的DNAT

    lvs-dr : 操纵封装新的MAC地址

    lvs-tun : 在原请求IP报文之外新加一个IP首部

    lvs-fullnat : 修改请求报文的源IP和目标IP

Lvs-nat模式:

lvs-nat : 本质是多目标IP的DNAT , 通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和PORT实现转发.

(1) RIP和DIP必须在同一个IP网络 , 且应该使用私网地址 ; RS的网关要指向DIP

(2) 请求报文和相应报文都必须经由Director转发 , Director易于成为系统瓶颈

(3) 支持端口映射 , 可修改请求报文的目标PORT

(4) VS必须是Linux系统 , RS可以是任意OS系统

NAT模式IP包调度过程:

LVS-DR模式:

LVS-DR : Direct Routing , 直接路由 , LVS默认模式 , 应用最广泛 , 通过为请求报文重新封装一个MAC首部进行转发 , 源MAC是DIP所在的接口的MAC , 目标MAC是某挑选出的RS的RIP所在接口的MAC地址 ; 源IP/PORT , 以及目标IP/PORT均保持不变

Director和各RS都配置有VIP

(1) 确保前端路由器将目标IP为VIP的请求报文发往Director : 

        在前端网关做静态绑定VIP和Director的MAC地址

        在RS上使用arptables工具

          arptables -A IN -d $VIP -j DROP

          arptables -A OUT -s $VIP -j mangle --mangle -ip-s $RIP

        在RS上修改内核参数以限制arp通告及应答级别

          arp_announce

          arp_ignore

(2) RS的RIP可以使用私网地址 , 也可以是公网地址 ; RIP与DIP在同一IP网络 ; RIP的网关不能指向DIP , 以确保响应报文不会经由Director.

(3) 请求报文要经由Director , 但响应报文不经由Director , 由RS直接发往Client

(5) 不支持端口映射(端口不能修改)

(6) RS可以使用大多数OS系统 

体系结构:

DR模式IP包调度过程:

lvs-tun模式:

lvs-tun:

转发方式 : 不修改请求报文的IP首部(源IP为CIP , 目标IP为VIP) , 而在原IP报文之外再封装一个IP首部(源IP是DIP,目标IP是RIP) , 将报文发往挑选出的目标RS ; RS直接响应给客户端(源IP是VIP , 目标IP是CIP)

    (1) DIP , VIP , RIP 都应该是公网地址

    (2) RS的网关不能 , 也不可能指向DIP

    (3) 请求报文要经由Director , 但响应不能经由Director

    (4) 不支持端口映射

    (5) RS的OS必须支持隧道功能

vs/tun体系结构:

TUN模式IP包调度过程:

Lvs-fullnat模式:

lvs-fullnat : 通过同时修改请求报文的源IP地址和目标IP地址进行转发 ; CIP --> DIP , VIP --> RIP

    (1)  VIP是公网地址 , 但RIP和DIO是私网地址 , 且通常不在同一IP网络 ; 因此 , RIP的网关一般不会指向DIP

    (2) RS收到的请求报文源地址是DIP , 因此 ,只需响应给DIP ; 但Director还要将其发往Client

    (3) 请求和相应报文都经由Director

    (4) 支持端口映射;

    注意 : 此类型kernel默认不支持

 总结:

lvs-nat与lvs-fullnat : 请求和响应报文都经由Director

lvs-nat : RIP的网关要指向DIP

lvs-fullnat : RIP和DIP未必在同一IP网络 , 弹药可以通信

lvs-dr 与 lvs-tun : 请求报文要经由Director , 但响应报文由RS直接发往Client

lvs-dr : 通过封装新的MAC首部实现 , 通过MAC网络转发

lvs-tun : 通过在原IP报文外封装新IP头实现转发 , 支持远距离通信