LVS(Linux Virtual Server)

Linux Cluster：

Cluster：计算机集合，为解决某个特定问题组合起来形成的单个系统；

Linux Cluster类型：

LB：Load Balancing，负载均衡；

HA：High Availiablity，高可用；

        A=MTBF/（MTBF+MTTR）

                (0,1)：90%, 95%, 99%, 99.5%,  99.9%, 99.99%, 99.999%

HP：High Performance，高性能；

系统扩展方式：

        Scale UP：向上扩展

        Scale Out：向外扩展

                Cluster 

LB Cluster：

LB Cluster的实现：

        硬件：

                F5 Big-IP

                Citrix Netscaler

                A10 A10

        软件：

                lvs：Linux Virtual Server

                nginx

                haproxy

                ats：apache traffic server 

                perlbal

                pound

基于工作的协议层次划分：

传输层（通用）：（DPORT）

        lvs：

        nginx：（stream）

        haproxy：（mode tcp）

应用层（专用）：（自定义的请求模型分类）

        proxy sferver：

        http：nginx, httpd, haproxy(mode http), ...

        fastcgi：nginx, httpd, ...

        mysql：mysql-proxy, ...

        ...

站点指标：

PV：Page View

UV：Unique Vistor

IP：

会话保持：

(1) session sticky

        Source IP

        Cookie

(2) session replication; 

        session cluster

(3) session server

LVS：Linux Virtual Server 

VS: Virtual Server

RS: Real Server

l4：四层路由器，四层交换机；

VS：根据请求报文的目标IP和目标协议及端口将其调度转发至某RealServer，根据调度算法来挑选RS；

iptables/netfilter：

        iptables：用户空间的管理工具；

        netfilter：内核空间上的框架；

                流入：PREROUTING --> INPUT 

                流出：OUTPUT --> POSTROUTING

                转发：PREROUTING --> FORWARD --> POSTROUTING

        DNAT：目标地址转换； PREROUTING；

lvs: ipvsadm/ipvs

ipvsadm：用户空间的命令行工具，规则管理器，用于管理集群服务及RealServer；

ipvs：工作于内核空间的netfilter的INPUT钩子之上的框架；

lvs集群类型中的术语：

vs：Virtual Server, Director, Dispatcher, Balancer

rs：Real Server, upstream server, backend server

CIP：Client IP, VIP: Virtual serve IP, RIP: Real server IP, DIP: Director IP

CIP <--> VIP == DIP <--> RIP 

lvs集群的类型：

        lvs-nat：修改请求报文的目标IP

        lvs-dr：操纵封装新的MAC地址；

        lvs-tun：在原请求IP报文之外新加一个IP首部；

        lvs-fullnat：修改请求报文的源和目标IP；

lvs-nat：多目标IP的DNAT，通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和PORT实现转发；

（1）RIP和DIP必须在同一个IP网络，且应该使用私网地址；RS的网关要指向DIP；

（2）请求报文和响应报文都必须经由Director转发；Director易于成为系统瓶颈；

（3）支持端口映射，可修改请求报文的目标PORT；

（4）vs必须是Linux系统，rs可以是任意系统；

lvs-dr：Direct Routing，直接路由；通过为请求报文重新封装一个MAC首部进行转发，源MAC是DIP所在的接口的MAC，目标MAC是某挑选出的RS的RIP所在接口的MAC地址；源IP/PORT，以及目标IP/PORT均保持不变；

Director和各RS都得配置使用VIP；

(1) 确保前端路由器将目标IP为VIP的请求报文发往Director：

        (a) 在前端网关做静态绑定；

        (b) 在RS上使用arptables；

        (c) 在RS上修改内核参数以限制arp通告及应答级别；

                arp_announce

                arp_ignore

(2) RS的RIP可以使用私网地址，也可以是公网地址；RIP与DIP在同一IP网络；RIP的网关不能指向DIP，以确保响应报文不会经由Director；

(3) RS跟Director要在同一个物理网络；

(4) 请求报文要经由Director，但响应不能经由Director，而是由RS直接发往Client；

(5) 不支持端口映射；

lvs-tun：转发方式：不修改请求报文的IP首部（源IP为CIP，目标IP为VIP），而在原IP报文之外再封装一个IP首部（源IP是DIP，目标IP是RIP），将报文发往挑选出的目标RS；

(1) DIP, VIP, RIP都应该是公网地址；

(2) RS的网关不能，也不可能指向DIP；

(3) 请求报文要经由Director，但响应不能经由Director；

(4) 不支持端口映射；

(5) RS的OS得支持隧道功能；

    注意: 请求报文不能太大,否则会形成巨型帧

lvs-fullnat：通过同时修改请求报文的源IP地址和目标IP地址进行转发；

CIP --> DIP 

VIP --> RIP 

(1) VIP是公网地址，RIP和DIP是私网地址，且通常不在同一IP网络；因此，RIP的网关一般不会指向DIP；

(2) RS收到的请求报文源地址是DIP，因此，只需响应给DIP；但Director还要将其发往Client；

(3) 请求和响应报文都经由Director；

(4) 支持端口映射；

注意：此类型默认不支持；

lvs类型：

        lvs-nat：通过修改请求报文的目标IP地址完成调度并转发；请求和响应报文都经由Director；

        lvs-dr：通过直接封装新的MAC首部完成调度并转发；仅请求报文经由Director；

        lvs-tun：通过在原IP报文首部之外新封装一个IP首部完成调度并转发；仅请求报文经由Director；

        lvs-fullnat：通过修改请求报文的目标IP地址和源IP地址完成调度并转发；请求和响应报文都经由Director；

会话保持：

session sticky, session replication, session server；

ipvs scheduler：            

根据其调度时是否考虑各RS当前的负载状态，可分为静态方法和动态方法两种：

静态方法：仅根据算法本身进行调度；

        RR：roundrobin，轮询；

        WRR：Weighted RR，加权轮询；

        SH：Source Hashing，实现session sticy，源IP地址hash；将来自于同一个IP地址的请求始终发往第一次挑中的RS，从而实现会话绑定；

        DH：Destination Hashing；目标地址哈希，将发往同一个目标地址的请求始终转发至第一次挑中的RS；

动态方法：主要根据每RS当前的负载状态及调度算法进行调度；

        Overhead=

        LC：least connections

                Overhead=activeconns*256+inactiveconns

        WLC：Weighted LC

                Overhead=(activeconns*256+inactiveconns)/weight

        SED：Shortest Expection Delay

                Overhead=(activeconns+1)*256/weight

        NQ：Never Queue

        LBLC：Locality-Based LC，动态的DH算法；

        LBLCR：LBLC with Replication，带复制功能的LBLC；

ipvsadm/ipvs：

ipvs：

grep -i -C 10 "ipvs" /boot/config-3.10.0-327.el7.x86_64

支持的协议：TCP， UDP， AH， ESP， AH_ESP, SCTP；

ipvs集群：

        集群服务

        服务上的RS

ipvsadm命令：

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] [-M netmask] [--pe persistence_engine] [-b sched-flags]
ipvsadm -D -t|u|f service-address
ipvsadm -C
ipvsadm -R
ipvsadm -S [-n]
ipvsadm -a|e -t|u|f service-address -r server-address [options]
ipvsadm -d -t|u|f service-address -r server-address
ipvsadm -L|l [options]
ipvsadm -Z [-t|u|f service-address]

管理集群服务：增、改、删；

管理集群服务:增、改：

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]

管理集群服务:删：

ipvsadm -D -t|u|f service-address

service-address：

        -t|u|f：

                -t: TCP协议的端口，VIP:TCP_PORT

                -u: TCP协议的端口，VIP:UDP_PORT

                -f：firewall MARK，是一个数字；

        [-s scheduler]：指定集群的调度算法，默认为wlc；

管理集群上的RS：增、改、删；

管理集群上的RS：增、改：

ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight]

管理集群上的RS：删：

ipvsadm -d -t|u|f service-address -r server-address

server-address：

        rip[:port]

选项：

lvs类型：

        -g: gateway, dr类型

        -i: ipip, tun类型

        -m: masquerade, nat类型

-w weight：权重；

清空定义的所有内容：

ipvsadm -C

查看：

ipvsadm -L|l [options]
    --numeric, -n：numeric output of addresses and ports 
    --exact：expand numbers (display exact values)


    --connection， -c：output of current IPVS connections
    --stats：output of statistics information
    --rate ：output of rate information

保存和重载：

ipvsadm -S = ipvsadm-save
ipvsadm -R = ipvsadm-restore 

负载均衡集群的设计要点：

(1) 是否需要会话保持；

(2) 是否需要共享存储；

        共享存储：NAS， SAN， DS（分布式存储）

        数据同步：

lvs-nat：

设计要点：

        (1) RIP与DIP在同一IP网络, RIP的网关要指向DIP；

        (2) 支持端口映射；

lvs-dr：

dr模型中，各主机上均需要配置VIP，解决地址冲突的方式有三种：

        (1) 在前端网关做静态绑定；

        (2) 在各RS使用arptables；

        (3) 在各RS修改内核参数，来限制arp响应和通告的级别；

                限制响应级别：arp_ignore

                        0：默认值，表示可使用本地任意接口上配置的任意地址进行响应；

                        1: 仅在请求的目标IP配置在本地主机的接收到请求报文接口上时，才给予响应；

                限制通告级别：arp_announce

                        0：默认值，把本机上的所有接口的所有信息向每个接口上的网络进行通告；

                        1：尽量避免向非直接连接网络进行通告；

                        2：必须避免向非本网络通告；

RS的预配置脚本：

#!/bin/bash
#
vip=10.1.0.5
mask='255.255.255.255'
case $1 in
start)
    echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
    echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
    echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
    echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
    ifconfig lo:0 $vip netmask $mask broadcast $vip up
    route add -host $vip dev lo:0
    ;;
stop)
    ifconfig lo:0 down
    echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore
    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore
    echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce
    ;;
*) 
    echo "Usage $(basename $0) start|stop"
    exit 1
    ;;
esac

VS的配置脚本：

#!/bin/bash
#
vip='10.1.0.5'
iface='eno16777736:0'
mask='255.255.255.255'
port='80'
rs1='10.1.0.7'
rs2='10.1.0.8'
scheduler='wrr'
type='-g'
case $1 in
start)
    ifconfig $iface $vip netmask $mask broadcast $vip up
    iptables -F
    ipvsadm -A -t ${vip}:${port} -s $scheduler
    ipvsadm -a -t ${vip}:${port} -r ${rs1} $type -w 1
    ipvsadm -a -t ${vip}:${port} -r ${rs2} $type -w 1
    ;;
stop)
    ipvsadm -C
    ifconfig $iface down
    ;;
*)
    echo "Usage $(basename $0) start|stop"
    exit 1
    ;;
esac

FWM：FireWall Mark 

借助于防火墙标记来分类报文，而后基于标记定义集群服务；可将多个不同的应用使用同一个集群服务进行调度；

打标记方法（在Director主机）：

iptables -t mangle -A PREROUTING -d $vip -p $proto --dport $port -j MARK --set-mark NUMBER 

基于标记定义集群服务：

ipvsadm -A -f NUMBER [options]

lvs persistence：持久连接

持久连接模板：实现无论使用任何算法，在一段时间内，实现将来自同一个地址的请求始终发往同一个RS；

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]

port Affinity：

        每端口持久：每集群服务单独定义，并定义其持久性；

        每防火墙标记持久：基于防火墙标记定义持久的集群服务；可实现将多个端口上的应用统一调度，即所谓的port Affinity；

        每客户端持久：基于0端口定义集群服务，即将客户端对所有应用的请求统统调度至后端主机，而且可使用持久连接进行绑定；

保存及重载规则：

保存：建议保存至/etc/sysconfig/ipvsadm

ipvsadm-save > /PATH/TO/IPVSADM_FILE
ipvsadm -S > /PATH/TO/IPVSADM_FILE
systemctl stop ipvsadm.service 

vim /usr/lib/systemd/system/ipvsadm.service

[Unit]
Description=Initialise the Linux Virtual Server
After=syslog.target network.target
[Service]
Type=oneshot
ExecStart=/bin/bash -c "exec /sbin/ipvsadm-restore < /etc/sysconfig/ipvsadm"
ExecStop=/bin/bash -c "exec /sbin/ipvsadm-save -n > /etc/sysconfig/ipvsadm"
ExecStop=/sbin/ipvsadm -C
RemainAfterExit=yes
[Install]
WantedBy=multi-user.target

重载：

ipvsadm-restore < /PATH/FROM/IPVSADM_FILE
ipvsadm -R < /PATH/FROM/IPVSADM_FILE
systemctl restart ipvsadm.service 

思考：

(1) Director不可用，整个系统将不可用；SPoF

解决方案：高可用 

        keepalived 

        heartbeat/corosync

(2) 某RS不可用时，Director依然会调度请求至此RS；

解决方案：对各RS的健康状态做检查，失败时禁用，成功时启用；

        keepalived

        heartbeat/corosync, ldirectord

检测方式：

        (a) 网络层检测；

        (b) 传输层检测，端口探测；

        (c) 应用层检测，请求某关键资源；

lvs-dr练习实验

先说DIP,RIP和VIP在同一网段

1,rs1配置

ifconfig lo:0 192.168.153.100 netmask 255.255.255.255 broadcast 192.168.153.100 up
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore 
echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore 
echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce 
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce 
route add -host 192.168.153.100 dev lo:0
yum install -y httpd
echo RS1 > /var/www/html/index.html
systemctl start httpd
setenforce 0
iptables -F

2,rs2配置

ifconfig lo:0 192.168.153.100 netmask 255.255.255.255 broadcast 192.168.153.100 up
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore 
echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore 
echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce 
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce 
route add -host 192.168.153.100 dev lo:0
yum install -y httpd
echo RS2 > /var/www/html/index.html
systemctl start httpd
setenforce 0
iptables -F

3,Directory 配置

ifconfig eno33554984:0 192.168.153.100 netmask 255.255.255.255 broadcast 192.168.153.100 up
ipvsadm -A -t 192.168.153.100:80 -s wrr
ipvsadm -a -t 192.168.153.100:80 -r 192.168.153.129 -g -w 1
ipvsadm -a -t 192.168.153.100:80 -r 192.168.153.130 -g -w 2
iptables -F

4,Client机测试

for i in {1..10} ; do curl 192.168.153.100 ;done

lvs-dr 不同网段

 

 

 

rs配置如下:

echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore 
echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore 
echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce 
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce 
ifconfig lo:0 10.1.1.200 netmask 255.255.255.255 broadcast 10.1.1.200 up
route add -host 10.1.1.200 dev lo:0    #我感觉不加上好像也可以用
yum install httpd
echo rs1 > /var/www/html/index.html
setenforce 0
iptables -F
service httpd start

dr:

iptables -F
setenforce  0
ifconfig eth2:0 10.1.1.200 netmask 255.255.255.0
yum install ipvsadm -y
ipvsadm -A -t 10.1.1.200:80 -s wrr
ipvsadm -a -t 10.1.1.200:80 -r 192.168.153.147 -g -w 1
ipvsadm -a -t 10.1.1.200:80 -r 192.168.153.149 -g -w 2

client :

route add -net 10.1.1.0/24 dev eth2

如果客户端不进行上面命令的操作,则需要在每个rs上面添加默认网关

默认网关指向客户端的ip

route add default gw 192.168.153.145

 lvs-nat练习实验

多目标IP的DNAT，通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和PORT实现转发；

（1）RIP和DIP必须在同一个IP网络，且应该使用私网地址；RS的网关要指向DIP；

（2）请求报文和响应报文都必须经由Director转发；Director易于成为系统瓶颈；

（3）支持端口映射，可修改请求报文的目标PORT；

（4）vs必须是Linux系统，rs可以是任意系统；

1,拓扑图

2,操作如下:

  a,先在rs1上布置httpd服务

yum install httpd -y
echo RS1 > /var/www/html/index.html
setenforce 0
iptables -F
systemctl start httpd
route add default gw 192.168.153.128

  b,在rs2上做同样的配置

yum install httpd -y
echo RS2 > /var/www/html/index.html
setenforce 0
iptables -F
systemctl start httpd
route add default gw 192.168.153.128

  c,在Directory配置:

yum install ipvsadm -y
ipvsadm -A -t 10.1.249.67:80 -s wrr
ipvsadm -a -t 10.1.249.67:80 -r 192.168.153.130:80 -m -w 1
ipvsadm -a -t 10.1.249.67:80 -r 192.168.153.129:80 -m -w 2
echo 1 > /proc/sys/net/ipv4/ip_forward

  d,可以直接通过客户端测试访问10.1.249.67