LVS负载均衡
-----------------------------------------------------------------------------------------------------------------------------------------------
一、cluster
1、 系统扩展方式：
Scale UP：向上扩展,增强，硬件升级
Scale Out：向外扩展,增加设备，调度分配问题，Cluster
2、Cluster：集群,为解决某个特定问题将多台计算机组合起来形成的单个系统
3、Linux Cluster类型：
LB：Load Balancing，负载均衡，用户请求按照一定比例，均匀分配到各服务器
HA：High Availiablity，高可用，SPOF（single Point Of failure，单点失败）
MTBF：Mean Time Between Failure 平均无故障时间
MTTR：Mean Time To Restoration（ repair）平均恢复前时间
A=MTBF/（MTBF+MTTR） (0,1)：99%（停机约3天）, 99.5%, 99.9%（停机约7小时）, 99.99%（停机40多分钟）, 99.999%（停机约4分钟，企业级应用比较合理）
HPC：High-performance computing，高性能 www.top500.org
4、分布式系统：
分布式存储：云盘，依靠fastdfs文件系统实现
分布式计算：hadoop，Spark
二、cluster分类
1、LB Cluster的实现
2、硬件
F5 Big-IP，很值钱
Citrix Netscaler
A10 A10
3、软件
lvs：Linux Virtual Server，基于内核级别实现
nginx：支持七层调度，阿里七层SLB使用Tengine（阿里基于Nginx做的改版）
haproxy：支持七层调度
ats：apache traffic server，yahoo捐助
perlbal：Perl 编写
pound
4、基于工作的协议层次划分：
5、传输层（通用）：DPORT，根据端口号调度
LVS：
nginx：stream
haproxy：mode tcp
6、应用层（专用）：针对特定协议，自定义的请求模型分类，通常名称上叫代理服务器
proxy server：
http：nginx, httpd, haproxy(mode http), ...
fastcgi：nginx, httpd, ...
mysql：mysql-proxy, ...
三、Cluster相关
1、会话保持：负载均衡
(1) session sticky：同一用户调度固定服务器，依据浏览器的cookie进行精确调度
Source IP：LVS sh算法（对某一特定服务而言）
Cookie
(2) session replication：每台服务器拥有全部session
session multicast cluster
(3) session server：专门的session服务器
Memcached，Redis
2、HA集群实现方案
keepalived:vrrp协议
ais:应用接口规范
heartbeat
cman+rgmanager(RHCS)
coresync_
四、LVS介绍
1、LVS：Linux Virtual Server，负载调度器，集成内核，章文嵩，阿里SLB目前使用
官网：http://www.linuxvirtualserver.org/
VS: Virtual Server，负责调度
RS: Real Server，负责真正提供服务
L4：四层路由器或交换机
2、工作原理：VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS，根据调度
算法来挑选RS
3、iptables/netfilter：
iptables：用户空间的管理工具
netfilter：内核空间上的框架
流入：PREROUTING --> INPUT
流出：OUTPUT --> POSTROUTING
转发：PREROUTING --> FORWARD --> POSTROUTING
DNAT：目标地址转换； PREROUTING
五、LVS概念
1、lvs集群类型中的术语：
VS：Virtual Server，Director Server(DS)，Dispatcher(调度器)，Load Balancer
RS：Real Server(lvs), upstream server(nginx)，backend server(haproxy)
CIP：Client IP
VIP: Virtual serve IP VS外网的IP
DIP: Director IP VS内网的IP
RIP: Real server IP
访问流程：CIP <--> VIP == DIP <--> RIP，RIP返回时可以直接回到CIP
六、lvs集群的类型
1、lvs: ipvsadm/ipvs，LVS位置位于iptables的INPUT表之前
ipvsadm：用户空间的命令行工具，规则管理器
用于管理集群服务及RealServer
ipvs：工作于内核空间netfilter的INPUT钩子上的框架
LVS的config文件
2、lvs集群的类型：
lvs-nat：修改请求报文的目标IP,多目标IP的DNAT，当目标服务器有故障时将依然调度
lvs-dr：操纵封装新的MAC地址
lvs-tun：在原请求IP报文之外新加一个IP首部
lvs-fullnat：修改请求报文的源和目标IP
3、lvs-nat：
本质是多目标IP的DNAT，通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和PORT实现转发
（1）RIP和DIP应在同一个IP网络，且应使用私网地址；RS的网关要指向DIP
（2）请求报文和响应报文都必须经由Director转发，Director易于成为系统瓶颈
（3）支持端口映射，可修改请求报文的目标PORT
（4）VS必须是Linux系统，RS可以是任意OS系统
4、VS/NAT的体系结构，原路返回，LVS服务器需要打开路由转发功能
NAT模式IP包调度过程
源地址VIP，目标地址CIP，进入LVS服务器路由路过PREROUTING，看到是VIP向INPUT方向走，不过LVS处于INPUT之前，通过转发规则将其改变为源地址是CIP，目标地址是RIP，此时出路由POSTROUTING口，到达Real Server后，原路返回，此时源地址是RIP，目标地址是CIP，经过LVS服务器的时候，将源地址改成RIP，目标地址改成CIP
5、LVS-DR模式，默认模型
LVS-DR：Direct Routing，直接路由，LVS默认模式,应用最广泛,通过为请求报文重新封装一个MAC首部进行转发，源MAC是DIP所在的接口的MAC，目标MAC是某挑选出的RS的RIP所在接口的MAC地址；源IP/PORT，以及目标IP/PORT均保持不变
（1）Director和各RS都配置有VIP
（2）确保前端路由器将目标IP为VIP的请求报文发往Director
在前端网关做静态绑定VIP和Director的MAC地址
在RS上使用arptables工具
arptables -A IN -d $VIP -j DROP
arptables -A OUT -s $VIP -j mangle --mangle-ip-s $RIP
在RS上修改内核参数以限制arp通告及应答级别
/proc/sys/net/ipv4/conf/all/arp_ignore
/proc/sys/net/ipv4/conf/all/arp_announce
（3）RS的RIP可以使用私网地址，也可以是公网地址；RIP与DIP在同一IP网络；RIP的网关不能指向DIP，以确保响应报文不会经由Director
（4）RS和Director要在同一个物理网络
（5）请求报文要经由Director，但响应报文不经由Director，而由RS直接发往Client
（6）不支持端口映射（端口不能修败）
（7）RS可使用大多数OS系统
6、VS/DR体系结构，LVS服务器不用打开路由转发功能，请求到达RS服务器后凭借VIP不通过LVS直接返回，当广播域询问拥有VIP的主机响应时，RS服务器不宣传自己的VIP地址，不响应APR广播，所以也不会造成冲突
VIP绑到lo网卡
RIP绑到eth0网卡
arp_ingnore改为1，arp_announce改为2，只更改all和lo网卡即可
DR模式IP包调度过程
这里改变的不是IP，而是目标的MAC地址
7、 lvs-tun：可以实现跨地区访问，类似于DR模型，只不过LVS和RS之间有路由器，通过IP隧道方式进行传输，实现了跨网段，传输时的报文再加了一层IP头部。由于LVS和RS之间有路由器分隔网段，因此不用考虑IP相同造成冲突的问题
转发方式：不修改请求报文的IP首部（源IP为CIP，目标IP为VIP），而在原IP报文之外再封装一个IP首部（源IP是DIP，目标IP是RIP），将报文发往挑选出的目标RS；RS直接响应给客户端（源IP是VIP，目标IP是CIP）
(1) DIP, VIP, RIP都应该是公网地址
(2) RS的网关一般不能指向DIP
(3) 请求报文要经由Director，但响应不经由Director
(4) 不支持端口映射
(5) RS的OS须支持隧道功能
TUN模式IP包调度过程
8、lvs-fullnat模式
通过同时修改请求报文的源IP地址和目标IP地址进行转发
CIP --> DIP
VIP --> RIP
kernel内核默认不支持，如果用此模型，需要重新源码编译内核
9、LVS工作模式总结
VS/NAT | VS/TUN | VS/DR | |
后端服务器类型 | 任何 | 支持Tunneling隧道 | 调节arp开关，关闭arp响应和ip应答 |
服务器网络类型 | 公网和私网 | 广域网或局域网 | 局域网 |
后端服务器数量 | 低（10~20） | 高（100） | 高（100） |
服务器网关 | 负载服务器或者上一个路由器 | 自身的路由 | 自身的路由 |
(1)lvs-nat与lvs-fullnat：请求和响应报文都经由Director
lvs-nat：RIP的网关要指向DIP
lvs-fullnat：RIP和DIP未必在同一IP网络，但要能通信
(2)lvs-dr与lvs-tun：请求报文要经由Director，但响应报文由RS直接发往Client
lvs-dr：通过封装新的MAC首部实现，通过MAC网络转发
lvs-tun：通过在原IP报文外封装新IP头实现转发，支持远距离通信
七、ipvs scheduler（调度算法）
1、ipvs scheduler：根据其调度时是否考虑各RS当前的负载状态
两种：静态方法和动态方法
2、静态方法：仅根据算法本身进行调度
(1)RR：roundrobin，轮询
(2)WRR：Weighted RR，加权轮询，需要定义权重
(3)SH：Source Hashing，实现session sticky，源IP地址hash；将来自于同一个IP地址的请求始终发往第一次挑中的RS，即同一个IP地址请求始终调度给同一台机器，从而实现会话绑定
(4)DH：Destination Hashing；目标地址哈希，第一次轮询调度至RS，后续将发往同一个目标地址的请求始终转发至第一次挑中的RS，典型使用场景是正向代理缓存场景中的负载均衡，根据用户请求到目标地址到转发到缓存服务器，比如说一个小区用户世界杯期间观看球赛，用户网站观看球赛的请求会轮询调度到RS服务器，之后该小区其他用户如果也观看同一网站球赛的请求也将会调度到同一个缓存服务器，可理解为一区域内所有IP请求相同的都调度到一个RS服务器。一般适合宽带运营商对缓存服务器使用这种调度算法
3、动态方法：主要根据每RS当前的负载状态及调度算法进行调度Overhead=value较小的RS将被调度
(1)LC：least connections 适用于长连接应用
Overhead=activeconns*256+inactiveconns
activeconns：活动连接，三次握手建立后有数据传输
inactiveconns：非活动连接，三次握手建立后没有数据传输
(2)WLC：Weighted LC，默认调度方法，加上了权重，overhead越小，优先级越高
Overhead=(activeconns*256+inactiveconns)/weight
此算法初始值都是0，性能差的服务器可能在刚开始时会分配到压力高的任务
(3)SED：Shortest Expection Delay,初始连接高权重优先
Overhead=(activeconns+1)*256/weight
可能会造成权重高的服务器一直工作，权重低的服务器一直没有任务
(4)NQ：Never Queue，第一轮均匀分配，后续SED
(5)LBLC：Locality-Based LC，动态的DH算法，使用场景：根据负载状态实现正向代理，压力多少分配，压力少多分配
(6)LBLCR：LBLC with Replication，带复制功能的LBLC，解决LBLC负载不均衡问题，从负载重的复制到负载轻的RS
八、ipvs
1、ipvsadm/ipvs：
2、ipvs：
grep -i -C 10 "ipvs" /boot/config-VERSION-RELEASE.x86_64
支持的协议：TCP， UDP， AH， ESP， AH_ESP, SCTP
3、ipvs集群：
管理集群服务
管理服务上的RS
4、ipvsadm：
5、程序包：ipvsadm
Unit File: ipvsadm.service
主程序：/usr/sbin/ipvsadm
规则保存工具：/usr/sbin/ipvsadm-save
规则重载工具：/usr/sbin/ipvsadm-restore
配置文件：/etc/sysconfig/ipvsadm-config
九、ipvsadm命令：
1、核心功能：
集群服务管理：增、删、改
集群服务的RS管理：增、删、改
查看
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] [-M netmask] [--pe
persistence_engine] [-b sched-flags]
ipvsadm -D -t|u|f service-address 删除
ipvsadm –C 清空
ipvsadm –R 重载
ipvsadm -S [-n] 保存
ipvsadm -a|e -t|u|f service-address -r server-address [options]
ipvsadm -d -t|u|f service-address -r server-address
ipvsadm -L|l [options]
ipvsadm -Z [-t|u|f service-address]
2、管理集群服务：增、改、删
(1)增、改：
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]
更改管理集群服务：
(2)删除：
ipvsadm -D -t|u|f service-address
(3)service-address：
-t|u|f：
-t: TCP协议的端口，VIP:TCP_PORT
-u: UDP协议的端口，VIP:UDP_PORT
-f：firewall MARK，标记，一个数字
(4)[-s scheduler]：指定集群的调度算法，默认为wlc
3、管理集群上的RS：增、改、删
(1)增、改：ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight]
(2)删：ipvsadm -d -t|u|f service-address -r server-address
(3)server-address：rip[:port] 如省略port，不作端口映射
(4)选项：
lvs类型：
-g: gateway, dr类型，默认
-i: ipip, tun类型
-m: masquerade, nat类型
-w weight：权重
(5)清空定义的所有内容：ipvsadm –C
(6)清空计数器：ipvsadm -Z [-t|u|f service-address]
(7)查看：ipvsadm -L|l [options]
--numeric, -n：以数字形式输出地址和端口号
--exact：扩展信息，精确值
--connection，-c：当前IPVS连接输出
--stats：统计信息
--rate ：输出速率信息
(8)ipvs规则：/proc/net/ip_vs
(9)ipvs连接：/proc/net/ip_vs_conn
十、LVS-DR配置，LVS不参加通讯，但是必须加网关，否则会认为没有路
1、DR模型中各主机上均需要配置VIP，解决地址冲突的方式有三种：
(1) 在前端网关做静态绑定
(2) 在各RS使用arptables
(3) 在各RS修改内核参数，来限制arp响应和通告的级别
2、限制响应级别：arp_ignore
0：默认值，表示可使用本地任意接口上配置的任意地址进行响应
1：仅在请求的目标IP配置在本地主机的接收到请求报文的接口上时，才给予响应，可理解为配置为1后，别人问不搭理
3、限制通告级别：arp_announce
0：默认值，把本机所有接口的所有信息向每个接口的网络进行通告
1：尽量避免将接口信息向非直接连接网络进行通告
2：必须避免将接口信息向非本网络进行通告
十一、FireWall Mark
1、FWM：FireWall Mark
2、MARK target 可用于给特定的报文打标记
--set-mark value
其中：value 可为0xffff格式，表示十六进制数字
3、借助于防火墙标记来分类报文，而后基于标记定义集群服务；可将多个不同的应用使用同一个集群服务进行调度
4、实现方法：
(1)在Director主机打标记：iptables -t mangle -A PREROUTING -d $vip -p $proto –m multiport --dports $port1,$port2,… -j MARK --set-mark NUMBER
(2)在Director主机基于标记定义集群服务：ipvsadm -A -f NUMBER [options]
十二、持久连接
1、session 绑定：对共享同一组RS的多个集群服务，需要统一进行绑定，lvs sh算法无法实现
2、持久连接（ lvs persistence ）模板：实现无论使用任何调度算法，在一段时间内（默认360s ），能够实现将来自同一个地址的请求始终发往同一个RS，实现加-p 跟秒数即可
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]
3、持久连接实现方式：
(1)每端口持久（PPC）：每个端口定义为一个集群服务，每集群服务单独调度
(2)每防火墙标记持久（PFWMC）：基于防火墙标记定义集群服务；可实现将多个端口上的应用统一调度，即所谓的port Affinity
(3)每客户端持久（PCC）：基于0端口（表示所有服务）定义集群服务，即将客户端对所有应用的请求都调度至后端主机，必须定义为持久模式
十三、LVS高可用性
1、Director不可用，整个系统将不可用；SPoF Single Point of Failure
解决方案：高可用，keepalived heartbeat/corosync
2、某RS不可用时，Director依然会调度请求至此RS
解决方案： 由Director对各RS健康状态进行检查，失败时禁用，成功时启用，keepalived heartbeat/corosync ldirectord
检测方式：
(a) 网络层检测，icmp
(b) 传输层检测，端口探测
(c) 应用层检测，请求某关键资源
RS全不用时：backup server, sorry server
十四、ldirectord
1、ldirectord：监控和控制LVS守护进程，可管理LVS规则
2、包名：ldirectord-3.9.6-0rc1.1.1.x86_64.rpm
3、下载：http://download.opensuse.org/repositories/network:/haclustering:/Stable/CentOS_CentOS-7/x86_64/
4、文件：
/etc/ha.d/ldirectord.cf 主配置文件
/usr/share/doc/ldirectord-3.9.6/ldirectord.cf 配置模版
/usr/lib/systemd/system/ldirectord.service 服务
/usr/sbin/ldirectord 主程序,Perl实现
/var/log/ldirectord.log 日志
/var/run/ldirectord.ldirectord.pid pid文件
十五、Ldirectord配置文件示例
checktimeout=3
checkinterval=1
autoreload=yes
logfile=“/var/log/ldirectord.log“ #日志文件
quiescent=no #down时yes权重为0，no为删除
virtual=5 #指定VS的FWM或IP：port
real=172.16.0.7:80 gate 2 #2为权重
real=172.16.0.8:80 gate 1 #1为权重
fallback=127.0.0.1:80 gate #sorry server
service=http
scheduler=wrr
protocol=tcp #定义标签后该项需要注释或删除
checktype=negotiate
checkport=80
request="index.html"
receive=“Test Ldirectord"
转载于:https://blog.51cto.com/13873498/2313839
2987
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
