lvs集群

Lvs集群

Lvs

LVS是Linux Virtual Server的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统

LVS 是四层负载均衡，也就是说建立在 OSI 模型的第四层——传输层之上，传输层上有我们熟悉的 TCP/UDP，LVS 支持 TCP/UDP 的负载均衡。
LVS 的转发主要通过修改 IP 地址（NAT 模式，分为源地址修改 SNAT 和目标地址修改 DNAT）、修改目标 MAC（DR 模式）来实现。

那么为什么 LVS 是在第四层做负载均衡？
首先 LVS 不像 HAProxy 等七层软负载面向的是 HTTP 包，所以七层负载可以做的 URL 解析等工作，LVS 无法完成。其次，某次用户访问是与服务端建立连接后交换数据包实现的，如果在第三层网络层做负载均衡，那么将失去「连接」的语义。软负载面向的对象应该是 一个已经建立连接的用户，而不是一个孤零零的 IP 包。后面会看到，实际上 LVS 的机器代替真实的服务器与用户通过 TCP 三次握手建立了连接，所以 LVS 是需要关心连接级别的状态的。

LVS的工作原理

VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS，根据调度算法来挑选RS

LVS集群类型的专业术语

ipvsadm：用户空间的命令行工具，用于管理集群服务

ipvs：工作于内核中netfilter INPUT钩子上

支持TCP，UDP，AH，EST，AH_EST，SCTP等诸多协议

lvs arch：

​ 调度器：director，dispatcher，balancer

VS：Virtual Server 虚拟的服务器

RS：Real Server(lvs) 真正提供服务的服务器
CIP：Client IP 客户端的IP

VIP: Virtual serve IP LVS服务器针对互联网的客户端设置的IP，是虚拟IP

DIP: Director IP 局域网内LVS服务器设置的IP
RIP: Real server IP 真实服务器的IP

LVS四种模式

LVS 的工作模式主要有 4 种：

• DR
• NAT
• TUNNEL
• Full-NAT

DR

请求由 LVS 接受，由真实提供服务的服务器（RealServer, RS）直接返回给用户，返回的时候不经过 LVS。
DR 模式下需要 LVS 和绑定同一个 VIP（RS 通过将 VIP 绑定在 loopback 实现）。
一个请求过来时，LVS 只需要将网络帧的 MAC 地址修改为某一台 RS 的 MAC，该包就会被转发到相应的 RS 处理，注意此时的源 IP 和目标 IP 都没变，LVS 只是做了一下移花接木。
RS 收到 LVS 转发来的包，链路层发现 MAC 是自己的，到上面的网络层，发现 IP 也是自己的，于是这个包被合法地接受，RS 感知不到前面有 LVS 的存在。
而当 RS 返回响应时，只要直接向源 IP（即用户的 IP）返回即可，不再经过 LVS。
DR 模式是性能最好的一种模式。

lvs-dr（direct routing）：lvs的默认模式，gateway
lvs-dr模式通过修改请求报文的目标MAC地址进行转发
Director：调度器要配置VIP，DIP
RSs：所有的Real Server都要配置RIP，VIP

lvs-dr的特点：保证前端路由器将目标IP为VIP的请求报文发送给director，解决方案有以下三种:
静态绑定
arptables
修改RS主机内核的2个参数：
arp_announce：是否接收并记录别人的通告以及是否通告自己的mac地址给别人。
arp_announce有三个可选值，0，1，2，其意义如下：
0（default，默认值为0）：通告自己所拥有的所有地址
1：尽量不通告与自己不在同一个网段的地址，比如不通告2.0网段的地址给1.0网段，不通告3.0网段的地址给1.0网段等，但是是尽量不通告，有可能还是会通告的
尽量避免不在该网络接口子网段的本地地址做出arp回应.
当发起ARP请求的源IP地址是被设置应该经由路由达到此网络接口的时候很有用.
此时会检查来访IP是否为所有接口上的子网段内ip之一.如果该来访IP不属于各个网络接口上的子网段内,那么将采用级别2的方式来进行处理.
2：总是不通告与自己不在同一个网段的地址，比如不通告2.0网段的地址给1.0网段，不通告3.0网段的地址给1.0网段等，绝对不会通告
对查询目标使用最适当的本地地址.在此模式下将忽略这个IP数据包的源地址并尝试选择与能与该地址通信的本地地址.
首要是选择所有的网络接口的子网中外出访问子网中包含该目标IP地址的本地地址.
如果没有合适的地址被发现,将选择当前的发送网络接口或其他的有可能接受到该ARP回应的网络接口来进行发送.

arp_ignore：是否响应arp请求
arp_ignore有9个可选值，0，1，2，3，4，5，6，7，8，其意义如下：
0（default，默认值为0）：回应任何网络接口上对任何本地IP地址的arp查询请求
1：请求报文从哪个接口进入的且请求的目标地址就是此接口配置的地址才予以响应，否则不响应
只回答目标IP地址是来访网络接口本地地址的ARP查询请求
2：只回答目标IP地址是来访网络接口本地地址的ARP查询请求,且来访IP必须在该网络接口的子网段内
3：不回应该网络接口的arp请求，而只对设置的唯一和连接地址做出回应
4-7：保留未使用
8：不回应所有（本地地址）的arp查询
RS的RIP可以使用私有地址，也可以使用公网地址
RS跟Director必须在同一物理网络中，中间不能有路由器相隔
请求报文经由Director调度，但响应报文一定不能经由Director
不支持端口映射
RS可以是大多数OS
RS的网关不能指向DIP

NAT

NAT（Network Address Translation）是一种外网和内网地址映射的技术。
NAT 模式下，网络报的进出都要经过 LVS 的处理。LVS 需要作为 RS 的网关。
当包到达 LVS 时，LVS 做目标地址转换（DNAT），将目标 IP 改为 RS 的 IP。RS 接收到包以后，仿佛是客户端直接发给它的一样。
RS 处理完，返回响应时，源 IP 是 RS IP，目标 IP 是客户端的 IP。
这时 RS 的包通过网关（LVS）中转，LVS 会做源地址转换（SNAT），将包的源地址改为 VIP，这样，这个包对客户端看起来就仿佛是 LVS 直接返回给它的。客户端无法感知到后端 RS 的存在。

Lvs-nat的特点：
RS和DIP应该使用私网地址，且RS的网关要指向DIP
请求和响应报文都要经由director转发，所以配置时需要将director的转发功能开启，极高负载的场景中，director可能会成为系统性能瓶颈
支持端口映射
RS可以使用任意OS
RS的RIP和Director的DIP必须在同一IP网络

TUNNEL

(1)IP隧道技术又称为IP封装技术，它可以将带有源和目标IP地址的数据报文使用新的源和目标IP进行第二次封装，这样这个报文就可以发送到一个指定的目标主机上；
(2)VS/TUN模式下，调度器和后端服务器组之间使用IP隧道技术。当客户端发送的请求(CIP–>VIP)被director接收后，director修改该报文，加上IP隧道两端的IP地址作为新的源和目标地址，并将请求转发给后端被选中的一个目标；
(3)当后端服务器接收到报文后，首先解封报文得到原有的CIP–>VIP，该后端服务器发现自身的tun接口上配置了VIP，因此接受该数据包。
(4)当请求处理完成后，结果将不会重新交给director，而是直接返回给客户端；在后端服务器返回给客户端数据包时，由于使用的是普通网卡接口，根据一般的路由条目，源IP地址将是该网卡接口上的地址，例如是RIP。因此，要让响应数据包的源IP为VIP，必须添加一条特殊的路由条目，明确指定该路由的源地址是VIP。

Lvs-tun的特点：
RIP，DIP，VIP必须是公网地址
RS的网关不能指向DIP
请求报文必须经由director调度，但响应报文必须不能经由director
不支持端口映射
RS的OS必须支持隧道功能

Full-NAT

1.客户端将访问vip报文发送给LVS服务器；
2.LVS服务器将请求报文的目的地址修改为后端真实服务器(DNAT)，源地址改为自己的ip地址(SNAT)，发送给后端真实服务器；
3.后端服务器在处理完之后要将响应的报文返回给lvs；
4.LVS将返回的数据包源地址改为自己(SNAT)，目的地址改为客户端(DNAT)，发送给客户端。

fullnat模式和nat模式相似，但是与nat不同的是nat模式只做了两次地址转换，fullnat模式却做了四次。

Lvs-fullnat的特点：
VIP是公网地址，RIP和DIP是私网地址，RIP与DIP无须在同一网络中
RS接收到的请求报文的源地址为DIP，因此要响应给DIP
请求报文和响应报文都必须经由Director
支持端口映射机制
RS可以使用任意OS

Lvs scheduler调度算法

lvs scheduler：lvs调度器，即lvs挑选RS的算法
静态方法：仅根据算法本身进行调度
RR：round robin，轮调
WRR：weighted rr，加权的rr，根据一定的比例进行轮调，比如每次RS1给2个请求，RS2给1个请求
SH：source hash，源地址hash，实现session保持的机制，将来自于同一个IP的请求始终调度至同一RS，每个服务单独调度
DH：destination hash，目标地址hash，将对同一个目标（资源）的请求始终发往同一个RS
动态方法：根据算法及各RS的当前负载状态进行调度，根据指定的算法算出overhead（负载），最终挑选出overhead值最小的则为被选中的RS
LC：Least Connection，最少连接数，算法如下：
overhead = Active * 256 + Inactive
WLC：Weighted LC，加权的LC，算法如下：
overhead=（Active*256+Inactive）/ weight
SED：Shortest Expection Delay，最短期望延迟，算法如下：
overhead = （Active + 1） * 256 / weight
NQ：Nevel Queue，是SED算法的改进，根据SED算法每台主机第一次至少要均分配一次，然后再按SED算法来挑选
LBLC：Locality-Based LC，基于本地的最少连接数，即为动态的DH算法
正向代理情形下的cache server调度
LBLCR：Locality-Based Least-Connection with Replication，带复制功能的LBLC算法

ipvs的集群服务：
支持TCP，UDP，AH，EST，AH_EST，SCTP等诸多协议

ipvs集群服务的特点：
    一个ipvs主机可以同时定义多个cluster service
        定义时指明lvs-type（lvs的模式）以及lvs scheduler（调度器）
    一个cluster service上至少应该有2个real server