30 企业级调度器LVS

Linux Virtual Server

本章内容

• 集群概念

• LVS模型

• LVS调度算法

• LVS实现

• ldirectord

1 集群和分布式

系统性能扩展方式：

• Scale UP：垂直扩展，向上扩展,增强，性能更强的计算机运行同样的服务
• Scale Out：水平扩展，向外扩展,增加设备，并行地运行多个服务调度分配问题，Cluster

垂直扩展不再提及：

• 随着计算机性能的增长，其价格会成倍增长
• 单台计算机的性能是有上限的，不可能无限制地垂直扩展
• 多核CPU意味着即使是单台计算机也可以并行的。那么，为什么不一开始就并行化技术？

1.1 集群 Cluster

Cluster：集群,为解决某个特定问题将多台计算机组合起来形成的单个系统

Cluster分为三种类型：

• LB：Load Balancing，负载均衡

• HA：High Availiablity，高可用，避免SPOF（single Point Of failure）

  • MTBF:Mean Time Between Failure 平均无故障时间
  • MTTR:Mean Time To Restoration（ repair）平均恢复前时间
  • A=MTBF/（MTBF+MTTR） (0,1)：99%,99.5%,99.9%,99.99%,99.999%

• HPC：High-performance computing，高性能 www.top500.org

1.2 分布式系统

• 分布式存储： Ceph，GlusterFS，FastDFS，MogileFS

• 分布式计算：hadoop，Spark

• 分布式常见应用

  • 分布式应用-服务按照功能拆分，使用微服务
  • 分布式静态资源–静态资源放在不同的存储集群上
  • 分布式数据和存储–使用key-value缓存系统
  • 分布式计算–对特殊业务使用分布式计算，比如Hadoop集群

1.3 集群和分布式

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-WOXpxFY7-1577107665695)(%E6%88%AA%E5%9B%BE/2019%E5%B9%B411%E6%9C%8821%E6%97%A5/image-20191223175308741.png)]

• 集群：同一个业务系统，部署在多台服务器上。集群中，每一台服务器实现的功能没有差别，数据和代码都是一样的
• 分布式：一个业务被拆成多个子业务，或者本身就是不同的业务，部署在多台服务器上。分布式中，每一台服务器实现的功能是有差别的，数据和代码也是不一样的，分布式每台服务器功能加起来，才是完整的业务
• 分布式是以缩短单个任务的执行时间来提升效率的，而集群则是通过提高单位时间内执行的任务数来提升效率。
• 对于大型网站，访问用户很多，实现一个群集，在前面部署一个负载均衡服务器，后面几台服务器完成同一业务。如果有用户进行相应业务访问时，负载均衡器根据后端哪台服务器的负载情况，决定由给哪一台去完成响应，并且一台服务器垮了，其它的服务器可以顶上来。分布式的每一个节点，都完成不同的业务，如果一个节点垮了，那这个业务可能就会失败

1.4 集群设计原则

• 可扩展性—集群的横向扩展能力

• 可用性—无故障时间(SLA)

• 性能—访问响应时间

• 容量—单位时间内的最大并发吞吐量(C10K 并发问题)

1.5 集群设计实现

1.5.1 基础设施层面

• 提升硬件资源性能:从入口防火墙到后端web server均使用更高性能的硬件资源
• 多域名:DNS 轮询A记录解析
• **多入口 **:将A记录解析到多个公网IP入口
• 多机房:同城+异地容灾
• CDN(Content Delivery Network):基于GSLB(Global Server Load Balance)实现全局负载均衡，如：DNS

1.5.2 业务层面

• 分层：安全层、负载层、静态层、动态层、(缓存层、存储层)持久化与非持久化
• 分割：基于功能分割大业务为小服务
• 分布式：对于特殊场景的业务，使用分布式计算

1.6 LB Cluster 负载均衡集群

1.6.1 按实现方式划分

• 硬件

  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hKGsrt6X-1577107665696)(%E6%88%AA%E5%9B%BE/2019%E5%B9%B411%E6%9C%8821%E6%97%A5/image-20191223181544271.png)]

  • F5 Big-IP
  • Citrix Netscaler
  • A10 A10

• 软件

  • lvs：Linux Virtual Server，阿里四层SLB (Server Load Balance)使用
  • nginx：支持七层调度，阿里七层SLB使用Tengine
  • haproxy：支持七层调度
  • ats：Apache Traffic Server，yahoo捐助给apache
  • perlbal：Perl 编写
  • pound

1.6.2 基于工作的协议层次划分

• 传输层（通用）：DNAT和DPORT
  • LVS：
  • nginx：stream
  • haproxy：mode tcp
• 应用层（专用）：针对特定协议，常称为 proxy server
  • http：nginx, httpd, haproxy(mode http), …
  • fastcgi：nginx, httpd, …
  • mysql：mysql-proxy, …

1.6.3 负载均衡的会话保持

• session sticky：同一用户调度固定服务器

  • Source IP：LVS sh算法（对某一特定服务而言）
  • Cookie

• session replication：每台服务器拥有全部session

• session multicast cluster

• session server：专门的session服务器

• Memcached，Redis

1.7 HA 高可用集群实现

• keepalived：vrrp协议

• Ais：应用接口规范

  • heartbeat
  • cman+rgmanager(RHCS)
  • coresync_pacemaker

2 Linux Virtual Server简介

2.1 LVS介绍

• LVS：Linux Virtual Server，负载调度器，内核集成，章文嵩（花名 正明）, 阿里的四层SLB(Server Load Balance)是基于LVS+keepalived实现

• LVS 官网：http://www.linuxvirtualserver.org/

• LVS 相关术语

  • VS: Virtual Server，负责调度
  • RS: Real Server，负责真正提供服务

2.2 LVS工作原理

• VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS，根据调度算法来挑选RS。LVS是内核级功能，工作在INPUT链的位置，将发往INPUT的流量进行“处理”

• 范例：查看内核支持LVS

  [root@centos8 ~]#grep -i -C 10 ipvs /boot/config-4.18.0-80.el8.x86_64
  ...（省略部分内容）...
  CONFIG_NETFILTER_XT_MATCH_IPVS=m
  CONFIG_NETFILTER_XT_MATCH_POLICY=m
  ...（省略部分内容）...
  # 
  #IPVS transport protocol load balancing support
  # 
  CONFIG_IP_VS_PROTO_TCP=y
  CONFIG_IP_VS_PROTO_UDP=y
  CONFIG_IP_VS_PROTO_AH_ESP=y
  CONFIG_IP_VS_PROTO_ESP=y
  CONFIG_IP_VS_PROTO_AH=y
  CONFIG_IP_VS_PROTO_SCTP=y
  # 
  #IPVS scheduler
  # 
  CONFIG_IP_VS_RR=m
  CONFIG_IP_VS_WRR=m
  CONFIG_IP_VS_LC=m
  CONFIG_IP_VS_WLC=m
  CONFIG_IP_VS_FO=m
  CONFIG_IP_VS_OVF=m
  CONFIG_IP_VS_LBLC=m
  CONFIG_IP_VS_LBLCR=m
  CONFIG_IP_VS_DH=m
  CONFIG_IP_VS_SH=m
  # CONFIG_IP_VS_MH is not set
  CONFIG_IP_VS_SED=m
  CONFIG_IP_VS_NQ=m
  ...（省略部分内容）...
  

2.3 LVS集群体系架构

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LjsDkfI9-1577107665696)(%E6%88%AA%E5%9B%BE/2019%E5%B9%B411%E6%9C%8821%E6%97%A5/image-20191223182005868.png)]

2.4 LVS 功能及组织架构

• 负载均衡的应用场景为高访问量的业务，提高应用程序的可用性和可靠性。

2.4.1 应用于高访问量的业务

• 如果您的应用访问量很高，可以通过配置监听规则将流量分发到不同的云服务器 ECS（Elastic Compute Service 弹性计算服务）实例上。此外，可以使用会话保持功能将同一客户端的请求转发到同一台后端ECS

2.4.2 扩展应用程序

• 可以根据业务发展的需要，随时添加和移除ECS实例来扩展应用系统的服务能力，适用于各种Web服务器和App服务器。

2.4.3 消除单点故障

• 可以在负载均衡实例下添加多台ECS实例。当其中一部分ECS实例发生故障后，负载均衡会自动屏蔽故障的ECS实例，将请求分发给正常运行的ECS实例，保证应用系统仍能正常工作

2.4.4 同城容灾 （多可用区容灾）

• 为了提供更加稳定可靠的负载均衡服务，阿里云负载均衡已在各地域部署了多可用区以实现同地域容灾。当主可用区出现机房故障或不可用时，负载均衡仍然有能力在非常短的时间内（如：大约30s中断）切换到另外一个备可用区恢复服务能力；当主可用区恢复时，负载均衡同样会自动切换到主可用区提供服务。

• 使用负载均衡时，您可以将负载均衡实例部署在支持多可用区的地域以实现同城容灾。此外，建议您结合自身的应用需要，综合考虑后端服务器的部署。如果您的每个可用区均至少添加了一台ECS实例，那么此种部署模式下的负载均衡服务的效率是最高的。

• 如下图所示，在负载均衡实例下绑定不同可用区的ECS实例。正常情况下，用户访问流量将同时转至发主、备可用区内的ECS实例；当可用区A发生故障时，用户访问流量将只转发至备可用区内的ECS实例。此种部署既可以避免因为单个可用区的故障而导致对外服务的不可用，也可以通过不同产品间可用区的选择来降低延迟。

  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0w0CtRbj-1577107665697)(%E6%88%AA%E5%9B%BE/2019%E5%B9%B411%E6%9C%8821%E6%97%A5/1555309011947_zh-CN.png)]

• 如果您采取如下图所示的部署方案，即在负载均衡实例的主可用区下绑定多台ECS实例，而在备可用区没有任何ECS实例。当主可用区发生故障时会造成业务中断，因为备可用区没有ECS实例来接收请求。这样的部署方式很明显是以牺牲高可用性为代价来获取低延时。

  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-STF7OHL5-1577107665697)(%E6%88%AA%E5%9B%BE/2019%E5%B9%B411%E6%9C%8821%E6%97%A5/1555309012948_zh-CN-1577096623857.png)]

2.4.5 跨地域容灾

• 您可以在不同地域下部署负载均衡实例，并分别挂载相应地域内不同可用区的ECS。上层利用云解析做智能DNS，将域名解析到不同地域的负载均衡实例服务地址下，可实现全局负载均衡。当某个地域出现不可用时，暂停对应解析即可实现所有用户访问不受影响。

  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lspsrXrO-1577107665698)(%E6%88%AA%E5%9B%BE/2019%E5%B9%B411%E6%9C%8821%E6%97%A5/image-20191223182432598.png)]

2.5 LVS应用场景

2.5.1 音视频大流量场景

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7mzERYcb-1577107665698)(%E6%88%AA%E5%9B%BE/2019%E5%B9%B411%E6%9C%8821%E6%97%A5/image-20191223182447490.png)]

• 对象存储(Object Storage Service,简称OSS),是阿里云对外提供的海量、安全和高可靠的云存储服务

• 音视频海量流量自动分发

  • 音视频应用中由于用户与主播之间需要实时大量的互动，因此，用户的流量非常大，而直播业务的波峰波谷效应明显，这对整个系统的弹性、稳定性和可用性带来了巨大的挑战

• 提高横向扩展能力

  • 添加或删减负载均衡后端的服务器实时生效，可根据业务流量大小实时增减

• 抵御海量流量

  • 业务发展快，访问流量巨大，负载均衡可对多台云服务器进行流量分发服务

• 提升应用可用性

  • 负载均衡提供后端服务器的健康检查，实时屏蔽异常服务器，提升系统可用性

2.5.2 网络游戏动静分离场景

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6xrCv6GU-1577107665699)(%E6%88%AA%E5%9B%BE/2019%E5%B9%B411%E6%9C%8821%E6%97%A5/image-20191223182551878.png)]

• 动静请求分离，快速稳定交付

  • 游戏业务有很多图片等静态资源需要加载，通过CDN实现全球用户访问静态资源的加速；当用户在游戏中有互动时，产生的访问流量非常大，此时为了保证互动实时性，需要使用负载均衡进行流量分发

• 动态请求流量分发

  • 动态请求量大，采用多台云服务器计算处理，并利用负载均衡服务随时进行流量分发

• 静态请求快速加载

  • 静态内容选择对象存储，接入CDN服务，进一步优化内容分发链路，让内容即刻加载

2.5.3 多层次容灾架构场景

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pDhwIbJl-1577107665699)(%E6%88%AA%E5%9B%BE/2019%E5%B9%B411%E6%9C%8821%E6%97%A5/image-20191223182643387.png)]

• 跨地域跨可用区的容灾方案

  • 用户业务遍布各地域，使用云解析DNS将不同地域用户智能解析访问到相应的业务系统内，使用负载均衡进行海量的访问流量分发，还可构建地域级、可用区级的多层容灾架构

• 智能解析

  • 智能判断提供最佳的访问解析地址，使访问用户获得最快捷、最流畅的体验

• 流量分发

  • 业务发展快，访问流量巨大，负载均衡可对多台云服务器进行流量分发服务

• 多层次容灾

  • 云解析提供跨地域的高可用，负载均衡可实现可用区级的高可用

2.5.4 海量访问流量分发场景

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tWTN96Dc-1577107665700)(%E6%88%AA%E5%9B%BE/2019%E5%B9%B411%E6%9C%8821%E6%97%A5/image-20191223182736174.png)]

2.6 LVS集群类型中的术语

• VS：Virtual Server，Director Server(DS), Dispatcher(调度器)，Load Balancer

• RS：Real Server(lvs), upstream server(nginx), backend server(haproxy)

• CIP：Client IP

• VIP：Virtual serve IP VS外网的IP

• DIP：Director IP VS内网的IP

• RIP：Real server IP

• 访问流程：CIP <–> VIP == DIP <–> RIP

3 LVS 工作模式和相关命令

3.1 LVS集群的工作模式

• lvs-nat：修改请求报文的目标IP,多目标IP的DNAT
• lvs-dr：操纵封装新的MAC地址
• lvs-tun：在原请求IP报文之外新加一个IP首部
• lvs-fullnat：修改请求报文的源和目标IP

3.1.1 LVS的NAT模式

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-P37QvLug-1577107665701)(%E6%88%AA%E5%9B%BE/2019%E5%B9%B411%E6%9C%8821%E6%97%A5/image-20191223182813140.png)]

• lvs-nat：本质是多目标IP的DNAT，通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和PORT实现转发

  （1）RIP和DIP应在同一个IP网络，且应使用私网地址；RS的网关要指向DIP
  （2）请求报文和响应报文都必须经由Director转发，Director易于成为系统瓶颈
  （3）支持端口映射，可修改请求报文的目标PORT
  （4）VS必须是Linux系统，RS可以是任意OS系统

  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kAEmvuR4-1577107665701)(%E6%88%AA%E5%9B%BE/2019%E5%B9%B411%E6%9C%8821%E6%97%A5/image-20191223182845808.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FRGiKtmf-1577107665702)(%E6%88%AA%E5%9B%BE/2019%E5%B9%B411%E6%9C%8821%E6%97%A5/image-20191223182900320.png)]

3.1.2 LVS的DR模式

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jAGiSJJY-1577107665702)(%E6%88%AA%E5%9B%BE/2019%E5%B9%B411%E6%9C%8821%E6%97%A5/image-20191223182913594.png)]

• LVS-DR：Direct Routing，直接路由，LVS默认模式,应用最广泛,通过为请求报文重新封装一个MAC首部进行转发，源MAC是DIP所在的接口的MAC，目标MAC是某挑选出的RS的RIP所在接口的MAC地址；源IP/PORT，以及目标IP/PORT均保持不变

  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zOkAL3g9-1577107665703)(%E6%88%AA%E5%9B%BE/2019%E5%B9%B411%E6%9C%8821%E6%97%A5/image-20191223182936188.png)]

• DR模式的特点：

  • Director和各RS都配置有VIP

  • 确保前端路由器将目标IP为VIP的请求报文发往Director

    • 在前端网关做静态绑定VIP和Director的MAC地址

    • 在RS上使用arptables工具

      arptables -A IN -d $VIP -j DROP
      arptables -A OUT -s $VIP -j mangle --mangle-ip-s $RIP
      

    • 在RS上修改内核参数以限制arp通告及应答级别

      /proc/sys/net/ipv4/conf/all/arp_ignore
      /proc/sys/net/ipv4/conf/all/arp_announce
      

  • RS的RIP可以使用私网地址，也可以是公网地址；RIP与DIP在同一IP网络；RIP的网关不能指向DIP，以确保响应报文不会经由Director

  • RS和Director要在同一个物理网络

  • 请求报文要经由Director，但响应报文不经由Director，而由RS直接发往Client

  • 不支持端口映射（端口不能修败）

  • RS可使用大多数OS系统

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6HRSa6qI-1577107665704)(%E6%88%AA%E5%9B%BE/2019%E5%B9%B411%E6%9C%8821%E6%97%A5/image-20191223183237161.png)]

3.1.3 LVS的tun模式

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-H3DK2hc6-1577107665704)(%E6%88%AA%E5%9B%BE/2019%E5%B9%B411%E6%9C%8821%E6%97%A5/image-20191223183247776.png)]

• 转发方式：不修改请求报文的IP首部（源IP为CIP，目标IP为VIP），而在原IP报文之外再封装一个IP首部（源IP是DIP，目标IP是RIP），将报文发往挑选出的目标RS；RS直接响应给客户端（源IP是VIP，目标IP是CIP）

  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-sYKUM3uE-1577107665705)(%E6%88%AA%E5%9B%BE/2019%E5%B9%B411%E6%9C%8821%E6%97%A5/image-20191223183310149.png)]

• tun模式特点：

  • 1. DIP, VIP, RIP都应该是公网地址
  • 2. RS的网关一般不能指向DIP
  • 3. 请求报文要经由Director，但响应不经由Director
  • 4. 不支持端口映射
  • 5. RS的OS须支持隧道功能

3.1.4 lvs-fullnat模式

• 通过同时修改请求报文的源IP地址和目标IP地址进行转发

  • CIP --> DIP
  • VIP --> RIP

• fullnat模式特点：

  • VIP是公网地址，RIP和DIP是私网地址，且通常不在同一IP网络；因此，RIP的网关一般不会指向DIP
  • RS收到的请求报文源地址是DIP，因此，只需响应给DIP；但Director还要将其发往Client
  • 请求和响应报文都经由Director
  • 支持端口映射

• 注意：此类型kernel默认不支持

3.1.5 LVS工作模式总结和比较

	VS/NAT	VS/TUN	VS/DR
Server	any	Tunneling	Non-arp device
server network	private	LAN/WAN	LAN
server number	low (10~20)	High (100)	High (100)
server gateway	load balancer	own router	Own router

• lvs-nat与lvs-fullnat：

  • 请求和响应报文都经由Director
  • lvs-nat：RIP的网关要指向DIP
  • lvs-fullnat：RIP和DIP未必在同一IP网络，但要能通信

• lvs-dr与lvs-tun：

  • 请求报文要经由Director，但响应报文由RS直接发往Client
  • lvs-dr：通过封装新的MAC首部实现，通过MAC网络转发
  • lvs-tun：通过在原IP报文外封装新IP头实现转发，支持远距离通信

3.2 LVS调试算法

• ipvs scheduler：根据其调度时是否考虑各RS当前的负载状态

• 两种：静态方法和动态方法

3.2.1 静态方法：

• 仅根据算法本身进行调度

• RR：roundrobin，轮询

• WRR：Weighted RR，加权轮询

• SH：Source Hashing，实现session sticky，源IP地址hash；将来自于同一个IP地址的请求始终发往第一次挑中的RS，从而实现会话绑定

• DH：Destination Hashing；目标地址哈希，第一次轮询调度至RS，后续将发往同一个目标地址的请求始终转发至第一次挑中的RS，典型使用场景是正向代理缓存场景中的负载均衡，如：宽带运营商

3.2.2 动态方法：

• 主要根据每RS当前的负载状态及调度算法进行调度Overhead=value 较小的RS将被调度

• LC：least connections 适用于长连接应用

  • Overhead=activeconns256+inactiveconns

• WLC：Weighted LC，默认调度方法

  • Overhead=(activeconns256+inactiveconns)/weight

• SED：Shortest Expection Delay,初始连接高权重优先

  • Overhead=(activeconns+1)*256/weight

• NQ：Never Queue，第一轮均匀分配，后续SED

• LBLC：Locality-Based LC，动态的DH算法，使用场景：根据负载状态实现正向代理

• LBLCR ：LBLC with Replication，带复制功能的LBLC，解决LBLC负载不均衡问题，从负载重的复制
  到负载轻的RS

3.2.3 内核版本 4.15版本后新增调度算法：FO和OVF

• FO（Weighted Fail Over）调度算法,在此FO算法中，遍历虚拟服务所关联的真实服务器链表，找到还未过载（未设置IP_VS_DEST_F_OVERLOAD标志）的且权重最高的真实服务器，进行调度
• OVF（Overflow-connection）调度算法，基于真实服务器的活动连接数量和权重值实现。将新连接调度到权重值最高的真实服务器，直到其活动连接数量超过权重值位置，之后调度到下一个权重值最高的真实服务器,在此OVF算法中，遍历虚拟服务相关联的真实服务器链表，找到权重值最高的可用真实服务器。一个可用的真实服务器需要同时满足以下条件：
  • 1)未过载（未设置IP_VS_DEST_F_OVERLOAD标志）
  • 2)真实服务器当前的活动连接数量小于其权重值
  • 3)其权重值不为零

3.3 LVS 相关软件

3.3.1 程序包：ipvsadm

• Unit File: ipvsadm.service

• 主程序：/usr/sbin/ipvsadm

• 规则保存工具：/usr/sbin/ipvsadm-save

• 规则重载工具：/usr/sbin/ipvsadm-restore

• 配置文件：/etc/sysconfig/ipvsadm-config

3.3.2 ipvsadm 命令

• ipvsadm核心功能：

  • 集群服务管理：增、删、改
  • 集群服务的RS管理：增、删、改
  • 查看

• ipvsadm 工具用法：

  ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] [-M netmask]
  [--pe persistence_engine] [-b sched-flags]
  ipvsadm -D -t|u|f service-address #删除
  ipvsadm –C #清空
  ipvsadm –R #重载
  ipvsadm -S [-n] #保存
  ipvsadm -a|e -t|u|f service-address -r server-address [options]
  ipvsadm -d -t|u|f service-address -r server-address
  ipvsadm -L|l [options]
  ipvsadm -Z [-t|u|f service-address]
  

• 管理集群服务：增、改、删

  • 增、改：

    ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]
    

  • 删除：

    ipvsadm -D -t|u|f service-address
    

  • service-address：

    -t|u|f：
        -t: TCP协议的端口，VIP:TCP_PORT
        -u: UDP协议的端口，VIP:UDP_PORT
        -f：firewall MARK，标记，一个数字
    

  • [-s scheduler]：指定集群的调度算法，默认为wlc

• 管理集群上的RS：增、改、删

  • 增、改：

    ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight]
    

  • 删：

    ipvsadm -d -t|u|f service-address -r server-address
    

  • server-address：

    • rip[:port] 如省略port，不作端口映射

  • 选项：

    • lvs类型：
      -g: gateway, dr类型，默认
      -i: ipip, tun类型
      -m: masquerade, nat类型
      -w weight：权重

  • 清空定义的所有内容：

    ipvsadm –C
    

  • 清空计数器：

    ipvsadm -Z [-t|u|f service-address]
    

  • 查看：

    ipvsadm -L|l [options]
    

    ​ --numeric, -n：以数字形式输出地址和端口号
    ​ --exact：扩展信息，精确值
    ​ --connection，-c：当前IPVS连接输出
    ​ --stats：统计信息
    ​ --rate ：输出速率信息

  • ipvs规则：

    /proc/net/ip_vs
    

  • ipvs连接：

    /proc/net/ip_vs_conn
    

  • 保存：建议保存至/etc/sysconfig/ipvsadm

    ipvsadm-save > /PATH/TO/IPVSADM_FILE
    ipvsadm -S > /PATH/TO/IPVSADM_FILE
    systemctl stop ipvsadm.service
    

  • 重载：

    ipvsadm-restore < /PATH/FROM/IPVSADM_FILE
    systemctl restart ipvsadm.service
    

3.4 防火墙标记

• FWM：FireWall Mark

• MARK target 可用于给特定的报文打标记

• –set-mark value

  • 其中：value 可为0xffff格式，表示十六进制数字

• 借助于防火墙标记来分类报文，而后基于标记定义集群服务；可将多个不同的应用使用同一个集群服务进行调度

• 实现方法：

  • 在Director主机打标记：

    iptables -t mangle -A PREROUTING -d $vip -p $proto –m multiport --dports
    $port1,$port2,… -j MARK --set-mark NUMBER
    

  • 在Director主机基于标记定义集群服务：

    ipvsadm -A -f NUMBER [options]
    

3.5 LVS 持久连接

• session 绑定：对共享同一组RS的多个集群服务，需要统一进行绑定，lvs sh算法无法实现

• 持久连接（ lvs persistence ）模板：实现无论使用任何调度算法，在一段时间内（默认360s ），能够实现将来自同一个地址的请求始终发往同一个RS

• ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]

• 持久连接实现方式：

  • 每端口持久（PPC）：每个端口定义为一个集群服务，每集群服务单独调度
  • 每防火墙标记持久（PFWMC）：基于防火墙标记定义集群服务；可实现将多个端口上的应用统一调度，即所谓的port Affinity
  • 每客户端持久（PCC）：基于0端口（表示所有服务）定义集群服务，即将客户端对所有应用的请求都调度至后端主机，必须定义为持久模式

4 LVS实战案例

4.1 LVS-NAT模式案例

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kVaeMTt8-1577107665706)(%E6%88%AA%E5%9B%BE/2019%E5%B9%B411%E6%9C%8821%E6%97%A5/image-20191223184956285.png)]

• Director 服务器采用双网卡，一个是桥接网卡连接外网，一个是仅主机网卡与后端Web服务器相连

• Web服务器采用仅主机网卡与director相连

• Web服务器网关指向10.0.0.200

• 后端web服务器不需要连接外网

4.2 LVS-DR模式案例

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yfi8RB5f-1577107665707)(%E6%88%AA%E5%9B%BE/2019%E5%B9%B411%E6%9C%8821%E6%97%A5/image-20191223185027604.png)]

• DR模型中各主机上均需要配置VIP，解决地址冲突的方式有三种：

  • 在前端网关做静态绑定
  • 在各RS使用arptables
  • 在各RS修改内核参数，来限制arp响应和通告的级别

• 限制响应级别：arp_ignore

  • 0：默认值，表示可使用本地任意接口上配置的任意地址进行响应

  • 1: 仅在请求的目标IP配置在本地主机的接收到请求报文的接口上时，才给予响应

• 限制通告级别：arp_announce

  • 0：默认值，把本机所有接口的所有信息向每个接口的网络进行通告

  • 1：尽量避免将接口信息向非直接连接网络进行通告

  • 2：必须避免将接口信息向非本网络进行通告

• 配置要点

  • Director 服务器采用双IP桥接网络，一个是VIP，一个DIP
  • Web服务器采用和DIP相同的网段和Director连接
  • 每个Web服务器配置VIP
  • 每个web服务器可以出外网

4.3 LVS-DR多网段模式案例

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2nEDJNMx-1577107665707)(%E6%88%AA%E5%9B%BE/2019%E5%B9%B411%E6%9C%8821%E6%97%A5/image-20191223185243741.png)]

• RS 的配置脚本

  #!/bin/bash
  vip=10.0.0.100
  mask='255.255.255.255'
  dev=lo:1
  case $1 in
  start)
      echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
      echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
      echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
      echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
  	ifconfig $dev $vip netmask $You can't use 'macro parameter character #' in
  math modemask #broadcast $vip up
  	#route add -host $vip dev $dev
  	;;
  stop)
      ifconfig $dev down
      echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore
      echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore
      echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
      echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce
      ;;
  *)
      echo "Usage: $(basename $0) start|stop"
      exit 1
      ;;
  esac
  

• VS的配置脚本

  #!/bin/bash
  vip='10.0.0.100'
  iface='lo:1'
  mask='255.255.255.255'
  port='80'
  rs1='192.168.0.101'
  rs2='192.168.0.102'
  scheduler='wrr'
  type='-g'
  case $1 in
  start)
      ifconfig $iface $vip netmask $mask #broadcast $vip up
      iptables -F
      ipvsadm -A -t ${vip}:${port} -s $scheduler
      ipvsadm -a -t ${vip}:${port} -r ${rs1} $type -w 1
      ipvsadm -a -t ${vip}:${port} -r ${rs2} $type -w 1
      ;;
  stop)
      ipvsadm -C
      ifconfig $iface down
      ;;
  *)
      echo "Usage $(basename $0) start|stop“
      exit 1
  esac
  

5 LVS 高可用性实现

• LVS不可用时：

  • Director不可用，整个系统将不可用；SPoF Single Point of Failure
  • 解决方案：高可用，keepalived heartbeat/corosync

• RS不可用时：

  • 某RS不可用时，Director依然会调度请求至此RS

  • 解决方案： 由Director对各RS健康状态进行检查，失败时禁用，成功时启用

    • keepalived heartbeat/corosync ldirectord

  • 检测方式：

    • (a) 网络层检测，icmp
    • (b) 传输层检测，端口探测
    • © 应用层检测，请求某关键资源

  • RS全不用时：backup server, sorry server

5.1 ldirectord软件

• ldirectord：监控和控制LVS守护进程，可管理LVS规则

• 包名：ldirectord-3.9.6-0rc1.1.1.x86_64.rpm

• 下载：http://download.opensuse.org/repositories/network:/ha-clustering:/Stable/CentOS_CentOS-7/x86_64/

• 相关文件：

  • /etc/ha.d/ldirectord.cf #主配置文件
  • /usr/share/doc/ldirectord-3.9.6/ldirectord.cf # 配置模版
  • /usr/lib/systemd/system/ldirectord.service # 服务
  • /usr/sbin/ldirectord #主程序,Perl实现
  • /var/log/ldirectord.log #日志
  • /var/run/ldirectord.ldirectord.pid #pid文件

5.2 ldirectord配置文件示例

cat /etc/ha.d/ldirectord.cf
checktimeout=3
checkinterval=1
autoreload=yes
logfile=“/var/log/ldirectord.log“ #日志文件
quiescent=no #down时yes权重为0，no为删除
virtual=5 #指定VS的FWM 或 IP:PORT
    real=172.16.0.7:80 gate 2 #DR模型，权重为 2
    real=172.16.0.8:80 gate 1
    fallback=127.0.0.1:80 gate #sorry server
    service=http
    scheduler=wrr
    #protocol=tcp
    checktype=negotiate
    checkport=80
    request="index.html"
    receive=“Test Ldirectord"