LVS 笔记

关于LVS的持久链接(Persistence)

 

关于设置方式：

1、指令：  ipvsadm 中的参数  -p  N   【N单位为秒】

2、在keepalived配置文件中通过设置参数：persistence_timeout  N 来设置

3、在图像化配置和管理工具piranha中，如下图：

注意：

如果我们仅仅配置了 persistence的相关参数设置，那么默认是针对一台主机，如果我们设置了类似“Persistence Network Mask”这种参数，那么该持久链接就是针对一个网段，即只要一个网段的第一个客户端链接过来，DR定位到一台RS之后，那么在根据此客户端的ip和我们设置的“Persistence Network Mask”参数得到的整个网段中的客户端都会被定位到同一台RS。【关于此参数的其他配置方式，请自行查阅】

 

相关参数：

1、  Ipvsadm  -l  --timeout    对应的是  TCP超时   FIN_WAIT   UDP超时

Ipvsadm  --set   N1 N2 N3  进行设置

2、  Persistence 参数

 

在ipvsadm  -l 中 ，我们看到的一个时间是 persistence参数

分析【persistent  TCP超时 FIN_WAIT  Activeconn  InActconn】

 

当我们配置了persistent之后，一个新客户端发起链接之后，DR会创建一个叫做NONE的记录来标示一个客户端

此时 NONE 对应的expire值为persistent值。

而FIN_WAIT对应的expire值则是我们在ipvsadm  -l –timeout 看到的中间的那个值。

ESTABLISHED对应的expire值则是我们在ipvsadm  -l –timeout 看到的左边的那个值。

这三个值创建之后便开始倒计时。

 

它们的关系和作用是：

1、  只要NONE存在，那么来自这个客户端的链接都会被定位到一台特定的RS。

2、  ESTABLISHED 会在某个瞬间变为FIN_WAIT，并以FIN_WAIT的初始值开始倒计时。

3、  如果NONE倒计时完毕，而仍然存在与此客户端相关的FIN_WAIT，那么NONE会被初始化为60s，并重新开始倒计时，如此循环直到所有的相关FIN_WAIT消失。

4、  Activeconn 的值 体现了表中所有状态为 ESTABLISHED的链接数量。

5、  NotActiveconn的值 体现了表中所有状态为FIN_WAIT的链接数量。

Keepalived 和 piranha的区别：

1、  Keepalived的主备有priority设置，主DR会更高，并且会有MASTER和BACKUP来标示角色，其他参数相同。工作时，永远以主DR为主即只要主DR存在并可用，则永远是主DR工作。而piranha则不同，其配置文件在主备DR上完全相同，且没有等级之分，即当备份DR在工作时，即使主DR上线，备份DR仍会继续工作。

2、  Keepalived的备份DR上，一旦开启服务， 则相关的配置会立刻生效，例如VIP的配置、lvs相关VS和RS的添加等，但不会参与工作，只有主DR宕机时才会接手。

而piranha则不同，只有工作中的DR才会配置生效。

3、  关于VIP的配置方式不同： keepalived是在一个物理网卡上配置第二个ip【使用ifconfig看不到，只能通过ip address show 才能看到】，而piranha则是通过eth0:1这种网卡别名的形式进行配置的。

======================================================================

注意点：

1、DR模式：RS（Real Server）无需针对VIP另行添加路由【eg: route add -host ${VIP} dev lo:1 】

2、DR模式：分发服务器无需对VIP的掩码做32位处理，无需添加针对VIP的路由，更无需开启转发功能。

3、ipvsadm --set 7200 5 60这个值（7200）如果设置的太小，client将会受到“connetct reset by peer”类似的错误。

============================================================================

ipvsadm命令选项解释：

 

-A --add-service   在内核的虚拟服务器表中添加一条新的虚拟服务器记录。也就是增加一台新的虚拟服务器。

-E --edit-service   编辑内核虚拟服务器表中的一条虚拟服务器记录。

-D --delete-service   删除内核虚拟服务器表中的一条虚拟服务器记录。

-C --clear      清除内核虚拟服务器表中的所有记录。

-R --restore   恢复虚拟服务器规则

-S --save       保存虚拟服务器规则，输出为-R 选项可读的格式

-a --add-server       在内核虚拟服务器表的一条记录里添加一条新的真实服务器记录。也就是在一个虚拟服务器中增加一台新的真实服务器

-e --edit-server       编辑一条虚拟服务器记录中的某条真实服务器记录

-d --delete-server    删除一条虚拟服务器记录中的某条真实服务器记录

-L|-l --list       显示内核虚拟服务器表

-Z --zero        虚拟服务表计数器清零（清空当前的连接数量等）

--set tcp tcpfin udp      设置连接超时值

--start-daemon            启动同步守护进程。他后面可以是master 或backup，用来说明LVS Router 是master 或是backup。在这个功能上也可以采用keepalived的VRRP 功能。

--stop-daemon            停止同步守护进程

-h --help                    显示帮助信息

其他的选项:

-t --tcp-service service-address     说明虚拟服务器提供的是tcp 的服务[vip:port] or [real-server-ip:port]

-u --udp-service service-address   说明虚拟服务器提供的是udp 的服务[vip:port] or [real-server-ip:port]  

-f --fwmark-service fwmark          说明是经过iptables 标记过的服务类型。

-s --scheduler scheduler              使用的调度算法，有这样几个选  rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq,默认的调度算法是： wlc.

-p --persistent [timeout]             持久稳固的服务。这个选项的意思是来自同一个客户的多次请求，将被同一台真实的服务器处理。timeout 的默认值为300 秒。

-M --netmask            netmask persistent granularity mask

-r --real-server server-address          真实的服务器[Real-Server:port]

-g --gatewaying           指定LVS 的工作模式为直接路由模式（也是LVS 默认的模式）

-i --ipip                       指定LVS 的工作模式为隧道模式

-m --masquerading      指定LVS 的工作模式为NAT 模式

-w --weight weight      真实服务器的权值

--mcast-interface interface     指定组播的同步接口

-c --connection                     显示LVS 目前的连接 如：ipvsadm -L -c

--timeout        显示tcp tcpfin udp 的timeout 值 如：ipvsadm -L --timeout

--daemon       显示同步守护进程状态

--stats      显示统计信息

--rate       显示速率信息

--sort       对虚拟服务器和真实服务器排序输出

--numeric -n      输出IP 地址和端口的数字形式

==================================================

Keepalived 配置文件（/etc/keepalived/keepalived.conf）模板【DR】：仅供参考

1. global_defs {
   

2.    router_id LVS_STUN
   

3. }
   

4. 
   

5. vrrp_sync_group VGM {
   

6.    group {
   

7.        VI_1
   

8.    }
   

9. }
   

10. 
    

11. vrrp_instance VI_1 {
    

12.     state MASTER #//负载均衡器的角色
    

13.     #state BACKUP #//负载均衡器的角色
    

14.     interface eth0 #//承载VIP地址的物理接口
    

15.     lvs_sync_daemon_inteface eth0 #//虚拟路由器的ID号，每个热备组保持相同
    

16.     virtual_router_id 51 
    

17.     priority 200 #//竞选优先级，数字越大优先级越高
    

18.     #priority 100 #//竞选优先级，数字越大优先级越高
    

19.     advert_int 5 #//通告间隔秒数（心跳频率）
    

20.     authentication { #//本VRRP组的认证信息
    

21.         auth_type PASS
    

22.         auth_pass 1111
    

23.     }
    

24.     virtual_ipaddress {
    

25.         10.57.220.155 #//热备所针对的虚拟地址（VIP），可以有多个
    

26.     }
    

27. }
    

28. 
    

29. virtual_server 10.57.220.155 81 { #//虚拟服务器的IP地址、端口。 可多个服务
    

30.     delay_loop 2 #//健康检查的间隔时间
    

31.     lb_algo wrr #//负载调度算法（wrr为根据权重轮询，其他参见ipvsadm手册）
    

32.     lb_kind DR #//负载均衡类型，常用的为DR、NAT方式
    

33. # persistence_timeout 1 #//连接保持时间，适用于动态Web站点、FTP站点等情况
    

34.     protocol TCP #//协议类型
    

35. 
    

36.     real_server 10.57.220.20 81 { #//真实服务器的IP地址、端口
    

37.         weight 1 #//节点权重
    

38.         TCP_CHECK {
    

39.             connect_timeout 10 #//连接超时
    

40.             nb_get_retry 3 #//重试次数
    

41.             delay_before_retry 3 #//重试间隔
    

42.         }
    

43.     }
    

44.     real_server 10.57.220.26 81 {
    

45.         weight 1
    

46.         TCP_CHECK {
    

47.             connect_timeout 10
    

48.             nb_get_retry 3
    

49.             delay_before_retry 3
    

50.         }
    

51.     }
    

52. }
    

53. #可配置多个
    

54. #virtual_server 172.19.1.19 3478 {
    

55. # delay_loop 2
    

56. # lb_algo wrr
    

57. # lb_kind DR
    

58. # persistence_timeout 10
    

59. # protocol UDP#
    

60. 
    

61.     #real_server 172.19.1.15 3478 {
    

62.      # weight 1
    

63.      # TCP_CHECK {
    

64.       # connect_timeout 10
    

65.       # nb_get_retry 3
    

66.             delay_before_retry 3
    

67.        # }
    

68.     #}
    

69.     #real_server 172.19.1.16 3478 {
    

70.     # weight 1
    

71.     #TCP_CHECK {
    

72.      # connect_timeout 10
    

73.       # nb_get_retry 3
    

74.        # delay_before_retry 3
    

75.        # }
    

76.     #}
    

77. #}

78. 
    

转载于:https://blog.51cto.com/lingyi/1575692