LVS 之 persistence

背景

apache  keepalive：当client与server建立 tcp连接之后 不会马上断开，保持一定时间，在这段时间之内，client 后续的请求 依然可以通过 此通道 发送给服务器端 ，server 也可以通过此通道响应 client

LVS  之sh 算法：能够将 同一个 CIP 的请求 始终发往 同一个  Real Server

  sh 实现的效果 类似于 apache keepalive 功能，而能够持久 多长时间 ，取决于 tcp 会话的 超时 时间 ，在这个 有限的时间内，client发起的请求 将始终 定向到 同一个 Real Server

LVS 之 persistence 与 上面2种持久连接 是不一样的

例如 在 Director 上 定义了 tcp 22 和 tcp80 端口的 集群服务 ，

       同一个 client 请求了 22 和 80 的服务 ，即使 使用 sh 算法 ，也只能保证  22 指定一个 real server  而80 指定 一个 real server ，而这 2个 real server 可能 不 是一个real server  如图

sh 的持久连接 ，只的是 特定服务（port）的持久连接 ，例如 tcp 22  的持久 、tcp 80 的持久

所以 sh 的持久性不能解决 同一个client 对于 不同 集群服务的请求 的持久性 所以 有了 LVS 的 persistence

LVS 之 persistence

LVS 之 persistence ：无论客户端 请求什么 服务 ，都可以 发往 同一个 real server 实现持久连接

要实现 这样的 持久连接 ，必须把 多个 服务 当成 一个服务对待，在外围 实现一种 捆绑机制，这种绑定机制 syscall 通常把它叫做： connection affinity 或 port affinity

所以 LVS 的 persistence  实质是：

connection affinity           连接的姻亲关系

port affinity                       端口 关联性

因此要使用关联性，无论 使用什么调度方法，都可以 在 外围 捆绑的机制之上，实现其持久性

为了实现 端口关联性 ，LVS 引进了一种 外围捆绑机制： lvs persistent template: hash table

hash table 是 一段 内存 存储空间 的 哈希表   ：

KEY  :  VALUE

CIP  :  RS

启动了 这个 lvs persistent template 之后， 不管client 访问的是上面服务 ，都先查 hash table  ，把CIP 访问的 所以服务 都定向到 一个real server

如果你的client 足够多 ，而 hash table 默认空间 不够用，那么 就需要 调整 hahs table 大小

现在 跟 tcp 会话没有关系了，不能通过 定义tcp 超时 来定义  持久会话了，那怎么定义持久性？

定义 超时时间

实现 持久性的操作： -p [time out]

算法对于 持久连接的作用：在 持久连接 发送之前 算法依然生效，就是 用到 第一次的 请求 需要 算法调度

绑定策略：

pcc: Persistent Client Connection

持久客户端连接

ppc：Persistent Port Connection

持久端口连接

               pfm：Persistent Firewall Mark

                          持久防火墙标记

ppc

IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.195.200:22 wlc persistent 360
TCP  192.168.195.200:80 wlc persistent 360
  -> 192.168.195.170:80           Route   1      0          0        
  -> 192.168.195.171:80           Route   3      0          0

pcc

IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.195.200:0 wlc persistent 360
  -> 192.168.195.170:0            Route   1      0          0        
  -> 192.168.195.171:0            Route   3      0          0

pfm

在报文到达 Director 经过prerouting 时，打上Firewall mark，按照 firewall mark 标记 绑定，实现指定port 的绑定

绑定 http  https

开启https

自建CA

[root@nod1 CA]# (umask 077; openssl genrsa 2048 > ../private/cakey.pem)
[root@nod1 CA]# openssl req -new  -x509 -key private/cakey.pem  -days 3650 -out certs/cacert.pem
[root@nod1 CA]# touch index.txt serial
[root@nod1 CA]# echo 00 > serial

httpd 制作签署请求

[root@nod2 httpd]# (umask 077; openssl genrsa 1024 > conf/httpd.key)
[root@nod2 httpd]# openssl req -new -key conf/httpd.key -out conf/httpd.csr

CA签署

[root@nod1 CA]# scp 192.168.195.170:/etc/httpd/conf/httpd.csr /tmp
[root@nod1 CA]# openssl ca -in /tmp/httpd.csr -out /tmp/httpd.crt -days 3650
[root@nod1 CA]# scp /tmp/httpd.crt 192.168.195.170:/etc/httpd/conf

安装httpd 的 ssl module，并且配置启用https

[root@nod2 httpd]# yun install mod_ssl
[root@nod2 httpd]# vim /etc/httpd/conf.d/ssl.conf
添加如下2行
SSLCertificateFile /etc/httpd/conf/httpd.crt
SSLCertificateKeyFile /etc/httpd/conf/httpd.key

重启并验证https

tcp        0      0 :::80                       :::*                        LISTEN
tcp        0      0 :::443                      :::*                        LISTEN

报文打标

[root@nod1 ~]# iptables -t mangle -A PREROUTING  -d 192.168.195.200 -p tcp --dport 80 -j MARK --set-mark 10
[root@nod1 ~]# iptables -t mangle -A PREROUTING  -d 192.168.195.200 -p tcp --dport 443 -j MARK --set-mark 10

规则生成

[root@nod1 ~]# ipvsadm -A -f 10 -s wlc -p
[root@nod1 ~]# ipvsadm -a -f 10 -r 192.168.195.170 -g -w 1
[root@nod1 ~]# ipvsadm -a -f 10 -r 192.168.195.171 -g -w 1
[root@nod1 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
FWM  10 wlc persistent 360
  -> 192.168.195.170:0            Route   1      0          0        
  -> 192.168.195.171:0            Route   1      0          0

NAT：报文流经走向

  IN:    PREROUTING-->INPUT-->POSTROUTING

OUT:   PREROUTING-->FORWARD-->POSTROUTING

转载于:https://blog.51cto.com/deamonsky/1381722