LVS_NAT和TUN隧道

一.LVS/NAT原理和特点

1.NAT方式的实现原理和数据包的改变

(a).当用户请求到达DirectorServer，此时请求的数据报文会先到内核空间的PREROUTING链。 此时报文的源IP为CIP，目标IP为VIP。
(b).PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链
(c).IPVS比对数据包请求的服务是否为集群服务，若是，修改数据包的目标IP地址为后端服务器IP，然后将数据包发至POSTROUTING链。此时报文的源IP为CIP，目标IP为RIP
(d).POSTROUTING链通过选路，将数据包发送给Real Server (e). Real Server比对发现目标为自己的IP，开始构建响应报文发回给Director Server。 此时报文的源IP为RIP，目标IP为CIP
(f).Director Server在响应客户端前，此时会将源IP地址修改为自己的VIP地址，然后响应给客户端。 此时报文的源IP为VIP，目标IP为CI

2. LVS-NAT模型的特性

RS应该使用私有地址，RS的网关必须指向DIP
DIP和RIP必须在同一个网段内
请求和响应报文都需要经过Director Server，高负载场景中，Director Server易成为性能瓶颈
支持端口映射
RS可以使用任意操作系统
缺陷：对Director Server压力会比较大，请求和响应都需经过director server

二.LVS/Tun原理和特点

在原有的IP报文外再次封装多一层IP首部，内部IP首部(源地址为CIP，目标IIP为VIP)，外层IP首部(源地址为DIP，目标IP为RIP)

(a)当用户请求到达DirectorServer，此时请求的数据报文会先到内核空间的PREROUTING链。 此时报文的源IP为CIP，目标IP为VIP 。
(b)PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链
(c)IPVS比对数据包请求的服务是否为集群服务，若是，在请求报文的首部再次封装一层IP报文，封装源IP为为DIP，目标IP为RIP。然后发至POSTROUTING链。 此时源IP为DIP，目标IP为RIP
(d)POSTROUTING链根据最新封装的IP报文，将数据包发至RS（因为在外层封装多了一层IP首部，所以可以理解为此时通过隧道传输）。此时源IP为DIP，目标IP为RIP
(e)RS接收到报文后发现是自己的IP地址，就将报文接收下来，拆除掉最外层的IP后，会发现里面还有一层IP首部，而且目标是自己的lo接口VIP，那么此时RS开始处理此请求，处理完成之后，通过lo接口送给eth0网卡，然后向外传递。 此时的源IP地址为VIP，目标IP为CIP
(f)响应报文最终送达至客户端

LVS-Tun模型特性

RIP、VIP、DIP全是公网地址
RS的网关不会也不可能指向DIP
所有的请求报文经由Director Server，但响应报文必须不能进过Director Server
不支持端口映射
RS的系统必须支持隧道

三.实验LVS的NAT模式

实验环境：
Direcotr:
Server1(调度器)：双网卡：eth0(对外):172.25.254.1 eth1(对内):172.25.66.1
Realserver:
Server2(服务器)：172.25.66.2
Server3(服务器)：172.25.66.3
Client：172.25.254.66
在server1中:
添加一个网卡

配置网络

[root@server1 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth1
DEVICE=eth1
ONBOOT=yes
BOOTPROTO=static
IPADDR=172.25.254.1
PREFIX=24

查看ip

开启路由机制:

[root@server1 ~]# vim  /etc/sysctl.conf
net.ipv4.ip_forward = 1
[root@server1 ~]# sysctl -p

加载 nat 模块:

root@server1 ~]# modprobe iptable_nat

加载 rule:

[root@server1 ~]# ipvsadm  -A -t 172.25.254.1:80  -s rr
[root@server1 ~]# ipvsadm -a -t 172.25.254.1:80 -r 172.25.66.2:80 -m
[root@server1 ~]# ipvsadm -a -t 172.25.254.1:80 -r 172.25.66.3:80 -m

保存策略：

[root@server1 ~]# /etc/init.d/ipvsadm save
ipvsadm: Saving IPVS table to /etc/sysconfig/ipvsadm:      [  OK  ]

在server2中：

[root@server2 sysconfig]# vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
ONBOOT=yes
BOOTPROTO=static
IPADDR=172.25.66.2
PREFIX=24
GATEWAY=172.25.66.1
[root@server2 ~]# /etc/init.d/httpd start

在server3中：

[root@serve3 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
ONBOOT=yes
BOOTPROTO=static
IPADDR=172.25.66.3
PREFIX=24
GATEWAY=172.25.66.1
[root@serve3 ~]# /etc/init.d/httpd start

测试：

四.TUN模式

实验环境：
Direcotr:
Server1(调度器)：eth0:172.25.66.1 tunl0:172.25.66.100/24
Realserver:
Server2(服务器)：eth0:172.25.66.2 tunl0:172.25.66.100/24
Server3(服务器)：eth0:172.25.66.3 tunl0:172.25.66.100/24
Client：172.25.66.250
在server1中:

[root@server1 ~]# modprobe ipip
[root@server1 ~]# ip link set up tunl0
[root@server1 ~]# ip  addr add 172.25.66.100/24 dev tunl0

添加rules:

[root@server1 ~]# ipvsadm  -A -t 172.25.66.100:80 -s rr
[root@server1 ~]# ipvsadm -a -t 172.25.66.100:80 -r 172.25.66.3:80 -i
[root@server1 ~]# ipvsadm -a -t 172.25.66.100:80 -r 172.25.66.2:80 -i

在server2中:

[root@server2 ~]# modprobe ipip
[root@server2 ~]# ip link set up tunl0
[root@server2 ~]# ip  addr add 172.25.66.100/24 dev tunl0
[root@server2 ~]# sysctl -w net.ipv4.conf.tunl0.rp_filter=0

设置arp抑制:

[root@server2 ~]# arptables -A IN -d 172.25.66.100 -j DROP #对input进行拒绝
[root@server2 ~]# arptables -A OUT -s 172.25.66.100 -j mangle --mangle-ip-s 172.25.66.2  #对output进行伪装
[root@server2 ~]# /etc/init.d/arptables_jf save

在server3中：

[root@server3 ~]# modprobe ipip
[root@server3 ~]# ip link set up tunl0
[root@server3 ~]# ip  addr add 172.25.66.100/24 dev tunl0
[root@server3 ~]# sysctl -w net.ipv4.conf.tunl0.rp_filter=0

设置arp抑制：

[root@server3 ~]# arptables -A IN -d 172.25.7.100 -j DROP
[root@server2 ~]# arptables -A OUT -s 172.25.7.100 -j mangle --mangle-ip-s 172.25.7.3
[root@server2 ~]# /etc/init.d/arptables_jf save

测试：