前阵子在LVS中文站找资料,发现很多人反应LVS的TUN模式搭建不成功,很多人反应网上的资料很混杂,但是照着做都没做成功,稍微有点郁闷。这里分享一个成功的案例,希望能帮到有需要的朋友。
本文将介绍IPIP协议,LVS/TUN 搭建,以及在TUN模式下通过iptables实现端口转发等内容。
之前看了很多网上的资料都说企业中用的最多的是DR模式,因为DR相比于TUN不用额外的开销之类的,但是DR是不是真的就那么完美呢?其实不是的,当服务器的规模一大,问题就出来了,我们知道DR模式下的Director和RealServer必须是同一网段的,那么当服务器足够多的时候,就会出现问题。假设机房给了你一整个C网段的IP地址,而你的真实服务器有成千上万台,这种情况下,DR的局限性就出来了,而TUN模式是可以跨网段,跨地域通信的, 不存在这方面的顾虑。
一、IP Tunnel 原理
IP Tunnel,又叫IPIP,是一种将一个IP封装到另外一个IP中进行传输的技术。通常需要两个部件:封装部件和解包部件,两端各需要一个IP地址,且两个IP地址能够直接通信。它的工作原理是:在封装部件将一个IP封装到封装部件地址(隧道端的IP)上,并以解包部件地址(IP隧道另一端的地址)为目标地址进行转发。解包部件接受到封装好的数据包后,先进行解包,对数据报进行还原,再以数据报原目标地址为目标地址转发数据报,从而实现通信。用一句话总结就是:将两个无法直接通信的IP,封装在两个能够直接通信的IP,借助IP Tunnel 进行传输、通信。此时,隧道两端的IP地址便是一个载体,提供传输的功能。完整的封包结构如下所示:
说了这么多,是不是对概念还不太清晰?没关系,接着看下面的实验,做完实验再回头看原理,或许会有另外的收获。
二、IP Tunnel实验
IP 分配
node1 10.1.1.101/24 192.168.1.1/24
node2 10.1.1.103/24 192.168.2.1/24
在不做任何配置的情况下,10.1.1.101/24能够直接与10.1.1.103/24 通信,而192.168.1.1/24 不能直接与192.168.2.1/24 进行通信。
node1 配置
root@node1:~# modprobe ipip
root@node1:~# modprobe ip_gre
root@node1:~# ip tunnel add tun0 mode gre remote 10.1.1.103 local 10.1.1.101 ttl 64
root@node1:~# ip link set tun0 up
root@node1:~# ip addr add 192.168.1.1 peer 192.168.2.1 dev tun0
root@node1:~# ip route add 192.168.2.0/24 dev tun0
node2 配置
root@node2:~# modprobe ipip
root@node2:~# modprobe ip_gre
root@node2:~# ip tunnel add tun0 mode gre remote 10.1.1.101 local 10.1.1.103 ttl 64
root@node2:~# ip link set tun0 up
root@node2:~# ip addr add 192.168.2.1 peer 192.168.1.1 dev tun0
root@node2:~# ip route add 192.168.1.0/24 dev tun0
再次在node1 上ping node2可以发现192.168.1.1/24和 192.168.2.1/24 两个网段能够通信。
http://blog.sina.com.cn/s/blog_9025a42d010193gt.html
VS/TUN原理:
LB收到用户请求包后,根据IP隧道协议封装该包,然后传给某个选定的RS;RS解出请求信息,直接将应答内容传给用户。
此时要求RS和LB都要支持IP隧道协议。
LB与RS可以不在同一个网络.
数据包处理过程:
step1:LB收到数据包,如下:
+------------------+-----------+---------------------------+
|Src IP(源IP,即CIP)| 目标IP,VIP| Data |
+------------------+-----------+---------------------------+
此时LB采用IP tunneling封装协议对上面的IP数据包封装在另外一个IP包中.如下:
+----------------------+------------------+-----------------------------------------------------------------------+
| | | New Data |
| | | +------------------+-----------+---------------------------+ |
|Src IP(源IP,即LB的RIP)| 目标IP,即RS的RIP | |Src IP(源IP,即CIP)| 目标IP,VIP| Data | |
| | | +------------------+-----------+---------------------------+ |
| | | |
+----------------------+------------------+-----------------------------------------------------------------------+
然后LB将该数据包路由给RS.
step2:RS收到LB发来的数据包时,根据IP tunneling封装协议对该数据包进行解包.
将LB收到的原始数据解出来,如下:
+------------------+-----------+---------------------------+
|Src IP(源IP,即VIP)| 目标IP,CIP| Data |
+------------------+-----------+---------------------------+
解包后,RS发现目标地址是自己(即VIP在RS上面有配置,即Tunl接口),就会处理该数据包,并将处理结果直接返回给用户端CIP,不再经过LB.
通讯模型
+-------+
| |CIP<---返回---------------------------------------------+
| | |
|Client | |
| |CIP----请求----->+ |
| | | |
+-------+ | |
|请求包 |返回包
| |
| |
VIP VIP(Tunel设备IP)
+----------------+ 封装包 +-------------+
| Director |DIP--------->-------RIP| RealServer |
+----------------+ (不同Vlan) +-------------+
请求包格式:
源IP 目标IP
+----------------------+------------------+---------------------------+
|Src IP(CIP) | LB的VIP | Data |
+----------------------+------------------+---------------------------+
封装包格式:
源IP 目标IP
+----------------------+------------------+-----------------------------------------------------------------------+
| | | New Data (即完整的请求包) |
| Src IP | | +------------------+-----------+---------------------------+ |
|LB的DIP,即VIP所在网卡 | 目标IP,即RS的RIP | |Src IP(源IP,即CIP)| 目标IP,VIP| Data | |
|的主IP,即RIP | | +------------------+-----------+---------------------------+ |
| | | 将请求包封装在另外一个IP报文中 |
+----------------------+------------------+-----------------------------------------------------------------------+
返回包格式:
源IP 目标IP
+----------------------+------------------+---------------------------+
|Src IP(即RS的VIP) | 目标IP,即CIP | Data |
+----------------------+------------------+---------------------------+