用LVS构架负载均衡Linux集群实例

实例

理解了上述关于请求转发方式和调度算法的基本概念后，就可以运用LVS来具体实现几种不同方式的负载均衡的集群系统。LVS的配置是通过前面所安装的IP虚拟服务器软件ipvsadm来实现的。ipvsadm与LVS的关系类似于iptables和NetFilter的关系，前者只是一个建立和修改规则的工具，这些命令的作用在系统重新启动后就消失了，所以应该将这些命令写到一个脚本里，然后让它在系统启动后自动执行。网上有不少配置LVS的工具，有的甚至可以自动生成脚本。但是自己手工编写有助于更深入地了解，所以本文的安装没有利用其它第三方提供的脚本，而是纯粹使用ipvsadm命令来配置。

下面就介绍一下如何配置LVS/NAT、LVS/TUN、LVS/DR方式的负载均衡集群。

1.设定LVS/NAT方式的负载均衡集群

NAT是指Network Address Translation，它的转发流程是：Director机器收到外界请求，改写数据包的目标地址，按相应的调度算法将其发送到相应Real Server上，Real Server处理完该请求后，将结果数据包返回到其默认网关，即Director机器上，Director机器再改写数据包的源地址，最后将其返回给外界。这样就完成一次负载调度。

构架一个最简单的LVS/NAT方式的负载均衡集群如图2所示。

 

图2 LVS/NAT方式的集群简图

Real Server可以是任何的操作系统，而且无需做任何特殊的设定，惟一要做的就是将其默认网关指向Director机器。Real Server可以使用局域网的内部IP(192.168.0.0/24)。Director要有两块网卡，一块网卡绑定一个外部IP地址(10.0.0.1)，另一块网卡绑定局域网的内部IP(192.168.0.254)，作为Real Server的默认网关。

这里将所有LVS的配置命令写到一个可执行脚本中，脚本如下：

#!/bin/bash# Open IP Forwardingecho 1 > /proc/sys/net/ipv4/ip_forward# To make the load balancer forward the masquerading packetsiptables -t nat -A POSTROUTING -s 192.168.2.0/24 -d 0.0.0.0/0 -o eth0 -j MASQUERADEipvsadm -C# Choose the Weighted Round Robingipvsadm -A -t 10.0.0.1:80 -s wrr # Set Real Serveripvsadm -a -t 10.0.0.1:80 -r 192.168.0.1:873 -m -w 2ipvsadm -a -t 10.0.0.1:80 -r 192.168.0.2:873 -m -w 3ipvsadm

将该脚本保存为/root/lvs_nat.sh，然后加上可执行属性，执行它：

# chmod a+x /root/lvs_nat.sh# /root/lvs_nat.sh

运行该脚本后，一个简单的LVS/NAT方式的负载均衡集群已经成功架设。模拟多个用户从外界访问10.0.0.1的80端口，用ipvsadm可以观看到以下信息：

# ipvsadmIP Virtual Server version 1.0.9 (size=4096)Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConnTCP 10.0.0.1:http wrr -> 192.168.0.1:http Masq 3 2 0 -> 192.168.0.2:http Masq 2 1 0

其中ActiveConn表示对应的Real Server当前有多少个正在活动的连接，InActConn表示不活动的连接数。从这里我们可以看到有3个HTTP请求，被分别分配在不同的Real Server上，表明这个负载均衡集群正在成功运行中。

本例完成了这样一个简单的LVS/NAT集群，由此可以看出，LVS/NAT方式实现起来最为简单，而且Real Server使用的是内部IP，可以节省Real IP的开销。但因为执行NAT需要重写流经Director的数据包，在速度上有一定延迟；另外，当用户的请求非常短，而服务器的回应非常大的情况下，会对Director形成很大压力，成为新的瓶颈，从而使整个系统的性能受到限制。

2.设定LVS/TUN方式的负载均衡集群

TUN是指IP Tunneling，它的转发流程是：Director机器收到外界请求，按相应的调度算法将其通过IP隧道发送到相应Real Server，Real Server处理完该请求后，将结果数据包直接返回给客户。至此完成一次负载调度。

最简单的LVS/TUN方式的负载均衡集群架构如图3所示。

LVS/TUN使用IP Tunneling技术，在Director机器和Real Server机器之间架设一个IP Tunnel，通过IP Tunnel将负载分配到Real Server机器上。Director和Real Server之间的关系比较松散，可以是在同一个网络中，也可以是在不同的网络中，只要两者能够通过IP Tunnel相连就行。收到负载分配的Real Server机器处理完后会直接将反馈数据送回给客户，而不必通过Director机器。实际应用中，服务器必须拥有正式的IP地址用于与客户机直接通信，并且所有服务器必须支持IP隧道协议。

 

图3 LVS/TUN方式的集群简图

这里将所有LVS的配置命令写到一个可执行脚本，脚本内容如下：

#!/bin/bash# Close IP Forwardingecho 0 > /proc/sys/net/ipv4/ip_forwardifconfig eth0 downifconfig eth0 192.168.0.253 netmask 255.255.255.0 broadcast 192.168.0.255 upifconfig eth0:0 192.168.0.254 netmask 255.255.255.255 broadcast 192.168.0.254 upipvsadm -Cipvsadm -A -t 192.168.0.254:80 -s wlcipvsadm -a -t 192.168.0.254:80 -r 192.168.0.1 -i -w 3ipvsadm -a -t 192.168.0.254:80 -r 192.168.1.201 -i -w 1ipvsadm

将上面的脚本保存为/root/lvs_tun.sh。然后加上可执行属性，执行它：

# chmod a+x /root/lvs_tun.sh# /root/lvs_tun.sh

运行此脚本之后应该出现如下信息：

# ./lvs-tun.shIP Virtual Server version 1.0.9 (size=4096)Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConnTCP 192.168.0.254:http wlc -> 192.168.1.201:http Tunnel 1 0 0 -> 192.168.0.1:http Tunnel 1 0 0

另外在每台Real Server上还要执行如下的命令：

ifconfig tunl0 192.168.0.254 netmask 255.255.255.255 broadcast 192.168.0.254 uproute add -host 192.168.0.254 dev tunl0echo 1 > /proc/sys/net/ipv4/conf/all/hiddenecho 1 > /proc/sys/net/ipv4/conf/tunl0/hidden

注意Real Server的内核必须打上修正ARP问题的内核补丁，如Linux2.4.20的内核是hidden-2.4.20pre10-1.diff，编译内核的方法参见Director机器。

通过本例来简单评价一下LVS/TUN方式。该方式中Director将客户请求分配到不同的Real Server，Real Server处理请求后直接回应给用户，这样Director就只处理客户机与服务器的一半连接，极大地提高了Director的调度处理能力，使集群系统能容纳更多的节点数。另外TUN方式中的Real Server可以在任何LAN或WAN上运行，这样可以构筑跨地域的集群，其应对灾难的能力也更强，但是服务器需要为IP封装付出一定的资源开销，而且后端的Real Server必须是支持IP Tunneling的操作系统。

3.设定LVS/DR方式的负载均衡集群

DR是指Direct Routing，它的转发流程是：Director机器收到外界请求，按相应的调度算法将其直接发送到相应Real Server，Real Server处理完该请求后，将结果数据包直接返回给客户，完成一次负载调度。

构架一个最简单的LVS/DR方式的负载均衡集群如图4所示。

Real Server和Director都在同一个物理网段中，Director的网卡IP是192.168.0.253，再绑定另一个IP：192.168.0.254作为对外界的virtual IP，外界客户通过该IP来访问整个集群系统。Real Server在lo上绑定IP：192.168.0.254，同时加入相应的路由。

Director端的实现脚本如下：

#！/bin/bash# set ip_forward OFF for vs-dr director (1 on, 0 off)echo 0 > /proc/sys/net/ipv4/ip_forwardifconfig eth0:0 192.168.0.254 netmask 255.255.255.255 broadcast 192.168.0.255 upipvsadm -Cipvsadm -A -t 192.168.0.254:80 -s wlc# Set Real Serveripvsadm -a -t 192.168.0.254:80 -r 192.168.0.1:873 -gipvsadm -a -t 192.168.0.254:80 -r 192.168.0.2:873 -gipvsadm

 

图4 LVS/DR方式的集群简图

将脚本保存为/root/lvs_dr.sh，加上可执行属性，执行它：

# chmod a+x /root/lvs_dr.sh# /root/lvs_dr.sh

运行此脚本之后可以看到如下信息：

# ./lvs_dr.shIP Virtual Server version 1.0.9 (size=4096)Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConnTCP 192.168.0.254:http wlc -> 192.168.0.2:http Route 1 0 0 -> 192.168.0.1:http Route 1 0 0

另外每台Real Server上要执行如下命令：

ifconfig lo:0 192.168.0.254 netmask 255.255.255.255 broadcast 192.168.0.255 uproute add -host 192.168.0.254 dev lo:0echo 1 > /proc/sys/net/ipv4/conf/all/hiddenecho 1 > /proc/sys/net/ipv4/conf/lo/hidden

注意Real Server的内核也必须打上修正ARP问题的内核补丁，编译内核的方法参见Director机器。

同样通过本例来简单评价一下LVS/DR方式。LVS/DR方式与前面的LVS/TUN方式有些类似，前台的Director机器也是只需要接收和调度外界的请求，而不需要负责返回这些请求的反馈结果，所以能够负载更多的Real Server，提高Director的调度处理能力，使集群系统容纳更多的Real Server。但LVS/DR需要改写请求报文的MAC地址，所以所有服务器必须在同一物理网段内。

结束语

其实集群架设到此还不能达到正式应用的要求，至少还需要解决三个问题：

1. 安装监视软件

集群运作时，应当监视集群中所有Real Server的运行情况并对其中的变化作出反应。如果发现Real Server突然down机，需要将其从集群队列中删除，等恢复后再重新加入。mon就是这样一个系统资源监控程序，可以监控网络服务可用性、服务器问题等。用户可以对其进行定制和扩展。

2. 后台Real Server节点的数据一致性问题和更新方法

比如一个提供Web服务的集群系统，每台服务器的Web资料必须一致，如果对Web资料的内容进行更新、增加或删除，如何使所有服务器之间数据同步呢？对于这种数据同步问题，一是采用网络镜像，如借用Mirror、FTP等来自行编写脚本进行镜像；另一种是使用网络文件系统，如coda等。

3. 提高可用性

以上示例中，Director机器只有一台，一旦Director机器down掉，整个集群也就崩溃了，所以要考虑使用两台机器做一个HA(High-Availability)。比如，配合使用Linux的另一个软件heartbeat来实现HA。

实际运行中，面对的问题可能不只以上这些，相关内容在此就不再详述，欢迎大家共同探讨。