Ubuntu + LVS 搭建四层，实现自定义协议的负载均衡

一，概述：

实验环境都是Ubuntu 14，内核已经有lvs模块

负载机器：10.10.2.176 （该机器需要安装ipvsadm），需要在该机上建立一个virtual server，其ip是10.10.2.177

真实服务器1：10.10.2.190

真实服务器2：10.10.2.191

真实服务器3：10.10.2.192

当请求通过virtual server时，会直接转发到真实机器上进行处理

二，步骤

1，在10.10.2.176机器上，安装ipvsadm：

sudo apt-get install ipvsadm

2，在10.10.2.176机器上，编写如下脚本，进行配置，脚本为wsdc_lvs.sh：

#!/bin/bash

# FOR SERVER PORTAL #
vip=10.10.2.177
rs1=10.10.2.190
rs2=10.10.2.191
rs3=10.10.2.192

/sbin/ifconfig eth0:0 $vip netmask 255.255.255.0 broadcast $vip
/sbin/route add -host $vip dev eth0:0
echo "1">/proc/sys/net/ipv4/ip_forward

/sbin/ipvsadm -C
#/sbin/ipvsadm -A -t $vip:80 -s rr
#/sbin/ipvsadm -A -t $vip:8080 -s rr
/sbin/ipvsadm -A -t $vip:8111 -s rr

/sbin/ipvsadm -a -t $vip:8111 -r $rs1:8111 -g
/sbin/ipvsadm -a -t $vip:8111 -r $rs2:8111 -g
/sbin/ipvsadm -a -t $vip:8111 -r $rs3:8111 -g
ipvsadm

3，在10.10.2.176机器上运行配置脚本

sudo chmod a+x wsdc_lvs.sh
sudo ./wsdc_lvs.sh

4，在三台真实服务器上，编写如下脚本：

#!/bin/bash
vip=10.10.2.177
/sbin/ifconfig lo:0 $vip netmask 255.255.255.255 broadcast $vip
/sbin/route add -host $vip dev lo:0
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
/sbin/sysctl -p

sudo chmod a+x wsdc_lvs.sh
sudo ./wsdc_lvs.sh

三，测试

自己编写基于自定义协议的程序，进行测试即可。

四、附录

附录 lvs参数简介
部分参数如下：man ipvsadm可以全部看到。
-A, --add-service    Add  a  virtual service
-E, --edit-service    Edit a virtual service
-D, --delete-service        Delete a virtual service
-C, --clear      Clear the virtual server table.
-R, --restore
-S, --save
-a, --add-server      Add a real server to a virtual service
-e, --edit-server      Edit a real server in a virtual service
-d, --delete-server   Remove a real server from a virtual service
-L, -l, --list     List  the  virtual  server  table  if no argument is specified
-t, --tcp-service      Use TCP service.
-u, --udp-service    Use UDP service


-s 指定服务采用的算法，常用的算法参数如下：


    rr   轮叫（Round Robin）
    调度器通过"轮叫"调度算法将外部请求按顺序轮流分配到集群中的真实服务器上，它均等地对待每一台服务 器，而不管服务器上实际的连接数和系统负载。
    wrr   加权轮叫（Weighted Round Robin）
    调度器通过"加权轮叫"调度算法根据真实服务器的不同处理能力来调度访问请求。这样可以保证处理能力强的服务器处理更多的访问流量。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。
    lc   最少链接（Least Connections）
    调度器通过"最少连接"调度算法动态地将网络请求调度到已建立的链接数最少的服务器上。如果集群系统的真实服务器具有相近的系统性能，采用"最小连接"调度算法可以较好地均衡负载。
    wlc   加权最少链接（Weighted Least Connections）
    在集群系统中的服务器性能差异较大的情况下，调度器采用"加权最少链接"调度算法优化负载均衡性能，具有较高权值的服务器将承受较大比例的活动连接负载。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。
    lblc   基于局部性的最少链接（Locality-Based Least Connections）
    "基于局部性的最少链接" 调度算法是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。该算法根据请求的目标IP地址找出该目标IP地址最近使用的服务器，若该服务器是可用的且没有超载，将请求发送到该服务器；若服务器不存在，或者该服务器超载且有服务器处于一半的工作负载，则用"最少链接"的原则选出一个可用的服务器，将请求发送到该服务器。
    lblcr   带复制的基于局部性最少链接（Locality-Based Least Connections with Replication）
    "带复制的基于局部性最少链接"调度算法也是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。它与LBLC算法的不同之处是它要维护从一个目标IP地址到一组服务器的映射，而LBLC算法维护从一个目标IP地址到一台服务器的映射。该算法根据请求的目标IP地址找出该目标IP地址对应的服务器组，按"最小连接"原则从服务器组中选出一台服务器，若服务器没有超载，将请求发送到该服务器，若服务器超载；则按"最小连接"原则从这个集群中选出一台服务器，将该服务器加入到服务器组中，将请求发送到该服务器。同时，当该服务器组有一段时间没有被修改，将最忙的服务器从服务器组中删除，以降低复制的程度。
    dh   目标地址散列（Destination Hashing）
    "目标地址散列"调度算法根据请求的目标IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。
    sh   源地址散列（Source Hashing）
    "源地址散列"调度算法根据请求的源IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。 


-a 表示往一个服务内增加一个real server
-r 指定real server的IP地址
-w 表示权重
-g 表示使用DR方式，-m表示NAT方式，-i表示tunneling方式。