常用的负载均衡开源软件有： nginx（应用层7）、lvs（网络层4）、keepalived

商业的硬件负载设备： F5、Netscale


1. LB、LVS介绍 LB集群是load balance 集群的简写，翻译成中文就是负载均衡集群


LVS是一个实现负载均衡集群的开源软件项目 

LVS架构从逻辑上可分为调度层(Director)、server集群层(Real server)和共享存储层

LVS可分为三种工作模式:  ( dr模式参考这篇文章  http://os.51cto.com/art/201105/264303.htm    这篇介绍的还是挺详细的： http://www.it165.net/admin/html/201401/2248.html )


NAT(调度器将请求的目标ip即vip地址改为Real server的ip, 返回的数据包也经过调度器，调度器再把源地址修改为vip)

TUN(调度器将请求来的数据包封装加密通过ip隧道转发到后端的real server上，而real server会直接把数据返回给客户端，而不再经过调度器)

DR(调度器将请求来的数据包的目标mac地址改为real server的mac地址，返回的时候也不经过调度器，直接返回给客户端)


三种IP：DIP(driector ip), VIP(virtual ip), RIP(Real IP). 其中DIP, RIP 为同一个网段，并且为私网IP, vip为对外提供服务的ip，Director, Real server上都设置vip

LVS的调度算法：轮叫调度(Round Robin)(简称rr) ,加权轮叫(Weighted Round Robin)(简称wrr),最少链接(least connection)(LC),加权最少链接(Weighted Least Connections) (WLC) 等等   (其他算法，参考 http://www.aminglinux.com/bbs/thread-7407-1-1.html)



LVS/NAT 配置


三台服务器一台作为director, 两台作为real server

Director 有一个外网ip (192.168.21.190) 和一个内网ip(192.168.11.190), 两个real server上只有内网ip(192.168.11.20)和(192.168.11.160) 并且需要把两个real server的内网网关设置为director的内网ip(192.168.21.166)

vmware网络设置： http://www.apelearn.com/bbs/thread-10536-1-1.html


director上：

hostname dir

bash

192.168.11.20上：

hostname rs1

bash

192.168.11.160上：

hostname rs2

bash


两个real server 上都安装httpd: yum install -y nginx

Director上安装ipvsadm  yum install -y  ipvsadm



Direcotr 上：

 vim /usr/local/sbin/lvs_nat.sh //增加:


#! /bin/bash

# director 服务器上开启路由转发功能: 

echo 1 > /proc/sys/net/ipv4/ip_forward 

# 关闭icmp的重定向

echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects

echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects

echo 0 > /proc/sys/net/ipv4/conf/eth0/send_redirects

echo 0 > /proc/sys/net/ipv4/conf/eth1/send_redirects


# director 设置nat防火墙

iptables -t nat -F

iptables -t nat -X

iptables -t nat -A POSTROUTING -s 192.168.11.0/24  -j MASQUERADE

# director设置ipvsadm

IPVSADM='/sbin/ipvsadm'

$IPVSADM -C

$IPVSADM -A -t 192.168.21.190:80 -s rr 300

$IPVSADM -a -t 192.168.21.190:80 -r 192.168.11.160:80 -m

$IPVSADM -a -t 192.168.21.190:80 -r 192.168.11.20:80 -m

保存退出


直接运行这个脚本就可以完成lvs/nat的配置了: 

/usr/local/sbin/lvs_nat.sh 

ipvsadm -ln可以看见我们设置的。



rs1和rs2上：

把网关都改成192.168.11.190

并启动80端口（可以选择打开nginx）


通过浏览器测试两台机器上的web内容（或者使用curl），为了区分开，我们可以把nginx的默认页修改一下：

rs1上： echo "rs1rs1" >/usr/share/nginx/html/index.html

rs2上： echo "rs2rs2" >/usr/share/nginx/html/index.html



3. LVS/DR 配置

director(eth0192.168.11.190 vip eth0:0: 192.168.31.110)

real server1(eth0 rip: 192.168. 31.100, vip lo:0: 192.168.31.110)

real server2(eth0 rip: 192.168.31.101, vip lo:0: 192.168.31.110)

（三个都算是公网IP）


两个rs上把网关改回来


Director 上

ipvsadm -C

iptables -t nat -F

vim /usr/local/sbin/lvs_dr.sh //增加


#! /bin/bash

echo 1 > /proc/sys/net/ipv4/ip_forward

ipv=/sbin/ipvsadm

vip=192.168.11.100

rs1=192.168.11.160

rs2=192.168.11.20

ifconfig eth0:0 $vip broadcast $vip netmask 255.255.255.255 up

route add -host $vip dev eth0:0

$ipv -C

$ipv -A -t $vip:80 -s rr 

$ipv -a -t $vip:80 -r $rs1:80 -g -w 1

$ipv -a -t $vip:80 -r $rs2:80 -g -w 1



两台rs上：vim /usr/local/sbin/lvs_dr_rs.sh

#! /bin/bash

vip=192.168.11.100

ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up 

route add -host $vip lo:0

echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore

echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce

echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore

echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

保存退出


关于arp_ignore和 arp_announce 参考：http://www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html


然后director上执行: bash /usr/local/sbin/lvs_dr.sh

两台rs上执行: bash /usr/local/sbin/lvs_dr_rs.sh

Windows下浏览器测试访问或者用第四台虚拟机去访问



LVS/DR + keepalived配置

注意：前面虽然我们已经配置过一些操作，但是下面我们使用keepaliave操作和之前的操作是有些冲突的，所以若是之前配置过DR，请首先做如下操作：dr上执行：


$ipv -C

ifconfig eth0:0  down


前面的lvs虽然已经配置成功也实现了负载均衡，但是我们测试的时候发现，当某台real server把httpd进程停掉，那么director照样会把请求转发过去，这样就造成了某些请求不正常。所以需要有一种机制用来检测real server的状态，这就是keepalived。它的作用除了可以检测rs状态外，还可以检测备用director的状态，也就是说keepalived可以实现ha集群的功能，当然了也需要一台备用director.

备用director也需要安装一下keepalived软件 

yum install -y keepalived

安装好后，编辑配置文件  

vim /etc/keepalived/keepalived.conf   //加入如下：

vrrp_instance VI_1 {

    state MASTER   #备用服务器上为 BACKUP

    interface eth0

    virtual_router_id 51

    priority 100  #备用服务器上为90

    advert_int 1

    authentication {

        auth_type PASS

        auth_pass 1111

    }

    virtual_ipaddress {

        192.168.31.110

    }

}

virtual_server 192.168.31.110 80 {

    delay_loop 6                  #(每隔10秒查询realserver状态)

    lb_algo wlc                  #(lvs 算法)

    lb_kind DR                  #(Direct Route)

    persistence_timeout 60        #(同一IP的连接60秒内被分配到同一台realserver)

    protocol TCP                #(用TCP协议检查realserver状态)


    real_server 192.168.31.100 80 {

        weight 100               #(权重)

        TCP_CHECK {

        connect_timeout 10       #(10秒无响应超时)

        nb_get_retry 3

        delay_before_retry 3

        connect_port 80

        }

    }

real_server 192.168.31.101 80 {

        weight 100

        TCP_CHECK {

        connect_timeout 10

        nb_get_retry 3

        delay_before_retry 3

        connect_port 80

        }

     }

}


以上为主director的配置文件，从director的配置文件只需要修改

state MASTER  -> state BACKUP

priority 100 -> priority 90

配置完keepalived后，需要开启端口转发（主从都要做）：

echo 1 > /proc/sys/net/ipv4/ip_forward

然后，两个rs上执行 /usr/local/sbin/lvs_dr_rs.sh 脚本

最后，两个director上启动keepalived服务（先主后从）：

/etc/init.d/keepalived start

另外，需要注意的是，启动keepalived服务会自动生成vip和ipvsadm规则，不需要再去执行上面提到的/usr/local/sbin/lvs_dr.sh 脚本。