Cent0S下使用LVS+KeepLive进行负载均衡及高可用web服务器

Cent0S下使用LVS+KeepLive，进行负载均衡及高可用web服务器。

通过对本文章的阅读：你可以了解LVS+KeepLive的安装，按照步骤一步一步完成就能实现对2台或N台web服务器进行负载均衡，实现LVS的负载均衡及失效转移。

 

 

一、需要的文件：

1、ipvsadm-1.24.tar.gz，下载地址：下载

2、keepalived-1.1.15.tar.gz，下载地址：下载

 

二、对LVS学习的网站推荐：

 

   LVS官方中文站点：http://zh.linuxvirtualserver.org/

   对keepalived各项参数进行了详细的解释 http://download.csdn.net/detail/missrian/7338313

 

三、安装及使用：

一、LVS的安装：

1、拷贝2个安装包到/usr/local/src下的lvs目录下。(不存在则建立)

2、tar -zxvf ipvsadm-1.24.tar.gz 再进入目录cd ipvsadm-1.24

3、sudo make 该步骤进行编译，在make时可能会出现错误编译信息，这是由于编译程序找不到对应内核的原因。

     此时解决的方法为，首先获取系统的版本uname -a

     Linux localhost.localdomain  2.6.32-431.el6.x86_64 #1 SMP Fri Nov 22 03:15:09 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux

     再执行：ln -s /usr/src/kernels/ 2.6.32-431.el6.x86_64/  /usr/src/linux

     然后重新执行make编译命令。

4、sudo make install 该步骤为安装。

5、如果安装成功则可以通过ipvsadm --help查看lvs是否安装成功

6、通过find / -name ipvsadm可以查看lvs 安装在哪些目录下。

 

二、KeepLive的安装

1、tar -zxvf keepalived-1.1.15.tar再进入keepalived-1.1.15目录

2、执行sudo ./config，

     1)、如果报错

     configure: error:

     !!! OpenSSL is not properly installed on your system. !!!
     !!! Can not include OpenSSL headers files.

     则yum -y install openssl-devel，然后重新执行sudo ./config

     2)、如果报错

     configure: error: Popt libraries is required

     则yum install popt-devel，然后重新执行sudo ./config

3、编译sudo make

4、安装sudo make install

5、可用find / -name keepalived查看安装位置

6、可通过keepalived --version查看是否安装成功。

7、拷贝文件

     cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/  

     cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/
     mkdir /etc/keepalived
     cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/
     cp /usr/local/sbin/keepalived /usr/sbin/
8、启动或停止：service keepalived start

9、配置为随系统启动：
     sudo chkconfig --add keepalived
     sudo chkconfig --level 35 keepalived on

 

三、配置keepalived

由于LVS存在单点故障，因此一般采用LVS主从备份的方式进行负载均衡.

如果有时候主备LVS没有生效，比如反而是备LVS优先起作用，此时只需重启主LVS,service keepalived restart

 

1、编辑：vi  /etc/keepalived/keepalived.conf

 

! Configuration File for keepalived

global_defs {
   notification_email {
   hezx@gaojiasoft.com  #故障通知接收者邮箱，可以多个
   caoli@gaojiasoft.com
   }
   notification_email_from hezx@gaojiasoft.com  #故障发送者邮箱
   smtp_server 192.168.62.130 #邮件服务器的IP
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}

vrrp_instance VI_1 {
    state MASTER #如果是备份LVS，则修改为BACKUP
    interface eth0
    virtual_router_id 51 #2个LVS必须在一致
    priority 100 #如果是备份LVS，则修改得比MASTER小，至少50的差距,比如49
    advert_int 1
    authentication {
        auth_type PASS   #主从LVS的时候，PASS一致才可以。
        auth_pass 1111
    }

    #VIP，浮动IP，发生切换时Keepalived自动添加、删除虚拟地址，无需ifoncig-eth0去设置
    virtual_ipaddress {
        192.168.62.100 #LVS的对外虚拟IP,可以是多个，这样一般可以再域名解析的时候有帮助，比如电信，联通的IP
        192.168.62.99
        192.168.62.98
    }

    #虚拟路由，发生切换时候自动添加删除路由

    #virtual_routes{

    #   192.168.62.100 dev eth0:0

    #}

 

    #nopreempt  #不抢占，去掉前面的#则生效，仅用与BACKUP上，当MASTER失效后，BackUP生效，但当Master重新生效后，面临的问题是继续成为Master还是BACKUP，发生了变化 Master ->BACKup,再到BACKup -> Master，这样的切换开销很大，我们希望新生效的Master成为BackUP,不进行抢占，但此时必须修改原先master的状态为BACKUP，即此时存在2个UPBACK,此时通过priority的值高的就是Master。
}

#虚拟LVS代理80端口
virtual_server 192.168.62.100 8080 {
    delay_loop 6
    lb_algo wrr #压力最小轮询
    lb_kind DR #LVS的路由模式
    nat_mask 255.255.255.0
    persistence_timeout 10
    protocol TCP #指定转发协议，TCP OR UDP

    #真实服务器1
    real_server 192.168.62.133 8080 {
        weight 5 #权重,越大越高
        TCP_CHECK {#relserve的状态检测设置部分，单位是秒
            connect_timeout 10 #表示10秒无响应超时
            nb_get_retry 3     #表示重试次数
            dealy_before_retry 3  #表示重试间隔
            connect_port 8080
         }
    }

   #真实服务器2
   real_server 192.168.62.134 8080 {
    weight 1 #权重,越大越高，依据机器配置来设置
    TCP_CHECK {#relserve的状态检测设置部分，单位是秒
        connect_timeout 10 #表示10秒无响应超时
        nb_get_retry 3     #表示重试次数
        dealy_before_retry 3  #表示重试间隔
        connect_port 8080
     }
  }
}

 

2、配置完毕后，重启 service keepalived restart

3、查看LVS的负载生效情况：ipvsadm -ln 可以看到

IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.62.100:8080 wrr persistent 10
  -> 192.168.62.134:8080          Route   1      0          0
  -> 192.168.62.133:8080          Route   5      0          0

 

4、网络设置

    1)、LVS服务器 (此步应该是不需要执行的)

        ifconfig eth0 192.168.62.130 //(DIP)
        ifconfig eth0:0 192.168.62.100 //(VIP)，这个VIP通过防火墙映射到公网IP
        route add -host 192.168.62.100 dev eth0:0 //让发往192.168.62.100的请求都经过eth0:0

    2)、RelServer 1-N个服务器的配置，每个都要执行下
         使用root用户，在任意目录下建议lvs_real.sh文件，将如下文字拷贝进去

#!/bin/bash 

#Description: Config realserver script
SNS_VIP=192.168.62.100 #对应LVS服务器的VIP
/etc/rc.d/init.d/functions
 
case "$1" in
start)
       /sbin/ifconfig lo:0 $SNS_VIP netmask 255.255.255.255 broadcast $SNS_VIP
       /sbin/route add -host $SNS_VIP dev lo:0
       echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
       echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
       echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
       echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
       sysctl -p >/dev/null 2>&1
       echo "RealServer NETWork OK"
 
       ;;
stop)
       /sbin/ifconfig lo:0 down
       /sbin/route del $SNS_VIP >/dev/null 2>&1
       echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
       echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
       echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
       echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
       echo "RealServer Stoped"
       ;;
*)
       echo "Usage: $0 {start|stop}"
       exit 1
esac 
exit 0
#---------------------------------

给予可执行权限：
chmod 755 ./lvs_real.sh

启动脚本：
./lvs_real.sh start :

 

 

四、其中LVS是存在单点故障的，即如果LVS服务器挂了，此时无论服务是否生效，都不能访问真实的服务器。

      因此，需要实现LVS的双机热备，Master LVS挂了后，自动切换到BACKUP LVS.

      LVS的BACKUP，只是修改keepalived.conf中的state MASTER 为 BACKUP，同时把priority 100的值设置为 priority 49，至少50的差距。

 

 

五、监控：

1、sudo watch ipvsadm -ln  查看lvs服务是否正常，包括活动链接。此命令动态监控LVS的连接和realServer的健康状况。

1、sudo watch ipvsadm -lcn|grep 192.168.62.100 此命令可以实时看到分发的情况，非常有效

2、查看LVS的吞吐量情况:watch ipvsadm -L -n --rate   #此功能非常有效，可以实时看到LVS在各个真实部件的分发情况

3、sudo watch ipvsadm -lcn 此命令动态监控终端连接过来后，LVS的处理状态，连接失败等

4、实时查看LVS连接状态变化: watch ipvsadm -ln

6、查看LVS的连接情况:ipvsadm -L -n

7、查看LVS的统计信息:ipvsadm -L -n --stats