利用LVS+Keepalived 实现高性能高可用负载均衡

好久没有学习和研究过什么了，因为公司需要不得不亲手搭建LVS有负载均衡服务器，在同事的指导下终于完成自己实际环境中的LVS的配置，结合参考过资料修改一篇亲手布署的文档做为学习笔记！

利用LVS+Keepalived 实现高性能高可用负载均衡

 

   背景:

       随着你的网站业务量的增长你网站的服务器压力越来越大？需要负载均衡方案！商业的硬件如F5又太贵，你们又是创业型互联公司如何有效节约成本，节省不必要的浪费？同时实现商业硬件一样的高性能高可用的功能？有什么好的负载均衡可伸张可扩展的方案吗？答案是肯定的！有！我们利用LVS+Keepalived基于完整开源软件的架构可以为你提供一个负载均衡及高可用的服务器。

 

一．            LVS+Keepalived 介绍

1.      LVS

LVS是Linux Virtual Server的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统。本项目在1998年5月由章文嵩博士成立，是中国国内最早出现的自由软件项目之一。目前有三种IP负载均衡技术（VS/NAT、VS/TUN和VS/DR）；

八种调度算法（rr,wrr,lc,wlc,lblc,lblcr,dh,sh）。

 

2.      Keepalvied

       Keepalived在这里主要用作RealServer的健康状态检查以及LoadBalance主机和BackUP主机之间failover的实现，这里配置主要实现方式为DR模式。

 

二. 网站负载均衡拓朴图

三、配置IP

LVS（master）增加一片网卡： eth0:192.168.100.168

LVS（backup）增加一片网卡： eh0:192.168.100.169

对内虚拟IP：192.168.100.133

如果不通过keepalived来添加虚拟IP实现需要向LVS服务中添加，ARP的静态路由地址:

arp -s 192.168.100.112 E8:39:35:27:A5:0C  RS服务器的IP和MAC地址

 

对于RS服务器需要添加路由配置(192.168.100.110，192.168.100.112)

ifconfig lo:0 192.168.100.133 broadcast192.168.100.133 netmask 255.255.255.255 up

 

四. 安装LVS和Keepalvied软件包

 

     #lsmod | rep ip_vs

#uname -r

显示2.6.18-53.el5PAE

#ln -s/usr/src/kernels/2.6.18-53.el5PAE-i686/ /usr/src/linux

 

#tar zxvfipvsadm-1.24.tar.gz

#cd ipvsadm-1.24

#make all && make install(安装相关包：gcc*)

#find / -name ipvsadm  # 查看ipvsadm的位置

 

#tar zxvf keepalived-1.2.4.tar.gz

#cd keepalived-1.2.4

#./configure(提示安装openssl*)

# make && make install

#find / -name keepalived  # 查看keepalived位置         

在编译过程可能出现错误的情况，但可以通过修改keepalived-1.2.4/keepalived/libipvs-2.6/ip_vs.h 添加#include <asm/types.h>头文件来解决

 

#cp /usr/local/etc/rc.d/init.d/keepalived/etc/rc.d/init.d/

#cp /usr/local/etc/sysconfig/keepalived/etc/sysconfig/

#mkdir /etc/keepalived

#cp/usr/local/etc/keepalived/keepalived.conf /etc/keepalived/

#cp /usr/local/sbin/keepalived /usr/sbin/

#chkconfig —addkeepalived

#chkconfig keepalived on

 

五. 配置LVS

在LVS机上配置（两台都要配置）

    ＃vim /usr/local/sbin/lvsdr.sh

#!/bin/bash

VIP=192.168.100.133

RIP1=192.168.100.110

RIP2=192.168.100.112

/etc/rc.d/init.d/functions

case "$1" in

start)

      echo "start LVS of DirectorServer"

      /sbin/ipvsadm -C

       /sbin/ipvsadm -A -t $VIP:7008 -s rr

       /sbin/ipvsadm -a -t $VIP:7008 -r $RIP1:7008-m -w 1

       /sbin/ipvsadm -a -t $VIP:7008 -r $RIP2:7008-m -w 1

      /sbin/ipvsadm

;;

stop)

echo "Close LVS Directorserver"

/sbin/ifconfig eth0:1 down

/sbin/ipvsadm -C

;;

*)

echo "Usage0{start|stop}"

exit 1

esac

 

六. 利用Keepalvied实现负载均衡和和高可用性

1．主LVS上：192.168.100.168

global_defs {

  router_id LVS_DEVEL

}

vrrp_instance VI_1 {

   state MASTER

   interface eth1

   virtual_router_id 51

   priority100

   advert_int 1

   authentication {

       auth_type PASS

        auth_pass 1111

   }

   virtual_ipaddress {

       192.168.100.133        #要指定子网掩码

   }

}

virtual_server 192.168.100.133 7008 {

    delay_loop 6

    lb_algo rr

    lb_kind DR

     persistence_timeout 50

   protocol TCP

      real_server 192.168.100.110 7008 {

              weight 1

                TCP_CHECK {

                   connect_timeout 3

                   nb_get_retry 3

                   delay_before_retry 3

              }

        }

         real_server 192.168.100.112 7008 {

             weight 1

                TCP_CHECK {

                   connect_timeout 3

                   nb_get_retry 3

                   delay_before_retry 3

              }

    }

}

     

2．从LVS：192.168.100.169

global_defs {

   router_id LVS_DEVEL

}

vrrp_instanceVI_1 {

    stateBACKUP

    interface eth1

    virtual_router_id 51

    priority90

    advert_int 1

    authentication {

        auth_type PASS

        auth_pass 1111

    }

    virtual_ipaddress {

        192.168.100.133

    }

}

virtual_server 192.168.100.1337008 {

    delay_loop 6

    lb_algo rr

    lb_kind DR

    persistence_timeout 50

    protocol TCP

    real_server 192.168.100.110 7008 {

        weight 1

          TCP_CHECK {

             connect_timeout 3

             nb_get_retry 3

             delay_before_retry 3

        }

    }

    real_server 192.168.100.112 7008 {

        weight 1

          TCP_CHECK {

             connect_timeout 3

             nb_get_retry 3

             delay_before_retry 3

        }

  }

}

 

3.开启IP转发

＃vim/etc/sysctl.conf

    net.ipv4.ip_forward=1

 

七、配置RS服务（192.168.100.110和192.168.100.112）

1.      配置IP转发功能

＃vim/etc/sysctl.conf

    net.ipv4.ip_forward=1

    net.ipv4.conf.lo.arp_ignore= 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2

2.  配置网关

＃将虚拟IP添加真实服务器网卡，处理arp的虚拟地址

ifconfig lo:0 192.168.100.133 broadcast 192.168.100.133netmask 255.255.255.255 up

echo "1">/proc/sys/net/ipv4/conf/lo/arp_ignore

echo "2">/proc/sys/net/ipv4/conf/lo/arp_announce

echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore

echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

＃servicenetwork restart

 

arp_announce:INTEGER不同取值表示对网络接口上本地IP地址发出的ARP回应作出相应级别的限制：相关代码在默认为0 
确定不同程度的限制,宣布对来自本地源IP地址发出Arp请求的接口 
0 - (默认) 在任意网络接口上的任何本地地址

1 -尽量避免不在该网络接口子网段的本地地址.当发起ARP请求的源IP地址是被设置应该经由路由达到此网络接口的时候很有用.此时会检查来访IP是否为所有接口上的子网段内ip之一.如果该来访IP不属于各个网络接口上的子网段内,那么将采用级别2的方式来进行处理.

2 - 对查询目标使用最适当的本地地址.在此模式下将忽略这个IP数据包的源地址并尝试选择与能与该地址通信的本地地址.首要是选择所有的网络接口的子网中外出访问子网中包含该目标IP地址的本地地址.如果没有合适的地址被发现,将选择当前的发送网络接口或其他的有可能接受到该ARP回应的网络接口来进行发送；
当内网的机器要发送一个到外部的ip包，那么它就会请求路由器的Mac地址，发送一个arp请求，这个arp请求里面包括了自己的ip地址和Mac地址，而linux默认是使用ip的源ip地址作为arp里面的源ip地址，而不是使用发送设备上面的，如果设置 arp_announce 为2，则使用发送设备上的ip。

arp_ignore : INTEGER 定义对目标地址为本地IP的ARP询问不同的应答模式，相关代码在arp_announce函数中默认为0 
0 - (默认值): 回应任何网络接口上对任何本地IP地址的arp查询请求（比如eth0=192.168.0.1/24,eth1=10.1.1.1/24,那么即使 eth0收到来自10.1.1.2这样地址发起的对10.1.1.1的arp查询也会回应--而原本这个请求该是出现在eth1上，也该由eth1回应的）

1 - 只回答目标IP地址是来访网络接口本地地址的ARP查询请求（比如eth0=192.168.0.1/24,eth1=10.1.1.1/24,那么即使 eth0收到来自10.1.1.2这样地址发起的对192.168.0.1的查询会回答，而对10.1.1.1的arp查询不会回应）

2 -只回答目标IP地址是来访网络接口本地地址的ARP查询请求,且来访IP必须在该网络接口的子网段内（比如eth0=192.168.0.1/24,eth1=10.1.1.1/24,eth1收到来自10.1.1.2这样地址发起的对192.168.0.1的查询不会回答，而对192.168.0.2发起的对192.168.0.1的arp查询会回应）

3 - 不回应该网络界面的arp请求，而只对设置的唯一和连接地址做出回应(do not reply for localaddresses configured with scope host,only resolutions for global and linkaddresses are replied )

4-7 -保留未使用 
8 -不回应所有（本地地址）的arp查询

 

八、启动服务

＃/usr/local/sbin/lvsdr.sh start （把这条语句写到/etc/rc.local中，开机启动）

＃/etc/init.d/keepalivedstart  启动keepalived 服务，keepalived就能利用keepalived.conf 配置文件，实现负载均衡和高可用.

 

九、测试

1.      ＃ ip addr show

eth0: <BROADCAST,MULTICAST,UP,LOWER_UP>    mtu  1500  qdisc pfifo_fast qlen 1000

       link/ether 00:0c:29:9d:db:59 brd ff:ff:ff:ff:ff:ff

       inet 192.168.100.168/24 brd 172.24.0.255scope global eth0

       inet 192.168.100.133/32 scope global eth0

       inet6 fe80::20c:29ff:fe9d:db59/64 scope link

          valid_lft forever preferred_lft forever

   ………

最后把主机宕机，到从机上使用ipaddr show 查看，同上则OK。同时还需要用浏览器来测试。

 

2. 查看lvs服务是否正常

 #watch ipvsadm –ln

IP VirtualServer version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

TCP  192.168.100.168:7008 wrrpersistent 60

  -> 192.168.100.110:7008             Route   3     0          0

  -> 192.168.100.112:7008             Route   3     0          0

 

 #tail –f /var/log/message  监听日志，查看状态。

 

3．将一台web 服务器关闭，然后在LVS 上用ipvsadm 命令查看，关闭的服务器应该从

lvs集群中剔除了，再将关闭的服务器启动起来，用ipvsadm查看，又回来了。

配置完成后，试着添加UDP的服务器测试，但发现UDP的端口数据接入正常，但是从UDP返回数据时就不能够返回了，抓包分析，原来UDP进的IP与出的IP的地址不一致的导致，所以虚拟IP的UDP的端口绑到真实机器的UDP的端口就可以实现UDP的数据收发了

RS服务器（192.168.100.112）执行如下操作，将192.168.100.112 udp 7008端口绑定到 192.168.100.133就可以了

iptables -t nat -A PREROUTING -d 192.168.100.133/32 -p udp -m udp --dport 7008 -j DNAT --to-destination 192.168.100.112

iptables -t nat -A POSTROUTING -p udp -m udp --sport 7008 -j SNAT --to-source 192.168.100.133

RS服务器（192.168.100.110）也同上述112操作