LVS+Keeplived+dns+http备忘

本文主要讲解LVS结合keepalived和dns实现高可用，主要实现调度器和RealServer的高可用。主调度器如果出现宕机等情况，利用 keepalived的心跳监测会自动把VIP和router转移到备调度器，当一台RealServer出现故障的时候自动从LVS负载中剔除，恢复之 后自动加入。以下为本次实验架构图

配置

系统环境：

• Ubuntu Server 12.04 amd64
• ESXi 5.1 虚拟机

具体的IP配置，按照图示配置即可，这里不再说明。

Router规则添加

---

iptables -t nat -A PREROUTING -p udp --dport 53 -j DNAT --to 192.168.0.10
iptables -t nat -A PREROUTING -p tcp --dport 80 -j DNAT --to 192.168.0.10

---

RealServer服务器

RealServer的配置基本类似，web和dns配置这里不作说明，以RealServer1为例

---

apt-get install arptables

arptables -A INPUT -d 192.168.0.10 -j DROP
arptables -A OUTPUT -s 192.168.0.10 -j mangle --mangle-ip-s 192.168.1.11

---

关于arptables的用法可以参见 ​http://kb.linuxvirtualserver.org/wiki/Using_arptables_to_disable_ARP

• arptables -A IN -d $VIP -j DROP
• arptables -A OUT -s $VIP -j mangle --mangle-ip-s $RIP

keepalived 配置

这里以主调度器为例：

---

apt-get install keepalived
apt-get install ipvsadm
cp /usr/share/doc/keepalived/samples/keepalived.conf.sample /etc/keepalived/keepalived.conf

---

作为对比配置中同时加入了http的配置

---

cat /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {
    state MASTER 
    interface eth0
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.0.10/24
    }
    virtual_routes {
        via 192.168.0.100 dev eth0
    }
}

virtual_server 192.168.0.10 80 {
    delay_loop 6
    lb_algo rr
    lb_kind DR 
    protocol TCP

    real_server 192.168.0.11 80 {
        weight 1
        TCP_CHECK
        {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }

    real_server 192.168.0.12 80 {
        weight 1
        TCP_CHECK       
        {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
}

virtual_server 192.168.0.10 53 {
    delay_loop 6
    lb_algo rr
    lb_kind DR 
    protocol UDP 

    real_server 192.168.0.11 53 {
        weight 1
        MISC_CHECK      
        {
            connect_timeout 3
            misc_path "/etc/keepalived/dnscheck.sh -h 192.168.0.11"
        }
    }
    real_server 192.168.0.12 53 {
        weight 1
        MISC_CHECK      
        {
            connect_timeout 3
            misc_path "/etc/keepalived/dnscheck.sh -h 192.168.0.12"
        }

}

---

---

注：如果同时有http和dns服务，一定要把http配置放在dns配置之前，笔者在测试过程中一开始是把dns配置写在http配置之前，导致lvs配置失败！

---

如果细心的话，你会发现keepalived配置文件中http和dns的检查方式是不同的。keepalived的健康检查方式 有：HTTP_GET|SSL_GET|TCP_CHECK|SMTP_CHECK|MISC_CHECK，但是自带没有UDP相关的检查方式，所以需要 自己编写DNS检测脚本，使用MISC_CHECK外部调用脚本，编写DNS脚本赋予执行权限存放在/etc/keepalived/下，内容如下：

---

cat /etc/keepalived/dnscheck.sh 
#!/bin/bash
# dns zone文件中加入了AaBbCcDdEeFf的txt记录
domain="txt.qq.com"
[ $# -le 1 ] && { echo "usage: ${0} -h <ip>"; exit 126; }
while getopts "h:" OPT;do
        case $OPT in 
                h)host=$OPTARG;;
                *)echo "usage: $0 -h <ip>" && exit 1;;
        esac
done

dig @${host} txt ${domain} +time=1 | grep "\<AaBbCcDdEeFf\>" >/dev/null
exit $?

---

完成主调度器配置之后，相应的在备调度器安装keepalived和ipvsadm，然后把主调度器keepalived配置文件、检测脚本拷贝到备调度器，修改以下两个位置：

• state BACKUP
• priority 99

分别启动主备keepalived

service keepalived start

检查是否配置成功

---

ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.0.10:80 rr
  -> 192.168.0.11:80              Route   1      0          0         
  -> 192.168.0.12:80              Route   1      0          0         
UDP  192.168.0.10:53 rr
  -> 192.168.0.11:53              Route   1      0          0        
  -> 192.168.0.12:53              Route   1      0          0 

ip addr show dev eth0
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:7d:f7:5a brd ff:ff:ff:ff:ff:ff
    inet 192.168.0.20/24 brd 192.168.0.255 scope global eth0
    inet 192.168.0.10/24 scope global secondary eth0
    inet6 fe80::20c:29ff:fe7d:f75a/64 scope link 
       valid_lft forever preferred_lft forever

---

如果vip和lvs规则都已加载，表示配置已经成功，备采用类似方法查看，备调度器只有lvs规则而没有vip

测试

以上配置完成之后就可以在客户端测试，测试效果省略，以下为测试方法

1、正常测试服务是否正常

dns:

dig @10.2.0.110 domain.com

web:

elinks --dump 10.2.0.110

2、测试完成之后，停掉一台RealServer机器，主DR调度器上使用如下方法监控

watch -n 1 ipvsadm -L -n

观看lvs规则是否自动剔除停掉的RealServer，再打开停掉的RealServer，就会发现主调度器自动会加入恢复的RealServer

3、停掉主调度器，如果一切正常，备调度器就会接管vip替代主调度器的位置

参考文档：​https://gist.github.com/antonlindstrom/1099202#file-dnscheck-L11