LVS_DR 实验

实验拓扑

IP分配

client 192.168.30.1

Router e0/0 10.0.0.123

e0/1 192.168.30.200 (网关)

Director eth0： 192.168.30.105

eth0:1 192.168.30.254 (VIP)

Real 1 lo:1 192.168.30.254 (VIP)

eth0 192.168.30.113

Real 2 lo:1 192.168.30.254 (VIP)

eth0 192.168.30.114

注意：由于是用DR方式做负载均衡的，所以Real server 都要配置vip，并且指向路由器e0/1作为网关

一、路由器配置

路由器配置比较简单，只需要配置两个接口地址即可。

Router>en

Router#conf t

Router(config)#int e0/1

Router(config-if)#ip addr 10.0.0.123 255.255.255.0

Router(config-if)#no shutdown

Router(config)#int e0/0

Router(config-if)#ip address 192.168.30.200 255.255.255.0

Router(config-if)#no shutdown

二、配置Real 服务器

1、主页服务

由于前面的实验中已经配置好，这里就不再重复

2、配置VIP 地址

这里以第一台Real server 为例：

配置RIP

[root@node1 ~]# ifconfig eth0 192.168.30.113/24

配置VIP

[root@node1 ~]# ifconfig lo:1 192.168.30.254 netmask 255.255.255.255 broadcast 192.168.30.254

3、配置网关

[root@node1 ~]# route add -host 192.168.30.254 dev lo:1

[root@node1 ~]# route add default gw 192.168.30.200

[root@node2 ~]# route add -host 192.168.30.254 dev lo:1

[root@node2 ~]# route add default gw 192.168.30.200

[root@node1 ~]# route

Kernel IP routing table

Destination Gateway Genmask Flags Metric Ref Use Iface

192.168.30.254 * 255.255.255.255 UH 0 0 0 lo

192.168.30.0 * 255.255.255.0 U 0 0 0 eth0

link-local * 255.255.0.0 U 1002 0 0 eth0

default 192.168.30.200 0.0.0.0 UG 0 0 0 eth0

三、配置Director 服务器

1、配置IP

[root@server ~]# ifconfig eth0 192.168.30.105/24

[root@server ~]# ifconfig eth0:1 192.168.30.254 netmask 255.255.255.255 broadcast 192.168.30.254

2、配置网关

[root@server ~]# route add default gw 192.168.30.200

[root@server ~]# route add -host 192.168.30.254 dev eth0:1

[root@server ~]# route

Kernel IP routing table

Destination Gateway Genmask Flags Metric Ref Use Iface

192.168.30.254 * 255.255.255.255 UH 0 0 0 eth0

192.168.30.0 * 255.255.255.0 U 0 0 0 eth0

link-local * 255.255.0.0 U 1002 0 0 eth0

default 192.168.30.200 0.0.0.0 UG 0 0 0 eth0

3、配置lvs

[root@server ~]# ipvsadm -A -t 192.168.30.254:80 -s rr

[root@server ~]# ipvsadm -a -t 192.168.30.254:80 -r 192.168.30.113 -g

[root@server ~]# ipvsadm -a -t 192.168.30.254:80 -r 192.168.30.114 -g

4、设置不允许ARP包发送

[root@node1 ~]# echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore

[root@node1 ~]# echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce

[root@node1 ~]# echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore

[root@node1 ~]# echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

[root@node1 ~]#sysctl -p

[root@node2 ~]# echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore

[root@node2 ~]# echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce

[root@node2 ~]# echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore

[root@node2 ~]# echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

[root@node2 ~]#sysctl -p

// arp_ignore=1 系统只回答目的IP 为本地IP 的包（也就是对广播包不做响应）

// arp_announce=2 系统忽略IP 包的源地址，而根据目标主机，选择本地地址

arp_ignore : INTEGER 定义对目标地址为本地IP的ARP询问不同的应答模式，默认为0

0 ： 回应任何网络接口上对任何本地IP地址的arp 查询请求

比如eth0=192.168.0.1/24，eth1=10.1.1.1/24 那么即使eth0 收到来自10.1.1.2 这样地址发起的对10.1.1.1 的arp查询也会回应，而原本这个请求该是出现在eth1上，也该由eth1 回应的。

1： 只回答目标IP地址是来访网络接口本地地址的ARP查询请求，且来访IP必须在该网络接口的子网段内

比如eth0=192.168.0.1/24，eth1=10.1.1.1/24,eth1 收到来自10.1.1.2 这样地址发起的对192.168.0.1的查询不会回答，而对192.168.0.2 发起的对192.168.0.1 的ARP 查询会回应。

2 ： 不回应该网络接口的ARP请求，而只对设置的唯一和连接地址做出回应

注意：

如果是通过路由器连接的，那么对于每个Real Server 服务器改变后，客户端的浏览器里可能还会只显示其中一台Real 服务器的主页，原因是router 还保存着旧的ARP对应关系，所以要清除一下router 的缓存，执行如下命令：

Router# clear arp-cache

经过客户端几次访问后，在router上便看不到同一个MAC即对应Director 又对应Real Server

[root@server ~]# ipvsadm -L -n

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

-> RemoteAddress:Port Forward Weight ActiveConn InActConn

TCP 192.168.30.254:80 rr

-> 192.168.30.113:80 Route 1 0 22

-> 192.168.30.114:80 Route 1 1 22

Real Server 还有Director 的配置也可以写成shell脚本

===========Director=========

#!/bin/bash

# description: start LVS of Director Server

GW=192.168.30.1

# website director vip

VIP=192.168.30.254

DIP=192.168.30.105

RIP1=192.168.30.111

RIP2=192.168.30.112

RIP3=192.168.30.113

RIP4=192.168.30.114

/etc/rc.d/init.d/functions

logger $0 called with $1

case "$1" in

start)

/sbin/ipvsadm --set 30 5 60

/sbin/ip addr add dev eth1 $DIP

/sbin/ip link set dev eth1 up

/sbin/ip addr add dev eth0 $VIP brd $VIP

/sbin/ip link set dev eth0 up

/sbin/ip route add default via $GW

/sbin/ipvsadm -A -t $VIP:80 -S wrr

/sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -g -w 1

/sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -g -w 1

/sbin/ipvsadm -a -t $VIP:80 -r $RIP3:80 -g -w 2

/sbin/ipvsadm -a -t $VIP:80 -r $RIP4:80 -g -w 2

touch /var/locak/subsys/ipvsadm > /dev/null 2>&1

/sbin/arping -I eth0 -c 5 -s $VIPO $GW > /dev/null 2>&1

;;

stop)

/sbin/ipvsadm -C

/sbin/ipvsadm -Z

/sbin/ip link set dev eth0 down

/sbin/ip link set dev eth1 down

rm -rf /var/lock/subsys/ipvsadm >/dev/null 2>&1

echo "ipvsadm stoped"

;;

status)

if[ ! -e /var/lock/subsys/ipvsadm ];then

echo "ipvsadm stoppd"

exit 1

/sbin/ip route add default via $GW

/sbin/ipvsadm -A -t $VIP:80 -S wrr

/sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -g -w 1

/sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -g -w 1

/sbin/ipvsadm -a -t $VIP:80 -r $RIP3:80 -g -w 2

/sbin/ipvsadm -a -t $VIP:80 -r $RIP4:80 -g -w 2

touch /var/locak/subsys/ipvsadm > /dev/null 2>&1

/sbin/arping -I eth0 -c 5 -s $VIPO $GW > /dev/null 2>&1

;;

stop)

/sbin/ipvsadm -C

/sbin/ipvsadm -Z

/sbin/ip link set dev eth0 down

/sbin/ip link set dev eth1 down

rm -rf /var/lock/subsys/ipvsadm >/dev/null 2>&1

echo "ipvsadm stoped"

;;

status)

if[ ! -e /var/lock/subsys/ipvsadm ];then

echo "ipvsadm stoppd"

exit 1

else

echo "ipvsadm ok"

fi

;;

*)

echo "Usage: $0 {start|stop|stauts}"

exit 1

esac

exit 0

===========Real Server=========

#!/bin/bash

# description:Config real server lo and apply noarp

VIP=192.168.30.254

case "$1" in

start)

/sbin/ip addr add dev lo $VIP brd $VIP

echo "1" > /proc/sys/net/ipv4/conf/eth0/arp_ignore

echo "2" > /proc/sys/net/ipv4/conf/eth0/arp_announce

echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore

echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce

;;

stop)

/sbin/ip link set dev lo down

echo "0" > /proc/sys/net/ipv4/conf/eth0/arp_ignore

echo "0" > /proc/sys/net/ipv4/conf/eth0/arp_announce

echo "0" > /proc/sys/net/ipv4/conf/all/arp_ignore

echo "0" > /proc/sys/net/ipv4/conf/all/arp_announce

;;

*)

echo "Usage:$0 {start|stop}"

exit 1

esac

exit 0

小结：

• 配置比较复杂，原理不太好理解

• 工作环境中用的最多

• 在DR调试模式下，最好在搭建完Real 上的服务后，就把ARP广播限制住

• 由于Director本身不处理请求，而是后端Real Server直接处理，并通过路由表直接回应客户端，所以Director本身并不会成为瓶颈