LVS集群有DR、TUN、NAT三种配置模式,可以对www服务、FTP服务、MAIL服务等做负载均衡,下面通过搭建www服务的负载均衡实例,讲述基于DR模式的LVS集群配置。
一、
在Director Server上配置LVS负载均衡集群,有两种方法:
1、通过ipvsadm命令行方式配置LVS
安装IPVS后,就可以配置LVS集群了,首先在Director Server上绑定一个虚拟IP(也叫VIP),此IP用于对外提供服务,执行如下命令:
[root@localhost ~]#ifconfig eth0:0 192.168.60.200 broadcast 192.168.60.200 \
此处在eth0设备上绑定了一个虚拟设备eth0:0,同时设置了一个虚拟IP是192.168.60.200,也就是上面我们规划的IP地址,然后指定广播地址也为192.168.60.200,需要特别注意的是,这里的子网掩码为255.255.255.255。
然后给设备eth0:0指定一条路由,执行如下指令:
[root@localhost ~]#route add -host 192.168.60.200 dev eth0:0
接着启用系统的包转发功能,从而使系统充当路由器,执行如下指令:
[root@localhost ~]#echo "1" >/proc/sys/net/ipv4/ip_forward
指令中,参数值为1时启用ip转发,为0时禁止ip转发。其实在DR模式中,开启系统的包转发功能不是必须的,而在NAT模式下此操作是必须的。
然后开始配置ipvs,执行如下操作:
[root@localhost ~]#ipvsadm -C
[root@localhost ~]#ipvsadm -A -t 192.168.60.200:80 -s rr -p 600
[root@localhost ~]#ipvsadm -a -t 192.168.60.200:80 -r 192.168.60.132:80 -g
[root@localhost ~]#ipvsadm -a -t 192.168.60.200:80 -r 192.168.60.144:80 -g
上面操作中,第一行是清除内核虚拟服务器列表中的所有记录,第二行是添加一条新的虚拟IP记录。这个新的IP是192.168.60.200,同时指定持续服务时间为600秒。第三、四行是在新加虚拟IP记录中添加两条新的Real Server记录,并且指定LVS 的工作模式为直接路由模式。
最后,启动LVS服务,执行如下操作:
[root@localhost ~]#ipvsadm
这样,LVS在Director Server上的配置就完成了。
为了管理和配置的方便,可以将上面的操作写出一个脚本文件,脚本内容如下:
#!/bin/bash
VIP=192.168.60.200
RIP1=192.168.60.132
RIP2=192.168.60.144
GW=192.168.60.1
# set the Virtual IP Address
/sbin/ifconfig eth0:0 $VIP broadcast $VIP netmask 255.255.255.255 up
/sbin/route add -host $VIP dev eth0:0
echo "1" >/proc/sys/net/ipv4/ip_forward
#Clear IPVS table
/sbin/ipvsadm -C
#set LVS
/sbin/ipvsadm -A -t $VIP:80 -s rr -p 600
/sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -g
/sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -g
#Run LVS
/sbin/ipvsadm
#end
也可以写成可启动与停止的服务脚本,脚本内容如下:
#!/bin/sh
# description: Start LVS of Director server
VIP=192.168.60.200
RIP1=192.168.60.132
RIP2=192.168.60.144
./etc/rc.d/init.d/functions
case "$1" in
# set the Virtual
#Clear IPVS table
#set LVS
/sbin/ipvsadm -A -t $VIP:80 -s rr -p 600
/sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -g
/sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -g
#Run LVS
esac
将此脚本命名为lvsDR文件,然后把文件放到/etc/init.d下,执行:
[root@localhost ~]#chomd 755 /etc/init.d/lvsDR
最后可以通过下面命令启动或停止LVS服务:
service lvsDR {start|stop}
到此为止,命令行方式配置Director Server完毕。
2、通过Redhat提供的工具piranha来配置LVS
[root@localhost ~]#rpm –ivh piranha-0.8.2-1.i386.rpm
Piranha安装完毕后,会产生/etc/sysconfig/ha/lvs.cf文件,默认此文件是空的,可以通过Piranha提供的web界面配置此文件,也可以直接手动编辑此文件,编辑好的lvs.cf文件内容类似如下,注意,“#”号后面的内容为注释。
[root@localhost ~]# more /etc/sysconfig/ha/lvs.cf
serial_no = 18
primary = 192.168.60.56
service = lvs
backup_active = 0
backup = 0.0.0.0
heartbeat = 0
heartbeat_port = 539
keepalive = 5
deadtime = 10
Server就会接管主Director Server的服务。
network = direct
debug_level = NONE
virtual
active = 1
address = 192.168.60.200 eth0:0
port = 80
send = "GET / HTTP/1.0\r\n\r\n"
expect = "HTTP"
use_regex = 0
load_monitor = none
scheduler = rr
protocol = tcp
timeout = 6
reentry = 15
quiesce_server = 0
为零,因此LVS会发送大量请求到此服务节点,造成新的节点服务阻塞,
建议设置为0。
server RS1 {
address = 192.168.60.132
active = 1
weight = 1
}
server RS2 {
address = 192.168.60.144
active = 1
weight = 1
}
}
编辑完成,然后启动pulse服务,即启动lvs服务
[root@localhost ~]#service pulse start
同理,此种方式下也要启用系统的包转发功能:
[root@localhost ~]#echo "1" >/proc/sys/net/ipv4/ip_forward
到此为止,Piranha工具方式配置Director Server完毕。
二、Real server 的配置
在lvs的DR和TUn模式下,用户的访问请求到达真实服务器后,是直接返回给用户的,而不再经过前端的Director Server,因此,就需要在每个Real server节点上增加虚拟的VIP地址,这样数据才能直接返回给用户,增加VIP地址的操作可以通过创建脚本的方式来实现,创建文件/etc/init.d/lvsrs,脚本内容如下:
#!/bin/bash
VIP=192.168.60.200
/sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up
/sbin/route add -host $VIP dev lo:0
echo “1″ >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo “2″ >/proc/sys/net/ipv4/conf/lo/arp_announce
echo “1″ >/proc/sys/net/ipv4/conf/all/arp_ignore
echo “2″ >/proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p
#end
此操作是在回环设备上绑定了一个虚拟IP地址,并设定其子网掩码为255.255.255.255,与Director Server上的虚拟IP保持互通,然后禁止了本机的ARP请求。
上面脚本也可以写成可启动与停止的服务脚本,内容如下:
[root@localhost ~]#more /etc/init.d/lvsrs
#!/bin/bash
#description : Start Real Server
VIP=192.168.60.200
./etc/rc.d/init.d/functions
case "$1" in
esac
然后,修改lvsrs有可执行权限:
[root@localhost ~]#chomd 755 /etc/init.d/lvsrs
最后,可以通过下面命令启动或关闭lvsrs
service lvsrs {start|stop}
由于虚拟ip,也就是上面的VIP地址,是Director Server和所有的Real server共享的,如果有ARP请求VIP地址时,Director Server与所有Real server都做应答的话,就出现问题了,因此,需要禁止Real server响应ARP请求。而lvsrs脚本的作用就是使Real Server不响应arp请求。
对于2.4以下低版本,在Real Server上要安装ARP hidden内核补丁,幸运的是,在2.6内核中通过调整内核参数即可忽略ARP广播回应。
三、在Director上配置冗余策略 Ldirectord
Ldirectord的作用是监测Real Server,当Real Server失效时,把它从虚拟服务器列表中删除,恢复时重新添加到列表,在前面文章介绍heartbeat时默认已经安装了Ldirectord,因此。这里只需进行配置即可。Ldirectord的配置文件是/etc/ha.d/ldirectord.cf。
下面是需要配置的选项,注意,“#”号后面的内容为注释:
# Global Directives
checktimeout=20
checkinterval=10
fallback=127.0.0.1:80
autoreload=yes
logfile="/var/log/ldirectord.log"
quiescent=no
注意:以上几行为ldirectord.cf文件的“全局”设置,它们可以应用到下面多个虚拟主机,下面是每个虚拟主机的配置。
# Sample for an http virtual service
virtual=192.168.60.200:80
须缩进4个空格或以一个tab字符进行标记。
real=192.168.60.132:80 gate
用gate表示DR模式,ipip表示TUNL模式,masq表示NAT模式。
real=192.168.60.144:80 gate
fallback=127.0.0.1:80 gate
service=http
request="index.html"
的请求路径,发送访问请求,检查Real Server上的服务是否正
常运行,确保这里给出的页面地址是可访问的,不然ldirectord
会误认为此节点已经失效,发生错误监控现象。
receive="Test Page"
scheduler=rr
protocol=tcp
checktype=negotiate
checkport=80
virtualhost=www.gaojf.com
配置完毕,就可以执行如下命令启动或关闭ldirectord服务
/etc/init.d/ldirectord {start|stop}
Ldirectord的核心作用是监控Real Server节点状态,同时,它还能调用ipvsadm自动创建LVS路由表,这点从ldirectord.cf中可以看出,
这里需要说明的是,ldirectord和Piranha都具有监控Real Server的功能,如果要通过ldirectord监控节点状态,只需启动ldirectord服务,整个集群系统就可以运行起来,而无需执行上面我们配置的LVS脚本,因为ldirectord会自动调用ipvsadm创建LVS路由表,而我们上面讲述的利用ipvsadm命令行方式配置LVS,是为了让读者能更深入的了解ipvsadm的实现细节和实现机制。
如果是通过Piranha工具配置LVS,就无需使用ldirectord,Piranha工具对应的系统进程是pluse,此进程也会自动调用ipvsadm创建LVS路由表,同时会利用自身的nanny守护进程监控real server的状态!
本文出自 “技术成就梦想” 博客,请务必保留此出处http://ixdba.blog.51cto.com/2895551/554799