我的lvs方案实现

最新推荐文章于 2022-05-24 17:59:43 发布

weixin_33817333

最新推荐文章于 2022-05-24 17:59:43 发布

阅读量112

点赞数

文章标签：网络 php 操作系统

原文链接：http://blog.51cto.com/nanwangting/971510

版权

主服务器ip	从服务器ip	RS1服务器ip	RS2服务器ip	Client ip	Vip：虚拟ip
200.200.200.30	200.200.200.40	200.200.200.10	200.200.200.20	200.200.200.111	200.200.200.100
网络接口	网络接口	网络接口	网络接口	网络接口	模式
eth1	eth1	eth1	eth1	eth1	DR:直接路由

LVS_M: eth1:200.200.200.30

LVS_S: eth1:200.200.200.40

RS1 : eth1:200.200.200.10

RS2: eth1:200.200.200. 20

VIP: 200.200.200.100

Client: 200.200.200.111

LVS模式:DR

,在DR模式下lvs服务器和真实服务器的网段必须在同一网段下。

LVS_MASTER 配置：

Lvs的配置

[root@lvs_master ipvsadm-1.24]# yum -y install openssl-devel

#下载所需要支持的文件

[root@lvs_master ~]# ln -sv /usr/src/kernels/2.6.18-164.el5-x86_64/ /usr/src/linux/

#是内核支持

[root@lvs_master src]# tar zvxf ipvsadm-1.24.tar.gz

#解压ipvsadm（ipvsadm是lvs的核心文件）

[root@lvs_master src]# cd ipvsadm-1.24

[root@lvs_master ipvsadm-1.24]# make;make install

Keepalive的安装

[root@lvs_master src]# tar zvxf keepalived-1.1.17.tar.gz

#解压keepalived文件(这里用keepalive软件来实现lvs的高可用ha，当然也可以使用其它软件来实现同样的功能比如heartbeat)

[root@lvs_master src]# cd keepalived-1.1.17

[root@lvs_master keepalived-1.1.17]# ./configure

#配置文件

[root@lvs_master src]# cd keepalived-1.1.17

[root@lvs_master keepalived-1.1.17]# make；make install

#编译安装

Keepalived的配置

[root@lvs_master /]# cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/

root@lvs_master /]# cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/

[root@lvs_master /]# cp /usr/local/sbin/keepalived /usr/sbin/

#上面这3步骤的主要目的是复制cp的配件文件到系统相关的目录以使其相关联。

[root@lvs_master /]# mkdir /etc/keepalived/

#为keepalived创建单独的配置目录

[root@lvs_master /]# vi /etc/keepalived/keepalived.conf

#keepalived.conf文件默认是不存在的需要我们手工建立.

! Configuration File for keepalived

global_defs {

notification_email {

#定义keepalived监控联系人或者管理人邮件，这里我们一般不需要配置，因为keepalived的监控和lvs的监控往往通过第三方软件来实现监控，比如nagios，zabbix等软件。

}

vrrp_instance VI_1 {

state MASTER

#备份服务器改为BACKUP，注意这里的名字是固定的不可随便更改，主的也是必须是MASTER

interface eth1

virtual_router_id 1

priority 100

#备份服务器改为90

advert_int 1

authentication {

auth_type PASS

auth_pass 1234

}

virtual_ipaddress {

200.200.200.100 #vip地址，虚拟ip地址。

}

virtual_server 200.200.200.100 80 { # 虚拟服务器ip

delay_loop 6

lb_algo wrr #定义lvs的算法。

lb_kind DR #定义lvs的算法这里为DR直接路由模式，必须大写。

protocol TCP

real_server 200.200.200.20 80 { #定义真实服务器的ip和提供服务器的端口号

weight 1

TCP_CHECK {

connect_timeout 10

nb_get_retry 3

delay_before_retry 3

connect_port 80

}

real_server 200.200.200.10 80 {

weight 1

TCP_CHECK {

connect_timeout 10

nb_get_retry 3

delay_before_retry 3

connect_port 80

}

[root@lvs_master /]# chkconfig -level 23445 keepalived on

[root@lvs_master /]# service keepalived start

Starting keepalived: [ OK ]

从服务器除了：

state MASTER #从服务器改为BACKUP

priority 100 #从服务器改为90以外其他的步骤和主服务器一样。RS1和RS1的配置只需写个脚本（脚本一模一样）就可以了：

[root@client1 /]# more lvsdr

#!/bin/bash

SNS_VIP=200.200.200.100

/etc/rc.d/init.d/functions

case "$1" in

start)

/sbin/ifconfig lo:0 $SNS_VIP netmask 255.255.255.255 broadcast $SNS_VIP

#/sbin/route add -host $SNS_VIP dev lo:0

echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore

echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce

echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore

echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

#sysctl -p > /dev/null 2>&1

echo "RealSever Start OK"

;;

stop)

/sbin/ifconfig lo:0 down

/sbin/route del $SNS_VIP >/dev/null 2>&1

echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore

echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce

echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore

echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce

echo "RealSever Stopped"

;;

echo "Usage: $0{start|stop}"

exit 1

esac

exit

为了方便脚本的启动（以命令server lvsdr start的方式）我们建议把脚本cp到/etc/init.d目录下

[root@RS1 /]# cp lvsdr /etc/init.d/

[root@RS1 /]# service lvsdr start （启动lvsdr脚本）

RealSever Start OK

这时候我们通过ip a 命令就可以看到VIP：200.200.200。100被绑定到lo网卡上了。

[root@RS1/]# ip a

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue

link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

inet 127.0.0.1/8 scope host lo

inet 200.200.200.100/32 brd 200.200.200.100 scope global lo:0

inet6 ::1/128 scope host

valid_lft forever preferred_lft forever

2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast qlen 1000

link/ether 00:0c:29:cb:1a:5a brd ff:ff:ff:ff:ff:ff

inet 192.168.5.92/24 brd 192.168.5.255 scope global eth0

inet6 fe80::20c:29ff:fecb:1a5a/64 scope link

valid_lft forever preferred_lft forever

3: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast qlen 1000

link/ether 00:0c:29:cb:1a:64 brd ff:ff:ff:ff:ff:ff

inet 200.200.200.10/24 brd 200.200.200.255 scope global eth1

inet6 fe80::20c:29ff:fecb:1a64/64 scope link

valid_lft forever preferred_lft forever

4: sit0: <NOARP> mtu 1480 qdisc noop

link/sit 0.0.0.0 brd 0.0.0.0

[root@RS1 /]#

RS2和RS1的配置方式脚本名称相同，我们可以把RS1的脚本直接copy到RS2上面，这里我不再具体讲述。

回到LVS_M服务器上我们再重新启动keepalived服务然后通过ip a命令会看到如下所示

[root@lvs_master /]# service keepalived start

Starting keepalived:

[root@lvs_master /]# ip a

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue

link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

inet 127.0.0.1/8 scope host lo

inet6 ::1/128 scope host

valid_lft forever preferred_lft forever

2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast qlen 1000

link/ether 00:0c:29:f7:e3:a4 brd ff:ff:ff:ff:ff:ff

inet 192.168.5.123/24 brd 192.168.5.255 scope global eth0

inet6 fe80::20c:29ff:fef7:e3a4/64 scope link

valid_lft forever preferred_lft forever

3: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast qlen 1000

link/ether 00:0c:29:f7:e3:ae brd ff:ff:ff:ff:ff:ff

inet 200.200.200.30/24 brd 200.200.200.255 scope global eth1

inet 200.200.200.100/32 scope global eth1

inet6 fe80::20c:29ff:fef7:e3ae/64 scope link

valid_lft forever preferred_lft forever

4: sit0: <NOARP> mtu 1480 qdisc noop

link/sit 0.0.0.0 brd 0.0.0.0v

其中红色部分所示就是我们绑定的虚拟ip vip：200.200.200.100了。从服务器LVS_S通过相同方法也会得到同样的结果。这个结果说明我们的操作问题通过client可以进行测试了。为了方便测试我们在RS1 和RS2上安装apache服务器，并且在RS1 和RS2上弄起不同的主页方便测试，我这里的测试主页内容RS1就是rs1了，RS2就是rs2了。

[root@RS2 /]# yum -y instal httpd

[root@RS2 /]# echo "rs2" > /var/www/html/index.html

[root@RS2 /]# service httpd start

测试：

测试之前我们在master输入命令ipvsadm

root@lvs_master /]# ipvsadm

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

-> RemoteAddress:Port Forward Weight ActiveConn InActConn

TCP 200.200.200.100:http wrr

-> 200.200.200.10:http Route 1 0 0

-> 200.200.200.20:http Route 1 0 0

然后我们通过client访问200.200.200.100这个地址

如果看到上图所示，然后再刷新的时刻看到如下所示

这时候说明我们的lvs功能已经成功了。多刷新几次。然后在master上输入ipvsadm命令

通过结果我们能看到。当我们访问100的时候，其中有10次被定向到了200.200.200.10这关ip上，有11次被定向到了200.200.200.20的服务器上。这就说明lvs已经起到了负载的作用了。下面我们关闭master的keepalived服务。

[root@lvs_master /]# service keepalived stop

Stopping keepalived: [ OK ]

然后我们通过client端继续访问100这个虚拟ip我们会发现网页已经访问正常，这里不再做测试。说明keepalived的ha作用也启动了。到目前位置我们已经到底了我们所要的lvs负载加keepalived高可用的目的了。

会话保持方面的测试：

lvs自带支持保持会话的功能通过修改相关配置文件来实现，其实很简单。只需在lb kind DR下知道保持会话时间就可以了。

virtual_server 200.200.200.100 80 { # 虚拟服务器ip

delay_loop 6

lb_algo wrr #定义lvs的算法。

lb_kind DR

#定义lvs的算法这里为DR直接路由模式，必须大写。

persistence_timeout 60

protocol TCP

相关测试

为了更加直观的测试我们在真实服务器RS1安装论坛，真实服务器RS2上安装

然后我们通过client访问虚拟ip 200.200.200.100 .当我们访问vip的时候，可能出现上面2个论坛中的任意一个，比如DISCUZ，我们在上面注册个帐号，并且发个帖子这时候我们会发现进行这样的操作是没有任何问题的，而不像我们想象的那样这个时候可能会出现转移到phpwind的现象。这就说明会话保持的作用已经启动起来了。会话保持的时间的配置文件设置相关，比如这里我们设置的时间为60s。

关于lvs算法的相关研究及测试。

最小连接算法的测试：

为了测试最小连接我们把其中一台真实服务器的httpd给关掉。然后在cient通过ab压力测试负载。通过结果我们可以看出。RS1的请求数为200.用于RS2的服务器httpd服务已经被我们关闭了所以这里不显示。