Cent0S下使用LVS+KeepLive,进行负载均衡及高可用web服务器。
通过对本文章的阅读:你可以了解LVS+KeepLive的安装,按照步骤一步一步完成就能实现对2台或N台web服务器进行负载均衡,实现LVS的负载均衡及失效转移。
一、需要的文件:
1、ipvsadm-1.24.tar.gz,下载地址:下载
2、keepalived-1.1.15.tar.gz,下载地址:下载
二、对LVS学习的网站推荐:
LVS官方中文站点:http://zh.linuxvirtualserver.org/
对keepalived各项参数进行了详细的解释 http://download.csdn.net/detail/missrian/7338313
三、安装及使用:
一、LVS的安装:
1、拷贝2个安装包到/usr/local/src下的lvs目录下。(不存在则建立)
2、tar -zxvf ipvsadm-1.24.tar.gz 再进入目录cd ipvsadm-1.24
3、sudo make 该步骤进行编译,在make时可能会出现错误编译信息,这是由于编译程序找不到对应内核的原因。
此时解决的方法为,首先获取系统的版本uname -a
Linux localhost.localdomain
2.6.32-431.el6.x86_64 #1 SMP Fri Nov 22 03:15:09 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux
再执行:ln -s /usr/src/kernels/
2.6.32-431.el6.x86_64/ /usr/src/linux
然后重新执行make编译命令。
4、sudo make install 该步骤为安装。
5、如果安装成功则可以通过ipvsadm --help查看lvs是否安装成功
6、通过find / -name ipvsadm可以查看lvs 安装在哪些目录下。
二、KeepLive的安装
1、tar -zxvf keepalived-1.1.15.tar再进入keepalived-1.1.15目录
2、执行sudo ./config,
1)、如果报错
configure: error:
!!! OpenSSL is not properly installed on your system. !!!
!!! Can not include OpenSSL headers files.
则yum -y install openssl-devel,然后重新执行sudo ./config
2)、如果报错
configure: error: Popt libraries is required
则yum install popt-devel,然后重新执行sudo ./config
3、编译sudo make
4、安装sudo make install
5、可用find / -name keepalived查看安装位置
6、可通过keepalived --version查看是否安装成功。
7、拷贝文件
cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/
cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/
mkdir /etc/keepalived
cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/
cp /usr/local/sbin/keepalived /usr/sbin/
8、启动或停止:service keepalived start
9、配置为随系统启动:
sudo chkconfig --add keepalived
sudo chkconfig --level 35 keepalived on
sudo chkconfig --add keepalived
sudo chkconfig --level 35 keepalived on
三、配置keepalived
由于LVS存在单点故障,因此一般采用LVS主从备份的方式进行负载均衡.
如果有时候主备LVS没有生效,比如反而是备LVS优先起作用,此时只需重启主LVS,service keepalived restart
1、编辑:vi /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
notification_email {
hezx@gaojiasoft.com #故障通知接收者邮箱,可以多个
caoli@gaojiasoft.com
}
notification_email_from hezx@gaojiasoft.com #故障发送者邮箱
smtp_server 192.168.62.130 #邮件服务器的IP
smtp_connect_timeout 30
router_id LVS_DEVEL
}
vrrp_instance VI_1 {
state MASTER #如果是备份LVS,则修改为BACKUP
interface eth0
virtual_router_id 51 #2个LVS必须在一致
priority 100 #如果是备份LVS,则修改得比MASTER小,至少50的差距,比如49
advert_int 1
authentication {
auth_type PASS #主从LVS的时候,PASS一致才可以。
auth_pass 1111
}
global_defs {
notification_email {
hezx@gaojiasoft.com #故障通知接收者邮箱,可以多个
caoli@gaojiasoft.com
}
notification_email_from hezx@gaojiasoft.com #故障发送者邮箱
smtp_server 192.168.62.130 #邮件服务器的IP
smtp_connect_timeout 30
router_id LVS_DEVEL
}
vrrp_instance VI_1 {
state MASTER #如果是备份LVS,则修改为BACKUP
interface eth0
virtual_router_id 51 #2个LVS必须在一致
priority 100 #如果是备份LVS,则修改得比MASTER小,至少50的差距,比如49
advert_int 1
authentication {
auth_type PASS #主从LVS的时候,PASS一致才可以。
auth_pass 1111
}
#VIP,浮动IP,发生切换时Keepalived自动添加、删除虚拟地址,无需ifoncig-eth0去设置
virtual_ipaddress {
192.168.62.100 #LVS的对外虚拟IP,可以是多个,这样一般可以再域名解析的时候有帮助,比如电信,联通的IP
192.168.62.99
192.168.62.98
}
virtual_ipaddress {
192.168.62.100 #LVS的对外虚拟IP,可以是多个,这样一般可以再域名解析的时候有帮助,比如电信,联通的IP
192.168.62.99
192.168.62.98
}
#虚拟路由,发生切换时候自动添加删除路由
#virtual_routes{
# 192.168.62.100 dev eth0:0
#}
#nopreempt #不抢占,去掉前面的#则生效,仅用与BACKUP上,当MASTER失效后,BackUP生效,但当Master重新生效后,面临的问题是继续成为Master还是BACKUP,发生了变化 Master ->BACKup,再到BACKup -> Master,这样的切换开销很大,我们希望新生效的Master成为BackUP,不进行抢占,但此时必须修改原先master的状态为BACKUP,即此时存在2个UPBACK,此时通过priority的值高的就是Master。
}
#虚拟LVS代理80端口
virtual_server 192.168.62.100 8080 {
delay_loop 6
lb_algo wrr #压力最小轮询
lb_kind DR #LVS的路由模式
nat_mask 255.255.255.0
persistence_timeout 10
protocol TCP #指定转发协议,TCP OR UDP
#真实服务器1
real_server 192.168.62.133 8080 {
weight 5 #权重,越大越高
TCP_CHECK {#relserve的状态检测设置部分,单位是秒
connect_timeout 10 #表示10秒无响应超时
nb_get_retry 3 #表示重试次数
dealy_before_retry 3 #表示重试间隔
connect_port 8080
}
}
#真实服务器2
real_server 192.168.62.134 8080 {
weight 1 #权重,越大越高,依据机器配置来设置
TCP_CHECK {#relserve的状态检测设置部分,单位是秒
connect_timeout 10 #表示10秒无响应超时
nb_get_retry 3 #表示重试次数
dealy_before_retry 3 #表示重试间隔
connect_port 8080
}
}
}
}
#虚拟LVS代理80端口
virtual_server 192.168.62.100 8080 {
delay_loop 6
lb_algo wrr #压力最小轮询
lb_kind DR #LVS的路由模式
nat_mask 255.255.255.0
persistence_timeout 10
protocol TCP #指定转发协议,TCP OR UDP
#真实服务器1
real_server 192.168.62.133 8080 {
weight 5 #权重,越大越高
TCP_CHECK {#relserve的状态检测设置部分,单位是秒
connect_timeout 10 #表示10秒无响应超时
nb_get_retry 3 #表示重试次数
dealy_before_retry 3 #表示重试间隔
connect_port 8080
}
}
#真实服务器2
real_server 192.168.62.134 8080 {
weight 1 #权重,越大越高,依据机器配置来设置
TCP_CHECK {#relserve的状态检测设置部分,单位是秒
connect_timeout 10 #表示10秒无响应超时
nb_get_retry 3 #表示重试次数
dealy_before_retry 3 #表示重试间隔
connect_port 8080
}
}
}
2、配置完毕后,重启 service keepalived restart
3、查看LVS的负载生效情况:ipvsadm -ln 可以看到
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.62.100:8080 wrr persistent 10
-> 192.168.62.134:8080 Route 1 0 0
-> 192.168.62.133:8080 Route 5 0 0
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.62.100:8080 wrr persistent 10
-> 192.168.62.134:8080 Route 1 0 0
-> 192.168.62.133:8080 Route 5 0 0
4、网络设置
1)、LVS服务器 (此步应该是不需要执行的)
ifconfig eth0 192.168.62.130 //(DIP)
ifconfig eth0:0 192.168.62.100 //(VIP),这个VIP通过防火墙映射到公网IP
route add -host 192.168.62.100 dev eth0:0 //让发往192.168.62.100的请求都经过eth0:0
2)、RelServer 1-N个服务器的配置,每个都要执行下
使用root用户,在任意目录下建议lvs_real.sh文件,将如下文字拷贝进去
#!/bin/bash#Description: Config realserver script
SNS_VIP=192.168.62.100 #对应LVS服务器的VIP
/etc/rc.d/init.d/functions
case "$1" in
start)
/sbin/ifconfig lo:0 $SNS_VIP netmask 255.255.255.255 broadcast $SNS_VIP
/sbin/route add -host $SNS_VIP dev lo:0
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p >/dev/null 2>&1
echo "RealServer NETWork OK"
;;
stop)
/sbin/ifconfig lo:0 down
/sbin/route del $SNS_VIP >/dev/null 2>&1
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
echo "RealServer Stoped"
;;
*)
echo "Usage: $0 {start|stop}"
exit 1
esac
exit 0
#---------------------------------
给予可执行权限:
chmod 755 ./lvs_real.sh
启动脚本:
./lvs_real.sh start :
chmod 755 ./lvs_real.sh
启动脚本:
./lvs_real.sh start :
四、其中LVS是存在单点故障的,即如果LVS服务器挂了,此时无论服务是否生效,都不能访问真实的服务器。
因此,需要实现LVS的双机热备,Master LVS挂了后,自动切换到BACKUP LVS.
LVS的BACKUP,只是修改keepalived.conf中的state MASTER 为 BACKUP,同时把priority 100的值设置为 priority 49,至少50的差距。
五、监控:
1、sudo watch ipvsadm -ln 查看lvs服务是否正常,包括活动链接。此命令动态监控LVS的连接和realServer的健康状况。
1、sudo watch ipvsadm -lcn|grep 192.168.62.100 此命令可以实时看到分发的情况,非常有效
2、查看LVS的吞吐量情况:watch ipvsadm -L -n --rate #此功能非常有效,可以实时看到LVS在各个真实部件的分发情况
3、sudo watch ipvsadm -lcn 此命令动态监控终端连接过来后,LVS的处理状态,连接失败等
4、实时查看LVS连接状态变化: watch ipvsadm -ln
6、查看LVS的连接情况:ipvsadm -L -n
7、查看LVS的统计信息:ipvsadm -L -n --stats