如果只有LVS那么只可以实现负载均衡,但可能会出现一种情况:
当lvs集群中某个节点出现故障,此时如果分配请求给该节点,会出现错误
比如web服务器,正常的节点可以访问页面,而故障节点无法打开页面
此时就需要keepalived,从集群中剔除故障节点
keepalived主要实现三个功能:
1.实现ip地址飘移。比如有A和B两个节点,默认前端应用连接的是A节点的IP地址(通常也是vip),A节点出现故障的话,则将A节点的IP地址飘移到B节点,前端应用的请求就会由B节点来响应,这样对于前端的应用来说故障就是透明的。
2.生成IPVS规则。说得直白一些,就是直接在keepalived中,配置通过ipvsadm命令创建的一系列规则 –他这个LVS不能俩节点又HA有自己俩人LB,他这个LB是以自己做directserver搞别人用的
3.执行健康检查。即使检测到节点故障,并定义检测到故障后的处理策略
keepalived可以说为lvs而生,仅使用lvs时,需要使用下面的方法通过ipvsadm配置lvs:
directserver 192.168.182.130
vip 192.168.182.100
realserver 192.168.182.10
realserver 192.168.182.11
服务器脚本:
lvs server :
ifconfig eth0:0 192.168.182.100 netmask 255.255.255.255
route add -host 192.168.182.100 dev eth0:0
ipvs:
ipvsadm -C
ipvsadm -At 192.168.182.100:80 -s rr
ipvsadm -at 192.168.182.100:80 -r 192.168.182.10:80 -g
ipvsadm -at 192.168.182.100:80 -r 192.168.182.11:80 -g
real server:
ifconfig lo:0 192.168.182.100 netmask 255.255.255.255
route add -host 192.168.182.100 dev lo:0
echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
而有了keepalived,就可以直接在keepalived重配置,也可以实现和ipvsadm一样的效果
安装keepalived
tar -zxvf keepalived-1.2.19.tar.gz
cd keepalived-1.2.19
./configure —prefix=/usr/local/keepalived —with-kernel-dir=/usr/src/kernels/3.10.0-327.22.2.el7.x86_64
“–with-kernel-dir”这是个很重要的参数,但这个参数并不是要把Keepalived编译进内核, 而是指定使用内核源码里面的头文件,就是include目录。如果要使用LVS时,才需要用到此参数,否则是不需要的。
我的centos7/usr/src/kernels下面为空,需要安装kernel-headers和kernel-devel包,使用yum安装即可
make && make install
cp /usr/local/keepalived/sbin/keepalived /usr/sbin/
cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/
cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
mkdir /etc/keepalived
vi /etc/keepalived/keepalived.conf
! Configuration File for keepalived
#全局定义部分
global_defs {
notification_email { #这个邮件不太理解,没有密码咋发?
root@localhost.localdomain
#设置报警邮件地址,可以设置多个,每行一个。注意,如果要开启邮件报警,需要开启本机的sendmail服务。
}
notification_email_from root@localhost.localdomain
#设置邮件的发送地址
smtp_server 127.0.0.1
#设置smtp server地址,该地址必须是可到达的,否则会出错,如果不要求email报警,请用127.0.0.1
smtp_connect_timeout 30
#设置连接smtp服务器超时时间
router_id LVS_Keepalive
#运行Keepalived服务器的一个标识。发邮件时显示在邮件标题中的信息
}
#vrrp实例定义部分
vrrp_instance VI_1 {
#实例名,自定义
state MASTER
#指定Keepalived的角色,MASTER表示此主机是主用服务器,BACKUP表示是备用服务器
interface eth0
#指定HA监测网络的接口
virtual_router_id 51
#虚拟路由标识,这个标识是一个数字,并且同一个vrrp实例使用唯一的标识,即同一个vrrp_instance下,MASTER和BACKUP必须是一致的
priority 100
#定义优先级,数字越大,优先级越高,在一个vrrp_instance下,MASTER的优先级必须大于BACKUP的优先级。
advert_int 1
#设定MASTER与BACKUP负载均衡器之间同步检查的时间间隔,单位是秒
authentication {
#设定验证类型和密码
auth_type PASS
#设置验证类型,主要有PASS和AH两种,PASS明文认证
auth_pass 1111
#设置验证密码,在一个vrrp_instance下,MASTER与BACKUP必须使用相同的密码才能正常通信
}
virtual_ipaddress {
#设置虚拟IP地址,可以设置多个虚拟IP地址,每行一个
192.168.32.21
}
}
#虚拟服务器定义部分
virtual_server 192.168.32.21 80 {
#设置虚拟服务器,需要指定虚拟ip地址和服务端口,ip与端口之间用空格隔开。
delay_loop 6
#设置健康检查时间,单位是秒
lb_algo rr
#设置负载调度算法,这里设置为rr,即轮询算法
lb_kind DR
#设置LVS实现负载均衡的机制,可以有NAT、TUN和DR三个模式可选
persistence_timeout 10
#会话保持时间,单位是秒,这个选项对于动态网页是非常有用的,为集群系统中session共享提供了一个很好的解决方案。有了这个会话保持功 能,用户的请求会被一直分发到某个服务节点,直到超过这个会话保持时间。需要注意的是,这个会话保持时间,是最大无响应超时时间,也就是说用户在操作动态 页面时,如果在50秒内没有执行任何操作,那么接下来的操作会被分发到另外节点,但是如果一直在操作动态页面,则不受50秒的时间限制。
protocol TCP
#指定转发协议类型,有tcp和udp两种
real_server 192.168.32.32 80 {
#配置服务节点1,需要指定real server的真实IP地址和端口,ip与端口之间用空格隔开。
weight 3
#配置服务节点的权值,权值大小用数字表示,数字越大,权值越高,设置权值的大小可以为不同性能的服务器分配不同的负载,可以对性能高的服务器设置较高的权值,而对性能较低的服务器设置相对较低的权值,这样就合理的利用和分配了系统资源。
TCP_CHECK {
#realserve的状态检测设置部分,单位是秒
connect_timeout 3
#10秒无响应超时
nb_get_retry 3
#重试次数
delay_before_retry 3
#重试间隔
connect_port 80
}
}
real_server 192.168.32.33 80 {
weight 3
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
}
每个节点都要安装lvs 和keepalived
启动keepalived
service keepalived start
ipvsadm -L -n
测试
此时停掉一个节点,通过ipvsadm -L -n观察,已经没有了停掉的节点
keepalived的健康检查方式
可以参考这个链接http://www.360doc.com/content/14/0415/10/1123425_369112257.shtml
也可以使用自己写的脚本检测
vrrp_script check_run {
script "/home/mysql/check_mysql.sh"
interval 5
weigh -2 #如果脚本运行失败就-2
}
check_mysql.sh为自己写的脚本
cat /home/mysql/check_mysql.sh
#!/bin/bash
MYSQL_PROCESS_COUNT=`ps -ef | grep mysqld | grep -v grep | wc -l`
if [ "$MYSQL_PROCESS_COUNT" -ne 2 ]
then
pkill keepalived
exit 1
else
exit 0
fi
这个脚本判断mysqld进程有几个
如果只是使用vip功能,还可以不通过keepalived,而是写脚本,通过crontab检查mysql状态,异常时kill掉keepalived,实现隔离
http://blog.csdn.net/lichangzai/article/details/50484455#comments
keepalived vip只会存在于一个节点,当failover时,vip漂移到令一节点。ha关系由vrr instance确定
而load balance由virtual server real server确定,virtual server ip需指定,可以为vip?
当real server发生故障,自动踢出ipvs组中
关于不抢占nopreempt
当Master出现问题后,Backup会竞选为新的Master,那么当之前的Master重新Online后,是继续成为Master还是变成Backup呢?
默认情况下,如果没设置不抢占,那么之前的Master起来后会继续抢占成为Master,也就是说整个过程需要两次切换:
1.Master->Backup
2.Backup->Master
这样对业务频繁的切换时不能容忍的,因此我们希望Master起来后,成为Backup!所以要设置不抢占.Keepalived里面提供了nopreempt这个配置,但是这个配置只能用在state为Backup的机器上,但是我们明明希望的是Master不抢占,没办法,Master的state也得设置成Backup。也就是说192.168.1.3和192.168.1.4都要将state设置为Backup!
那么到底谁是Master?抢占吧,通过priority,所以我们在两台Backup上面通过设置不同的priority来让他们一起来就抢占,搞priority的192.168.1.3成为最初的Master