CENTOS6.3利用Keepalived构建双主MySQL+双机热备

showerlee 2013-08-28 01:15 MYSQL负载均衡 阅读 (582) 1条评论 

之前的博文介绍了如何配置MYSQL双主互备. 

http://www.showerlee.com/archives/698 

这里介绍如何配合前者实现Keepalived双机热备 

系统环境:CentOS 6.3 x64 

MySQL版本:mysql-5.6.10 

Keepalived版本:keepalived-1.2.7 

MySQL-VIP:192.168.7.253 

MySQL-master1:192.168.7.201 

MySQL-master2:192.168.7.249 

首先关闭iptables和SELINUX 

# service iptables stop 

# setenforce 0 

# vi /etc/sysconfig/selinux 

--------------- 

SELINUX=disabled 

--------------- 

注: 若线上需要开启iptables,需加一条规则使keepalived的vrrp通行 

# iptables -A INPUT -p vrrp -j ACCEPT 

1.在MySQL-master1:192.168.7.201服务器上keepalived安装及配置 

编译安装,实际以本机kernel版本为准 

# wget http://www.keepalived.org/software/keepalived-1.2.7.tar.gz 

# tar zxvf keepalived-1.2.7.tar.gz 

# cd keepalived-1.2.7 

# ./configure --prefix=/usr/local/keepalived --with-kernel-dir=/usr/src/kernels/2.6.32-279.el6.x86_64 

# make && make install 

设置keepalived开机启动脚本 

# cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/ 

# cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/ 

# cp /usr/local/keepalived/sbin/keepalived /usr/sbin/ 

# chkconfig keepalived on 

新建一个配置文件,默认keepalived启动会去/etc/keepalived目录下寻找配置文件 

# mkdir /etc/keepalived 

# vi /etc/keepalived/keepalived.conf 

------------------ 

global_defs { 

notification_email { 

lzyangel@126.com 

#当主、备份设备发生改变时,通过邮件通知 

notification_email_from lzyangel@126.com 

smtp_server stmp.126.com 

smtp_connect_timeout 30 

router_id MySQL-ha 

vrrp_instance VI_1{ 

# 在初始化状态下定义为主设备 

state BACKUP 

# 注意网卡接口 

interface eth0 

virtual_router_id 51 

# 优先级,另一台改为90 

priority 100 

advert_int 1 

# 不主动抢占资源 

nopreempt 

authentication { 

# 认证方式,可以是PASS或AH两种认证方式 

auth_type PASS 

# 认证密码 

auth_pass 1111 

virtual_ipaddress { 

# 虚拟IP地址,随着state的变化而增加删除 

192.168.7.253 

virtual_server 192.168.7.253 3306 { 

# 每个2秒检查一次real_server状态 

delay_loop 2 

# LVS算法 

lb_algo wrr 

# LVS模式 

lb_kind DR 

# 会话保持时间 

persistence_timeout 60 

protocol TCP 

real_server 192.168.7.201 3306 { 

# 权重 

weight 3 

# 检测到服务down后执行的脚本 

notify_down /etc/rc.d/keepalived.sh 

TCP_CHECK { 

# 连接超时时间 

connect_timeout 10 

# 重连次数 

nb_get_retry 3 

# 重连间隔时间 

delay_before_retry 3 

# 健康检查端口 

connect_port 3306 

---------------------- 

编写检测服务down后所要执行的脚本 

# vi /etc/rc.d/keepalived.sh 

------------- 

#!/bin/sh 

/etc/init.d/keepalived stop 

------------- 

# chmod +x /etc/rc.d/keepalived.sh 

注:此脚本是上面配置文件notify_down选项所用到的,keepalived使用notify_down选项来检查real_server的服务状态。 

当发现real_server服务故障时,便触发此脚本. 

我们可以看到,脚本就一个命令: 

通过pkill keepalived强制杀死keepalived进程,从而实现了MySQL故障自动转移. 

另外,我们不用担心两个MySQL会同时提供数据更新操作,因为每台MySQL上的keepalived的配置里面只有本机MySQL的IP+VIP,而不是两台MySQL的IP+VIP. 

 

以上脚本是为了在测试环境实现VIP切换功能,生产环境建议使用如下脚本 

--------------------------------- 

#!/bin/bash 

# 环境变量 

PATH=/bin:/usr/bin:/sbin:/usr/sbin; export PATH 

# 暂停5秒执行,防止数据库人工正常重启 

sleep 5 

# mysql_id(存活=1 死掉=0) 

mysql_id=`ps -C mysqld --noheader |wc -l` 

# 判断mysql_id若死掉,则重启mysql一次,若仍然无法启动mysql则杀掉keepaliaved进程实现VIP切换 

if [ $mysql_id -eq 0 ];then 

/etc/init.d/mysqld restart 

sleep 5 

if [ $mysql_id -eq 0 ];then 

/etc/init.d/keepalived stop 

fi 

fi 

--------------------------------- 

启动keepalived 

# /etc/init.d/keepalived start 

查看连接状态 

# ps -aux | grep keepalived 

返回: 

--------------- 

root 1387 1 0 21:13 ? 00:00:00 keepalived -D 

root 1390 1387 0 21:13 ? 00:00:00 keepalived -D 

root 1391 1387 0 21:13 ? 00:00:00 keepalived -D 

root 1976 1911 0 21:16 pts/0 00:00:00 grep keepalived 

-------------------- 

测试 

查看VIP信息 

# ip addr 

-------------------------- 

............ 

inet 192.168.7.201/24 brd 192.168.7.255 scope global eth0 

inet 192.168.7.253/32 scope global eth0 

inet6 fe80::20c:29ff:feb2:9199/64 scope link 

valid_lft forever preferred_lft forever 

-------------------------- 

注:如果出现主从在切换VIP时,主的VIP未自动关闭,从的正常开启,导致都获取到VIP,造成互相冲突的情况,可手动输入如下命令删除一方的VIP地址 

# ip addr del "虚拟ip" dev eth0 

但此方法只是一个临时的解决方案,当手动删除VIP后,重启keepalived服务会无法正常开启vip,需要重启服务器方能恢复。 

查看vrrp通信 

# tcpdump vrrp 

------------------------- 

..... 

18:10:56.365730 IP 192.168.7.201 > vrrp.mcast.net: VRRPv2, Advertisement, vrid 52, prio 40, authtype simple, intvl 1s, length 20 

18:10:57.366825 IP 192.168.7.201 > vrrp.mcast.net: VRRPv2, Advertisement, vrid 52, prio 40, authtype simple, intvl 1s, length 20 

18:10:58.367914 IP 192.168.7.201 > vrrp.mcast.net: VRRPv2, Advertisement, vrid 52, prio 40, authtype simple, intvl 1s, length 20 

------------------------- 

注:如果主keepalived挂掉,这里的日志会切换到备keeplived的信息 

找一台局域网PC,然后去ping MySQL的VIP,这时候MySQL的VIP是可以ping的通的 

停止MySQL服务,看keepalived健康检查程序是否会触发我们编写的脚本,去kill掉keepalived进程 

# service mysqld stop 

# ps -aux | grep keepalived 

无返回结果 

2.在MySQL-master2:192.168.7.249服务器上keepalived安装及配置 

编译安装,实际以本机kernel版本为准 

# wget http://www.keepalived.org/software/keepalived-1.2.7.tar.gz 

# tar zxvf keepalived-1.2.7.tar.gz 

# cd keepalived-1.2.7 

# ./configure --prefix=/usr/local/keepalived --with-kernel-dir=/usr/src/kernels/2.6.32-279.el6.x86_64 

# make && make install 

设置keepalived开机启动脚本 

# cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/ 

# cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/ 

# cp /usr/local/keepalived/sbin/keepalived /usr/sbin/ 

# chkconfig keepalived on 

新建一个配置文件,默认keepalived启动会去/etc/keepalived目录下寻找配置文件 

# mkdir /etc/keepalived 

# vi /etc/keepalived/keepalived.conf 

------------------ 

global_defs { 

notification_email { 

lzyangel@126.com 

notification_email_from lzyangel@126.com 

smtp_server stmp.126.com 

smtp_connect_timeout 30 

router_id MySQL-ha 

vrrp_instance VI_1{ 

# 两台配置此处均是BACKUP 

state BACKUP 

# 注意网卡接口 

interface eth0 

virtual_router_id 51 

# 优先级,另一台改为100 

priority 90 

advert_int 1 

# 不主动抢占资源 

nopreempt 

authentication { 

auth_type PASS 

auth_pass 1111 

virtual_ipaddress { 

192.168.7.253 

virtual_server 192.168.7.253 3306 { 

# 每个2秒检查一次real_server状态 

delay_loop 2 

# LVS算法 

lb_algo wrr 

# LVS模式 

lb_kind DR 

# 会话保持时间 

persistence_timeout 60 

protocol TCP 

real_server 192.168.7.249 3306 { 

weight 3 

# 检测到服务down后执行的脚本 

notify_down /etc/rc.d/keepalived.sh 

TCP_CHECK { 

# 连接超时时间 

connect_timeout 10 

# 重连次数 

nb_get_retry 3 

# 重连间隔时间 

delay_before_retry 3 

# 健康检查端口 

connect_port 3306 

---------------------- 

编写检测服务down后所要执行的脚本 

# vi /etc/rc.d/keepalived.sh 

------------- 

#!/bin/sh 

/etc/init.d/keepalived stop 

------------- 

# chmod +x /etc/rc.d/keepalived.sh 

启动keepalived 

# /etc/init.d/keepalived start 

查看连接状态 

# ps -aux | grep keepalived 

返回: 

--------------- 

root 1387 1 0 21:13 ? 00:00:00 keepalived -D 

root 1390 1387 0 21:13 ? 00:00:00 keepalived -D 

root 1391 1387 0 21:13 ? 00:00:00 keepalived -D 

root 1976 1911 0 21:16 pts/0 00:00:00 grep keepalived 

-------------------- 

 

至此配置完成,网站后台只需要配置MySQL-VIP:192.168.7.253虚拟地址即可 

这里实际连接的master数据库,以哪台master先开mysql服务为准。 

当master1:192.168.7.201 mysql端口挡掉或者服务器异常关闭,keepalived会自动跳转到master2:192.168.7.249. 

因为两台数据库的数据时同步的,用户访问的是MySQL-VIP:192.168.7.253虚拟地址,所以网站数据连接会无缝透明转接到master2服务 

器,实现双机热备+数据同步功能。保证网站数据库的实时可用性。 

注:当某一台master服务器挂掉恢复后,需同时打开MYSQL服务和keepalived服务,保证另一台服务器如果挂掉会无缝转接。 

 

所以建议mysql与keeplived设置服务开机启动。 

# chkconfig mysqld on 

# chkconfig keepalived on 

----------大功告成------------