本文基于2个角度进行 1:mysql主从复制,读写分离部分 2:RHCS实现mysql-proxy、mysql-master、lvs高可用 |
架构图
可能会用到的yum源
http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm
http://elrepo.org/elrepo-release-6-5.el6.elrepo.noarch.rpm
系统环境:
CentOS release 6.4 (Final) 2.6.32-358.el6.x86_64 |
地址分配 |
mysql-proxy-fip:10.0.0.100 mysql-master-fip:10.0.0.101 lvs-vip:10.0.0.15 ha1:10.0.0.11 ha2:10.0.0.12 ha3:10.0.0.13 ha4:10.0.0.14 real1:10.0.0.15 real2:10.0.0.16 |
背景:
在数据库服务器非常繁忙的情况下,实现mysql读离分离是扩展性能的一个不错的方案,理由为以下几点 1:考虑在mysql双主中,很难保证数据一致性(mysql-mmm可以实现,但有待生产环境的考验),而且并不能提高写性能 2:在从服务器中,使用lvs为从进行负载分摊,在mysql-proxy上将读操作都指向lvs的集群地址上,能大大提高读性能 3:在这中场景中,有3个单点故障,mysql-proxy,mysql主服务器,和从服务器集群的lvs负载均衡器,这里RHCS的高可用方案解决单点故障 a:使用drbd镜像解决mysql-master的单点故障 b:使用keepalived解决lvs的单点故障 c:使用RHCS自带的L实现mysql-proxy故障的自动切换 此套方案中,将mysql-proxy 、mysql-master、lvs分别以ha4节点作为各自的故障转移域,出现服务中断后自动转移到备份主机上。 |
具体部署
Mysql主从部分
安装mysql-5.6.10-linux-glibc2.5-x86_64.tar.gz
在mysql-5.6版本引进了Gtid的机制,使得其复制功能的配置、监控及管理变得更加易于实现,且更加健壮。 简单说明Gtid的功能,主要实现了以下2个作用 1:从服务器到主服务器复制数据后,应用数据的时候可以启用多线程,加快复制的速度,降低主从之间的延迟。 2:通过全局事务 ID,可以自动识别上次同步的点,可以非常简单的追踪比较复制事务信息,能够实现主服务器down掉后快速恢复,甚至自动讲从服务器提升为主服务器并能保持各从服务器数据一致,可以实现mysql复制自身的ha(此文的ha基于RHCS而不使用Gtid的方式)。 |
配置DRBD
首先安装drbd,使用elrepo提供的yum扩展包,直接yum安装drbd
rpm -ivh http://elrepo.org/elrepo-release-6-5.el6.elrepo.noarch.rpm
在ha2,ha4上安装drbd工具包和drbd的内核模块
yum install drbd84-utils kmod-drbd84 –y
drbd全局配置
[root@ha4 ~]# grep '[[:space:]]*#.*$' -v /etc/drbd.d/global_common.conf global { usage-countno; } common { handlers{ pri-on-incon-degr"/usr/lib/drbd/notify-pri-on-incon-degr.sh;/usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ;reboot -f"; pri-lost-after-sb"/usr/lib/drbd/notify-pri-lost-after-sb.sh;/usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ;reboot -f"; local-io-error"/usr/lib/drbd/notify-io-error.sh; /usr/lib/drbd/notify-emergency-shutdown.sh;echo o > /proc/sysrq-trigger ; halt -f"; } startup{ } options{ } disk { on-io-errordetach; } net { cram-hmac-alg"sha1"; shared-secret"lust" } syncer{ rate1000M; } } |
drbd资源配置,使用双主模型,由RHCS控制哪个节点挂载
[root@ha4 ~]# cat /etc/drbd.d/mysql.res resource mysql { net{ protocol C; allow-two-primaries yes; } startup{ become-primary-on both; } disk { fencing resource-and-stonith; } handlers { # Make sure the other node is confirmed # dead after this! outdate-peer "/sbin/kill-other-node.sh"; } on ha2 { device /dev/drbd0; disk /dev/sda5; address 10.0.0.12:7789; meta-diskinternal; } on ha4 { device /dev/drbd0; disk /dev/sda5; address 10.0.0.14:7789; meta-diskinternal; } } |
将配置文件复制一份到ha2,保持相同即可
ha2,ha4上分别依次执行
初始化资源
drbdadm create-md web
启动服务
service drbd start
格式化磁盘
mkfs.ext4 /dev/drbd0
安装好drbd后安装mysql数据库,并初始化mysql的时候将datadir目录指向将要挂载drbd的目录
先挂载drbd设备
mkdir /mysql/data
mount /dev/drbd0 /mysql/data/
配置mysql复制
安装mysql,具体安装过程不再列出,这里列出2个注意点
注意点1:
在ha4测试安装mysql的时候,只能在一个节点上挂载drbd设备,否则会引起文件系统崩溃
注意点2:
一定要将mysql设置为开机不启动,让RHCS来管理mysql的start和stop,这对于配置其它节点的资源也是一样的,这点下面将不再说明
master:[mysqld]段的配置 (ha2和ha4保持一致,需要改动的部分看配置的中注释)
sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES binlog-format=ROW log-bin=master-bin log-slave-updates=true gtid-mode=on enforce-gtid-consistency=true master-info-repository=TABLE relay-log-info-repository=TABLE sync-master-info=1 slave-parallel-workers=2 binlog-checksum=CRC32 master-verify-checksum=1 slave-sql-verify-checksum=1 binlog-rows-query-log_events=1 server-id=1 report-port=3306 port=3306 datadir=/mysql/data socket=/tmp/mysql.sock report-host=ha2 |
real1:[mysqld]的配置
binlog-format=ROW log-slave-updates=true gtid-mode=on enforce-gtid-consistency=true master-info-repository=TABLE relay-log-info-repository=TABLE sync-master-info=1 slave-parallel-workers=2 binlog-checksum=CRC32 master-verify-checksum=1 slave-sql-verify-checksum=1 binlog-rows-query-log_events=1 server-id=11 #在real2上配置为12 report-port=3306 port=3306 log-bin=mysql-bin.log datadir=/mysql/data socket=/tmp/mysql.sock report-host=slave1 #在real2上配置为slave2 |
在master上创建复制用户
mysql> GRANT REPLICATION SLAVEON *.* TO "repluser"@"10.0.0.%" IDENTIFIED BY '123456';
在slave上指定master
mysql>CHANGE MASTER TOMASTER_HOST='10.0.0.101', MASTER_USER='repluser', MASTER_PASSWORD='123456',MASTER_AUTO_POSITION=1;
启动复制进程
mysql>START SLAVE;
查看复制状态
配置mysql-proxy
先安装EPEL源,此源包含mysql-proxy的rpm包
rpm –ivh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm
安装mysql-proxy
yum install mysql-proxy –y
配置mysql-proxy
/etc/init.d/mysql-proxy启动脚本
#!/bin/bash # # mysql-proxy This script starts and stopsthe mysql-proxy daemon # # chkconfig: - 78 30 # processname: mysql-proxy # description: mysql-proxy is a proxydaemon for mysql # Source function library. . /etc/rc.d/init.d/functions prog="/usr/bin/mysql-proxy" # Source networking configuration. if [ -f /etc/sysconfig/network ]; then ./etc/sysconfig/network fi # Check that networking is up. [ ${NETWORKING} = "no" ]&& exit 0 # Set default mysql-proxy configuration. ADMIN_USER="admin" ADMIN_PASSWD="admin" ADMIN_LUA_SCRIPT="/usr/lib64/mysql-proxy/lua/admin.lua" PROXY_OPTIONS="--daemon" PROXY_PID=/var/run/mysql-proxy.pid PROXY_USER="mysql-proxy" # Source mysql-proxy configuration. if [ -f /etc/sysconfig/mysql-proxy ]; then ./etc/sysconfig/mysql-proxy fi RETVAL=0 start() { echo -n $"Starting $prog: " daemon $prog $PROXY_OPTIONS --pid-file=$PROXY_PID--proxy-address="$PROXY_ADDRESS" --user=$PROXY_USER--admin-username="$ADMIN_USER"--admin-lua-script="$ADMIN_LUA_SCRIPT"--admin-password="$ADMIN_PASSWORD" RETVAL=$? echo if [ $RETVAL -eq 0 ]; then touch /var/lock/subsys/mysql-proxy fi } stop() { echo -n $"Stopping $prog: " killproc -p $PROXY_PID -d 3 $prog RETVAL=$? echo if [ $RETVAL -eq 0 ]; then rm -f /var/lock/subsys/mysql-proxy rm -f $PROXY_PID fi } # See how we were called. case "$1" in start) start ;; stop) stop ;; restart) stop start ;; condrestart|try-restart) if status -p $PROXY_PIDFILE $prog >&/dev/null; then stop start fi ;; status) status -p $PROXY_PID $prog ;; *) echo "Usage: $0{start|stop|restart|reload|status|condrestart|try-restart}" RETVAL=1 ;; esac exit $RETVAL
配置参数
cat /etc/sysconfig/mysql-proxy ADMIN_USER="admin" ADMIN_PASSWORD="admin" ADMIN_ADDRESS="" ADMIN_LUA_SCRIPT="/usr/lib64/mysql-proxy/lua/admin.lua" PROXY_ADDRESS="" PROXY_USER="mysql-proxy" PROXY_OPTIONS="--daemon --log-level=info--log-use-syslog --plugins=proxy --plugins=admin--proxy-backend-addresses=10.0.0.101:3306--proxy-read-only-backend-addresses=10.0.0.15:3306--proxy-lua-script=/usr/lib64/mysql-proxy/lua/proxy/balance.lua" |
在ha4上也用相同的方式部署mysql-proxy
LVS的安装
LVS对mysql从服务器进行读操作的负载均衡,对于lvs的高可用,由于keepalived比较轻量级,所以直接使用keepalived来实现,这里keepalived只是为了方便通过启动keepalived应用ipvs规则,所以并直接配置一个keepalived主,然后用RHCS实现keepalived的高可用,而不是keepalived自身的vrrp实现高可用 |
安装keepalived
yum install keepalived –y
配置文件
cat /etc/keepalived/keepalived.conf ! Configuration File for keepalived global_defs { notification_email { root@localhost } notification_email_from root smtp_server127.0.0.1 smtp_connect_timeout 30 router_idLVS_DEVEL } vrrp_instance VI_1 { stateMASTER interfaceeth0 virtual_router_id 51 priority100 advert_int1 authentication{ auth_type PASS auth_pass lust } virtual_ipaddress { 10.0.0.15 } } virtual_server 10.0.0.15 443 { delay_loop6 lb_algo wlc lb_kind DR nat_mask255.255.255.0 persistence_timeout 50 protocolTCP real_server10.0.0.21 3306 { weight1 TCP_CHECK { connect_timeout 3 nb_get_retry 3 delay_before_retry 3 connect_port 3306 } } real_server10.0.0.22 3306 { weight 1 TCP_CHECK { connect_timeout 3 nb_get_retry 3 delay_before_retry 3 connect_port 3306 } } } |
在每个mysql-slave的real服务器创建tc/init.d/rs,内容如下
#!/bin/bash # # Script to start LVS DR real server. # description: LVS DR real server # . /etc/rc.d/init.d/functions VIP=10.0.0.15 host=`/bin/hostname` case "$1" in start) # StartLVS-DR real server on this machine. /sbin/ifconfig lo down /sbin/ifconfig lo up echo 1> /proc/sys/net/ipv4/conf/lo/arp_ignore echo 2> /proc/sys/net/ipv4/conf/lo/arp_announce echo 1> /proc/sys/net/ipv4/conf/all/arp_ignore echo 2> /proc/sys/net/ipv4/conf/all/arp_announce /sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up /sbin/route add -host $VIP dev lo:0 ;; stop) # StopLVS-DR real server loopback device(s). /sbin/ifconfig lo:0 down echo 0> /proc/sys/net/ipv4/conf/lo/arp_ignore echo 0> /proc/sys/net/ipv4/conf/lo/arp_announce echo 0> /proc/sys/net/ipv4/conf/all/arp_ignore echo 0> /proc/sys/net/ipv4/conf/all/arp_announce ;; status) #Status of LVS-DR real server. islothere=`/sbin/ifconfig lo:0 | grep $VIP` isrothere=`netstat -rn | grep "lo:0" | grep $VIP` if [ !"$islothere" -o ! "isrothere" ];then #Either the route or the lo:0 device #not found. echo "LVS-DR real server Stopped." else echo "LVS-DR real server Running." fi ;; *) #Invalid entry. echo "$0: Usage: $0 {start|status|stop}" exit 1 ;; esac
提供执行权限
chmod +x /etc/init.d/rs
在2台realserver中启动rs
service rs start
至此所有关于RHCS集群的前期工作都准备完毕,接下来开始配置基于RHCS的高可用
RHCS-cluster
在RedHat最新版本的RHCS集群套件中,采用了corosync为底层信息的传递,但cman的机制依然存在,cman现在是以corosync的插件运行,所以service cman start也是可以启动的 |
编辑ha1-ha4的/etc/hosts文件
ha4主机同时作为luci的跳板机,在ha4上安装luci
yum install luci -y
在ha1,ha2,ha3,ha4三台主机上分别执行
yum install ricci –y
为各节点创建密码
echo 123456 | passwd ricci --stdin
在ha4上启动luci
service luci start
在ha1-4节点上启动ricci
service ricci start
打开luci的管理页面创建mysql集群(帐号为系统root帐号)
将各个节点加入一个新的集群
创建3个故障转移域(注意点:在故障转移域中,prioritized为1的优先级最高,其次优先级数值越高,优先级越高)
添加2个ip资源,分别为10.0.0.100和10.0.0.101,lvs的ip由keepalived进行自我控制,这里提供一个样例
创建挂载资源
创建mysqld资源
创建mysql-proxy资源
创建lvs资源
创建3个service group
mysql-proxy-ha 包含的资源 ip地址:10.0.0.11 mysql-proxy服务 |
mysql-m-ha包含的资源 ip地址10.0.0.12 drbd-mount mysql |
mysql-lvs-ha包含的资源 lvs-keepalived |
至此配置完成
转载于:https://blog.51cto.com/lustlost/1238669