动机:proxy实现读写分离
Master-Master Replication
1、使用两个
MySQL数据库db01,db02,互为Master和Slave,即:
一边
db01作为db02的master,一旦有数据写向db01时,db02定时从db01更新
另一边
db02也作为db01的master,一旦有数据写向db02时,db01也定时从db02获得更新
(这不会导致循环,
MySQL Slave默认不会记录Master同步过来的变化)
2、但从
AppServer的角度来说,同时只有一个结点db01扮演Master,另外一个结点db02扮演Slave,不能同时两个结点扮演Master。即AppSever总是把write操作分配某个数据库(db01),除非db01 failed,被切换。
3、如果扮演
Slave的数据库结点db02 Failed了:
a)此时
appServer要能够把所有的read,write分配给db01,read操作不再指向db02
b)一旦
db02恢复过来后,继续充当Slave角色,并告诉AppServer可以将read分配给它了
4、如果扮演
Master的数据库结点db01 Failed了
a)此时
appServer要能够把所有的写操作从db01切换分配给db02,也就是切换Master由db02充当
b)db01恢复过来后,充当
Slave的角色,Master由db02继续
MMM,
a greate project!
MMM有
3个重要的器件:
1、
mmmd_mon - monitoring script which does all monitoring work and makes all decisions about roles moving and so on.
2、
mmmd_agent - remote servers management agent script, whichprovides monitoring node with simple set of remote services to makeservers management easier, more flexible abd highly portable.
3、
mmm_control - simple script dedicated to management of the mmmd_mon processes by commands.
每一个
MySQL服务器器结点需要运行mmmd_agent,同时在另外的一个机器上(可以是独立的一台机器,也可以是和AppServer共享同一个服务器)运行mmmd_mon。形成1 * mmmd_mon + n * mmmd_agent的部署架构。
MMM利用了虚拟
IP的技术:1个网卡可以同时使用多个IP。
(所以使用
MMM时,需要2*n+1个IP,n为mysql数据库结点个数,包括master,slave)
当有数据库结点
fail时,mmmd_mon检测不到mmmd_agent的心跳或者对应的MySQL服务器的状态,mmmd_mon将进行决定,并下指令给某个正常的数据库结点的mmmd_agent,使得该mmmd_agent“篡位”使用(注)刚才fail的那个结点的虚拟IP,使得虚拟IP实际从指向fail的那个机器自动转为此时的这个正常机器。
注:据
Qieqie猜测是将获得的虚拟IP设置给网卡,也只能这样了,改天测试验证一下。
整体架构的原理:
Webclient 数据请求至
proxy—proxy进行读写分发-转至mmm机制-在检测存活的机器进行读与写操作。在此之前这些机器与为master/slave.
本文测试环境如下:
主机名
|
IP
|
Port
|
App
|
目录
|
备注
|
Node1
|
192.168.1.2
|
3306
|
mysql
|
/var/lib/mysql
|
数据库服务器
1
|
Node2
|
192.168.1.3
|
3306
|
mysql
|
/var/lib/mysql
|
数据库服务器
2
|
Mon
|
192.168.1.4
|
3306
|
Mysql
|
/var/lib/mysql
|
数据库管理服务器
|
Proxy
|
192.168.1.5
|
4040
|
Proxy
|
|
数据库代理
(NLB)
|
node1 node2数据库服务器
replication双向 master-master 虚拟机有限,只能开4台,因为node1与node2即做读又做写。
配置步骤:
Node1 node2 replication双向
master-master
Node1 node2 安装
mmm并配置mmm_regent.conf
Mon 安装
mmm并配置mmm_mon.conf
proxy安装
mysql-proxy
node1
node2
一、配置
node1 node2数据库服务器replication双向 master-master
1、配置
node1 同步
Mkdir /var/log/mysql
Chown mysql.mysql /var/log/mysql
my.cnf at db1 should have following options:
server-id =
|
1
|
log_bin =
|
mysql-bin
|
master_host
|
192.168.1.2
|
master_port
|
3306
|
master_user
|
replication
|
master_password
|
slave
|
mysql> grant replication slave on *.* to 'replication'@'%' identified by 'slave';
show slave status\G;的结果:
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
2、配置
node2同步
Mkdir /var/log/mysql
Chown mysql.mysql /var/log/mysql
my.cnf at db1 should have following options:
server-id =
|
2
|
log_bin =
|
mysql-bin
|
master_host
|
192.168.1.3
|
master_port
|
3306
|
master_user
|
replication
|
master_password
|
slave
|
mysql> grant replication slave on *.* to 'replication'@'%' identified by 'slave';
show slave status\G;的结果:
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
二、安装部署
MMM
目标主机:
Node1
|
192.168.1.2
|
Node2
|
192.168.1.3
|
Mon
|
192.168.1.4
|
1、安装
mon主机软件包
前提:
--
|
Algorithm-Diff-1.1902.tar.gz
|
--
|
Proc-Daemon-0.03.tar.gz
|
RPM
|
mysql-server-5.0.22-2.1
|
RPM
|
mysql-5.0.22-2.1
|
RPM
|
perl-DBD-MySQL-3.0007-1.fc6
|
--
|
mmm-1.0.tar.bz2
|
先安裝
2个perl的包:
--
|
Algorithm-Diff-1.1902.tar.gz
|
--
|
Proc-Daemon-0.03.tar.gz
|
perl包的安裝過程都是:
perl Makefile.PL
make
make test
make install
安裝
mmm:
./install.pl
2、安装
node1 node2 agent软件包(使用agent功能)
mmm-1.0.tar.bz2
安裝
mmm:
./install.pl
三台主机安装以上软件后进行配置过程
三:
node1 node2 的agent配置过程
$cd /usr/local/mmm/etc
$cp examples/mmm_agent.conf.examples ../mmm_agent.conf
node1配置文件所需要修改的地方如下
cluster_interface eth0 --配置
IP所用的网卡
# Define current server id this db1
this db1
mode master
# For masters peer db2
Peer db2
# Cluster hosts addresses and access params
host db1
ip 192.168.1.2
port 3306
user rep_agent
password RepAgent
host db2
ip 192.168.1.3
port 3306
user rep_agent
password RepAgent
Node2配置文件所需要修改的地方如下
# Cluster interface
cluster_interface eth0 --配置
IP所用的网卡
# Define current server id this db1
this db2
mode master
# For masters peer db2
Peer db1
# Cluster hosts addresses and access params
host db1
ip 192.168.1.2
port 3306
user rep_agent
password RepAgent
host db2
ip 192.168.1.3
port 3306
user rep_agent
password RepAgent
设置权限(
node1/node2)
GRANT ALL PRIVILEGES on *.* to 'rep_monitor'@'%' identified by 'RepMonitor';
四、修改
mon主机的配置文件 所需要修改的地方如下:
文件位置:
/usr/local/mmm/etc/mmm_mon.conf
# Cluster interface
cluster_interface eth0 ----配置
IP所用的网卡
# Cluster hosts addresses and access params
host db1
|
数据库名
|
ip 192.168.1.2
|
node1 ip
|
port 3306
|
node1 port
|
user rep_monitor
|
node1 用户(供
mon监控使用,该用户需要在db上添加)
|
password RepMonitor
|
对应密码
|
mode master
|
模式
|
peer db2
|
slave指定
|
host db2
|
意义同上
|
ip 192.168.1.3
|
|
port 3306
|
|
user rep_monitor
|
|
password RepMonitor
|
|
mode master
|
|
peer db1
|
|
#后续如有添加需求,请按照上面格式填写
active_master_role writer
# Mysql Reader role
|
读规则
|
role reader
mode balanced
|
模式为均摊
|
servers db1,db2
|
规则覆盖
db1 db2(如有更多slave 继续填写,别忘了ip )
|
ip 192.168.1.7,
192.168.1.8
|
对应
ip 虚拟的IP
|
# Mysql Writer role
role writer
|
写规则
|
mode exclusive
|
模式为独占
|
servers db1,db2
|
规则负载
db1 db2
|
ip 192.168.1.9
|
两台数据库公用一个
ip为写,采用HA模式,默认db1使用,db1下线db2接管此ip
|
五:测试
MMM
在
db1/db2上启动agent功能
/usr/local/mmm/scripts/init.d/mmm_agent start
在
mon上启动mon功能
/usr/local/mmm/scripts/init.d/mmm_mon start
并对
mon进行检测
# mmm_control set_online db1
# mmm_control set_online db2
# mmm_control show 查看分配情况
正常情况下
:
# mmm_control show
Servers status:
db1(192.168.1.2): master/ONLINE. Roles: reader(192.168.1.7;), writer(192.168.1.9;)
db2(192.168.1.3): master/ONLINE. Roles: reader(192.168.1.8;)
stop 192.168.1.3
# mmm_control show
Servers status:
db1(192.168.1.2): master/ONLINE. Roles: reader(192.168.1.7;), writer(192.168.1.9;)
db2(192.168.1.3): master/REPLICATION_FAIL. Roles: None
检测出
1.3出了故障.
等一会
..进行了切换!因为读写是轮循的.这时写切到了3
# mmm_control show
Servers status:
db1(192.168.1.2): master/ONLINE. Roles: reader(192.168.1.7;)
db2(192.168.1.3): master/ONLINE. Roles: reader(192.168.1.8;), writer(192.168.1.9;)
Telnet 任何一个虚拟
IP 3306都是通的
五、
mysql_proxy与mysql MMM集成的必要性
1、实现
mysql数据库层的负载均衡
2、数据库节点实现
HA动态切换
3、读写分离,降低主数据库负载
六、安装
mysql proxy
1、下载
proxy代码包
从
svn上获取最新代码
2、安装
编译好的版本安装方法如下:
# tar zxf mysql-proxy-0.6.0-linux-rhas4-x86.tar.gz
# cd mysql-proxy-0.6.0-linux-rhas4-x86
#可以看到有
2个目录
# ls
sbin share
# mv sbin/mysql-proxy /usr/local/sbin/
# ls share
mysql-proxy tutorial-constants.lua tutorial-packets.lua tutorial-rewrite.lua tutorial-warnings.lua tutorial-basic.lua tutorial-inject.lua tutorial-query-time.lua tutorial-states.lua
#将
lua脚本放到/usr/local/share下,以备他用
# mv share/mysql-proxy /usr/local/share/
#删除符号连接等垃圾代码
# strip /usr/local/sbin/mysql-proxy
proxy与
MMM集成
连接接管
|
Proxy 192.168.1.5
|
4040
|
读操作
|
Db1 192.168.1.7:3306
Db2 192.168.1.8:3306
|
|
写操作
|
Db1/db2 192.168.1.9
默认
db1先用,db1当机,db2接管
|
|
mysql-proxy --proxy-read-only-backend-addresses=192.168.1.7:3306 --proxy-read-only-backend-addresses=192.168.1.8:3306 --proxy-backend-addresses=192.168.1.9:3306 --proxy-lua-script=/usr/local/share/mysql-proxy/rw-splitting.lua &
现在解释一下:
--proxy-backend-addresses=192.168.1.9:3306 指定
mysql写主机的端口
--proxy-read-only-backend-addresses=192.168.1.7:3306 指定只读的
mysql主机端口
--proxy-read-only-backend-addresses=192.168.1.8:3306 指定另一个只读的
mysql主机端口
--proxy-lua-script=/usr/local/share/mysql-proxy/rw-splitting.lua 指定
lua脚本,在这里,使用的是rw-splitting脚本,用于读写分离
完整的参数可以运行以下命令查看:
mysql-proxy --help-all
运行以下命令启动
/停止/重启mysql proxy:
# /etc/init.d/mysql-proxy start
# /etc/init.d/mysql-proxy stop
# /etc/init.d/mysql-proxy restart
Ps -ef | grep mysql-proxy
七、测试结果
将
web server 如apache 中部署的网站,数据库连接地址改为----〉proxy的ip端口为4040
1、往数据库
db1里写入数据,查看2个数据库同步情况
2、使用
mon服务器mmm_control show 查看状态
简单的测试可以连接
proxy 4040 查看读写情况
方法我就不再详细写了。
编译过程有可能会遇到一些错误。下面是错误的总结:
1)如在
make 阶段出错
(1)类、、、、
make: *** [dbdimp.o] 错误 1
多半是库文件的问题,(
--cflags=-I/usr/local/mysql/include/mysq 细查,少个“y"
(
2)类 LD_RUN_PATH="/usr/lib/mysql:/lib:/usr/lib" gcc
-o blib/arch/auto/DBD/mysql/mysql.so -shared
-L/usr/local/lib dbdimp.o mysql.o -L/usr/lib/mysql
-lmysqlclient -lm -L/usr/lib/gcc-lib/i386-redhat-linux/2.96
-lgcc -lz
/usr/bin/ld: cannot find
-lz
collect2: ld returned 1 exit status
make: *** [blib/arch/auto/DBD/mysql/mysql.so] Error 1
与压缩包有关。可用
ldconfig -p | grep libz
ldconfig -p | grep libgz
查找,如有并指定路径!否则安装
libz-devel/ibgz-devel/zlib-devel/ gzlib-devel
2)在
make test 阶段出错:
(1)类
: install_driver(mysql) failed: Can't load
'/usr/lib/perl5/site_perl/i586-linux/auto/DBD/mysql/
mysql.so'
for module DBD::mysql:
File not found at
/usr/lib/perl5/i586-linux/5.00404/DynaLoader.pm line 166
与
/usr/lib/mysql/libmysqlclient.a有关 (cp libmysqlclient.a /us/lib)
(2)类:
t/00base............install_driver(mysql) failed: Can't load
'../blib/arch/auto/DBD/mysql/mysql.so' for module DBD::mysql:
../blib/arch/auto/DBD/mysql/mysql.so:
undefined symbol: _umoddi3
at /usr/local/perl-5.005/lib/5.005/i586-linux-thread/DynaLoader.pm
line 168.
与
libgcc.a 有关 (cp /usr/lib/gcc/i386-redhat-linux/4.1.1/libgcc.a /usr/local/lib/
(3) 类:
Can't load libmysqlclient.so.15 、、、、
(
cp libmysqlclient.so.15 /us/lib)
----------------------------------------
$perl Makefile.PL --libs="-L/usr/local/mysql/lib/mysql -lmysqlclient -L/usr/lib -lz " --cflags=-I/usr/local/mysql/include/mysql --mysql_config=/usr/local/mysql/bin/mysql_config --testhost=127.0.0.1--testsocket=/usr/local/mysql/tmp/mysql.sock --testdb=test --testuser=abc --testpassword=abc
------------------
$
; make; make test ;sudo make install;
-------------------------------
转载于:https://blog.51cto.com/kuanliu/394480