mysql 读集群_mysql集群搭建(一、读写分离)

最新推荐文章于 2023-07-05 19:35:23 发布

姜小白71

最新推荐文章于 2023-07-05 19:35:23 发布

阅读量338

点赞数

文章标签： mysql 读集群

本文链接：https://blog.csdn.net/weixin_36359110/article/details/113473941

版权

@(MySQL系类)[mysql集群搭建]

mysql集群搭建(读写分离)

简介

当今MySQL使用相当广泛，随着用户的增多以及数据量的增大，高并发随之而来。然而我们有很多办法可以缓解数据库的压力。分布式数据库、负载均衡、读写分离、增加缓存服务器等等。这里我们将采用读写分离技术进展缓解数据库的压力。

其中实现读写分离的技术有很多方法，这里我们将采用mysql-proxy这个中间软件来实现。这个软件中含有一个读写分离的lua文件，这也是我们使用mysql-proxy实现读写分离必用的文件，它需要lua解析器进行解析。因此我们还需要安装一个lua解析器。

环境准备

三台Linux虚拟机

linux版本centos6.5 mysql5.5

mysql-proxy-0.8.5

lua-5.1.4

servicename: node1(写) node2(读) node3(mysql-proxy)

数据库配置

主从复制

一般Linux中的MySQL配置文件都在/etc/my.cnf(windows中的配置文件为mysql.ini)

log-bin=mysql-bin 开启二进制日志

注意：二进制日志必须开启，因为数据的同步实质上就是其他的MySQL数据库服务器将这个数据变更的二进制日志在本机上再执行一遍。

node1 为主服务器

[mysqld]

log-bin=mysql-bin

server-id=1

node2 为从服务器

[mysqld]

log-bin=mysql-bin

server-id=2

开始构建主从服务器

第一步：

在node1上创建一个node2可以登陆的账号

用户名：mysql2

密码：mysql2

msyql > GRANT REPLICATION SLAVE ON *.* TO ‘mysql2’@’node2’ IDENTIFIED BY ‘mysql2’;

msyql > FLUSH PRIVILEGES;

第二步：

查看node1msyql服务器的二进制文件与位置

msyql > show master status;

#在file和position中的两个字段

第三步：

告知二进制文件名与位置

在node2中执行：

mysql>CHANGE MASTER TO

>MASTER_HOST=’node1’,

>MASTER_USER=’mysql2’,

>MASTER_PASSWORD=’mysql2’,

>MASTER_LOG_FILE=’mysql-bin.000048’,

>MASTER_LOG_POS=432;

完成主从配置

测试主从复制

在node2中

mysql > slave start; #开启主从复制

mysql > show slave status\G #查看主从复制

在显示的字段中

Master_Host: node1 #master的ip

Master_log_File: mysql-bin.000048 #文件位置

Read_master_log_Pos: 432

Slave_IO_Running: Yes

Slave_SQL_Running: Yes

当看到Slave_IO_Running: YES、Slave_SQL_Running: YES才表明状态正常

这里可以创建一个测试库看看是否同步过去

主从复制工作原理

(1) master将改变记录到二进制日志(binary log)中(这些记录叫做二进制日志事件。binary log events)；

(2) slave将master的binary log events复制到它的中继日志(relay log)。

(3) slave重做中继日志中的事件，将改变反映它自己的数据。

主主复制

实现原理

主主复制即在两台MySQL主机内都可以变更数据，而且另外一台主机也会做出相应的变更。聪明的你也许已经想到该怎么实现了。对，就是将两个主从复制有机合并起来就好了。只不过在配置的时候我们需要注意一些问题，例如，主键重复，server-id不能重复等等。

配置文件

node1

server-id=11 #任意自然数n，只要保证两台MySQL主机不重复就可以了。

log-bin=mysql-bin #开启二进制日志

auto_increment_increment=2 #步进值auto_imcrement。一般有n台主MySQL就填n

auto_increment_offset=1 #起始值。一般填第n台主MySQL。此时为第一台主MySQL

binlog-ignore=mysql #忽略mysql库【我一般都不写】

binlog-ignore=information_schema #忽略information_schema库【我一般都不写】

replicate-do-db=aa #要同步的数据库，默认所有库

node2

server-id=12

log-bin=mysql-bin

auto_increment_increment=2

auto_increment_offset=2

replicate-do-db=aa

重启

开始构建主主复制

因为主主复制是两个主从复制组合一起，所以我就接着上面主从复制接着配置。

第一步：

在node2上创建一个node1上可以登陆的用户

用户：mysql11

密码：mysql11

mysql>GRANT REPLICATION SLAVE ON *.* TO ‘mysql11’@’node1’ IDENTIFIED BY ‘mysql11’;

mysql>FLUSH PRIVILEGES;

第二步：

在node2查看二进制日志名和位置

mysql>show master status;

第三步：

告知二进制文件名与位置

在node1中执行：

mysql>CHANGE MASTER TO

MASTER_HOST=’node2’,

MASTER_USER=’mysql11’,

MASTER_PASSWORD=’mysql11’,

MASTER_LOG_FILE=’mysql-bin.000084’,

MASTER_LOG_POS=107;

完成主主复制配置*

测试主主复制

分别开启slave start；

mysql>SHOW SLAVE STATUS\G #查看主从复制是否配置成功

注意:

1、主主复制配置文件中auto_increment_increment和auto_increment_offset只能保证主键不重复，却不能保证主键有序。

2、当配置完成Slave_IO_Running、Slave_SQL_Running不全为YES时，show slave status\G信息中有错误提示，可根据错误提示进行更正。

3、Slave_IO_Running、Slave_SQL_Running不全为YES时，大多数问题都是数据不统一导致。

常见出错：

1、两台数据库都存在db数据库，而第一台MySQL db中有tab1，第二台MySQL db中没有tab1，那肯定不能成功。

2、已经获取了数据的二进制日志名和位置，又进行了数据操作，导致POS发生变更。在配置CHANGE MASTER时还是用到之前的POS。

3、stop slave后，数据变更，再start slave。出错。

更正法：重新执行一遍CHANGE MASTER就好了。

安装lua

官网下载：http://www.lua.org/download.html

Lua 是一个小巧的脚本语言。Lua由标准C编写而成，代码简洁优美，几乎在所有操作系统和平台上都可以编译，运行。

一个完整的Lua解释器不过200k，在目前所有脚本引擎中，Lua的速度是最快的。这一切都决定了Lua是作为嵌入式脚本的最佳选择。

1、安装lua需要依赖很多软件包。

可以通过rpm -qa | grep name检查以下软件是否安装：

gcc、gcc-c++、autoconf、automake、zlib、libxml、ncurses-devel、libmcrypt、libtool、flex、pkgconfig、libevent、glib*

若缺少相关的软件包，可通过yum -y install方式在线安装，或直接从系统安装光盘中找到并通过rpm -ivh方式安装。(我的话一般是直接在系统光盘软件库中找到直接rpm安装的，有些找不到，则先在网上下载然后在ftp传给linux再进行安装)

2、依赖软件安装完毕后则进行编译安装lua

MySQL-Proxy的读写分离主要是通过rw-splitting.lua脚本实现的，因此需要安装lua。

# wget http://www.lua.org/ftp/lua-5.1.4.tar.gz

# tar zxvf lua-5.1.4.tar.gz

# cd lua-5.1.4

# make linux

# make install

# export LUA_CFLAGS="-I/usr/local/include" LUA_LIBS="-L/usr/local/lib -llua -ldl" LDFLAGS="-lm"

安装mysql-proxy

1、首先查看linux版本确认是32位还是64为系统

下载地址：https://downloads.mysql.com/archives/proxy/

查看linux内核版本

cat /etc/issue

查看linux版本

cat /proc/version

# tar –zxvf mysql-proxy-0.8.5- linux-rhel5-x86-64bit.tar.gz

# mkdir /usr/local/mysql-proxy

# cp ./ mysql-proxy-0.8.5-linux-rhel5-x86-64bit/* /usr/local/mysql-proxy

# cd /usr/local/mysql-proxy

mysql读写分离测试

1、修改rw-splitting.lua文件

修改默认连接，进行快速测试，不修改的话要达到连接数为4时才启用读写分离

#cp /usr/local/mysql-proxy/share/doc/mysql-proxy/rw-splitting.lua ./

vim rw-splitting.lua

--- config

-- connection pool

if not proxy.global.config.rwsplit then

proxy.global.config.rwsplit = {

min-idle_connections = 1. #默认为4

max_idle_connections = 1. #默认为8

is_debug = false

}

end

2、修改完成后，启动mysql-proxy

# cd /usr/local/mysql/bin

# ./mysql-proxy --proxy-read-only-backend-addresses=192.168.95.12:3306 --proxy-backend-addresses=192.168.95.11:3306 --proxy-lua-script=/usr/local/mysql-proxy/rw-splitting.lua &

参数：

--proxy-read-only-backend-addresses　　#只读服务器地址(ip)

--proxy-backend-addresses　　　　　　　#服务器地址(主服务器)

--proxy-lua-script　　　　　　　　　　　　#lua脚本路劲

&　　　　　　　　　　　　　　　　　　　　 #表示后台执行

3、创建用于读写分离的数据库连接用户

用户名：proxy1

密码：321

mysql>grant all on *.* to 'proxy1'@'node3' identified by '321';

mysql>use aa;

mysql>create table tab1(id int auto_increment,name varchar(32) not null,primary key(id));

【因为已经开启了主从复制所以，11、12主机mysql中都创建了这个用户】

可以使用任意ip客户端端登陆这个账号

在node3登陆：

# ./mysql -u proxy1 -P4040 -h192.168.95.13 –p

创建数据库

use aa

insert into tab1(name) values("proxy111");

insert into tab1(name) values("proxy222");

在两个mysql中查看结果：一致

结果表明：账号使用

5、关闭node2 mysql的主从复制

mysql > stop slave;

6、证明写分离

使用proxy1@node3账号打开多个客户端进行插入数据

打开三个mysql客户端分别插入2条数据：

mysql> insert into tab1 (name) values('stop_slave11111');

….

mysql> insert into tab1 (name) values('stop_slave6666’);

查看：

分别登陆node1 mysql与node2 mysql查看表中的数据

select * from tab1;

若node1有数据而node2中没有数据则证明写分离

7、证明读分离

使用proxy1@node3账号登陆mysql，查看tab1中的数据

mysql>use aa;

mysql>select*from tab1;

若没有数据刚刚才插入的数据则，证明读分离。

脚本

为了方便启动与管理mysql-proxy可以创建mysql-proxy服务管理脚本

下面这个管理脚本仅适合以上我给出的安装路径位置

#!/bin/sh

# mysql-proxy This script starts and stops the mysql-proxy daemon

# chkconfig: - 78 30

# processname: mysql-proxy

# description: mysql-proxy is a proxy daemon to mysql

# Source function library.

. /etc/rc.d/init.d/functions

#PROXY_PATH=/usr/local/bin

PROXY_PATH=/usr/local/mysql-proxy/bin

prog="mysql-proxy"

# Source networking configuration.

. /etc/sysconfig/network

# Check that networking is up.

[ ${NETWORKING} = "no" ] && exit 0

# Set default mysql-proxy configuration.

#PROXY_OPTIONS="--daemon"

PROXY_OPTIONS="--proxy-read-only-backend-addresses=192.168.95.12:3306 --proxy-backend-addresses=192.168.95.11:3306 --proxy-lua-script=/usr/local/mysql-proxy/rw-splitting.lua"

PROXY_PID=/usr/local/mysql-proxy/run/mysql-proxy.pid

# Source mysql-proxy configuration.

if [ -f /etc/sysconfig/mysql-proxy ]; then

. /etc/sysconfig/mysql-proxy

PATH=$PATH:/usr/bin:/usr/local/bin:$PROXY_PATH

# By default it's all good

RETVAL=0

# See how we were called.

case "$1" in

start)

# Start daemon.

echo -n $"Starting $prog: "

$NICELEVEL $PROXY_PATH/mysql-proxy $PROXY_OPTIONS --daemon --pid-file=$PROXY_PID --user=root --log-level=debug --log-file=/usr/local/mysql-proxy/log/mysql-proxy.log

RETVAL=$?

echo

if [ $RETVAL = 0 ]; then

touch /var/lock/subsys/mysql-proxy]

echo "ok"

;;

stop)

# Stop daemons.

echo -n $"Stopping $prog: "

killproc $prog

RETVAL=$?

echo

if [ $RETVAL = 0 ]; then

rm -f /var/lock/subsys/mysql-proxy

rm -f $PROXY_PID

;;

restart)

$0 stop

sleep 3

$0 start

;;

condrestart)

[ -e /var/lock/subsys/mysql-proxy ] && $0 restart

;;

status)

status mysql-proxy

RETVAL=$?

;;

echo "Usage: $0 {start|stop|restart|status|condrestart}"

RETVAL=1

;;

esac

exit $RETVAL

#---我将mysql-proxy服务管理脚本放在了/usr/local/mysql-proxy/init.d/文件夹里

#---给执行权限，建立相应目录

#chmod +x /usr/local/mysql-proxy/init.d/mysql-proxy

#mkdir /usr/local/mysql-proxy/run

#mkdir /usr/local/mysql-proxy/log

#cd /usr/local/mysql-proxy/init.d/

#---启动mysql-proxy

#./mysql-proxy start

#---停止mysql-proxy

#./mysql-proxy stop

#---重启mysql-proxy

#./mysql-proxy restart