mysql atlas分表_数据切分——Atlas读写分离Mysql集群的搭建

本文介绍了如何搭建Atlas MySQL集群,实现数据的水平切分和读写分离。Atlas作为一个中间件,降低了Web Server与DB的耦合度,支持灵活的配置。详细步骤包括安装、配置及功能测试,涉及主从数据库、分表策略和读写分离的验证。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Atlas源代码用C语言编写,它对于Web

Server相当于是DB,相对于DB相当于是Client,如果把Atlas的逻辑放到Web Server程序里去处理,这样会大大增加Web

Server程序的复杂度,同时Web Server和DB之间的耦合度也相当高,因为只要DB增加/减少服务,Web

Server就有可能要发生代码改变,若代码不改变,就得通过中间关系表与心跳机制来维护Server之间的关系,这样会带来性能的损耗,而Atlas是架设在Web

Server与DB之间的一个中间件,Web

Server与DB之间的耦合关系放到了Atlas来处理,既做到了灵活也保留了性能,这也是Atlas存在的价值。

Atlas支持表的水平切分,支持读写分离,对数据实时性要求较高的项目可以在select语句前增加/*master*/强制读主库,主从MySQL数据库之间数据的同步需要自己配置,主从mysql数据库数据主从复制的配置方法参见博客:

1.安装

注意:只能安装在64位的Linux操作系统上,CentOS官方建议rpm安装方式

目前最新的版本为:

Atlas-2.2.1.el5.x86_64.rpm                      CentOS 5.*  版本

Atlas-2.2.1.el6.x86_64.rpm                      CentOS 6.*  版本

我的环境是CentOS 6.6 Basic Server x86_64

安装命令:

[root@jhq0229 src]# rpm -i Atlas-2.2.1.el6.x86_64.rpm

安装位置:

/usr/local/mysql-proxy

配置文件:

/usr/local/mysql-proxy/conf/test.cnf

重要配置文件详解:

(1)线程数

event-threads项设置,过小无法充分发挥多核CPU的性能,过大造成不必要的线程切换开销,推荐设置为CPU的核数。

(2)最小空闲连接数(2.x以上版本不需要该项,1.x版本需要)

min-idle-connections项设置,过小则在高并发下会有报错,过大虽然不报错但在测试时不容易看出读写分离效果,推荐设置为比客户端的并发峰值稍大,详见《配置参数详解》。上面的配置范例是针对Atlas 2.X版本,没有该选项。对于Atlas 1.X版本的配置文件,需要加入该配置选项

(3)Atlas的工作端口

proxy-address项配置,例如proxy-address = 0.0.0.0:1234代表客户端应该使用1234这个端口连接Atlas来发送SQL请求。

(4)Atlas的管理端口

admin-address项配置,例如admin-address = 0.0.0.0:2345代表DBA应该使用2345这个端口连接Atlas来执行运维管理操作。

(5)管理接口的用户名和密码

admin-username项和admin-password项设置,这两项是用来进入Atlas的管理界面的,与后端连接的MySQL没有关系,所以可以任意设置,不需要MySQL在配置上做任何改动。

(6)日志级别

以log-level项配置,分为message、warning、critical、error、debug五个级别。

(7)日志路径

以log-path项配置,如log-path = /usr/local/mysql-proxy/log。

(8)主库的IP和端口

proxy-backend-addresses = 192.168.0.12:3306

(9)从库的IP和端口,@后面的数字代表权重,用来作负载均衡,若省略则默认为1,可设置多项,用逗号分隔。如果想让主库也能分担读请求的话,只需要将主库信息加入到下面的配置项中。

proxy-read-only-backend-addresses = 192.168.0.13:3306,192.168.0.14:3306

(10)用户名与其对应的加密过的MySQL密码,密码使用PREFIX/bin目录下的加密程序encrypt加密,用户名与密码之间用冒号分隔。主从数据库上需要先创建该用户并设置密码(用户名和密码在主从数据库上要一致)。比如用户名为myuser,密码为mypwd,执行./encrypt

mypwd结果为HJBoxfRsjeI=。如果有多个用户用逗号分隔即可。则设置如下行所示:

pwds = myuser: HJBoxfRsjeI=,myuser2:HJBoxfRsjeI=

(11)分表设置,此例中person为库名,mt为表名,id为分表字段,3为子表数量,可设置多项,以逗号分隔,若不分表则不需要设置该项,子表需要事先建好,子表名称为表名_数字,数字范围为[0,子表数-1],如本例里,子表名称为mt_0、mt_1、mt_2

tables = person.mt.id.3

我的配置:

[mysql-proxy]

#管理接口的用户名

admin-username = user

#管理接口的密码

admin-password = pwd

#Atlas后端连接的MySQL主库的IP和端口,可设置多项,用逗号分隔

proxy-backend-addresses = 192.168.1.18:3306

#从库

proxy-read-only-backend-addresses = 192.168.1.16:3306@1

#用户名和密码配置项,需要和主从复制配置的用户名和密码配置一样

#pwds = user1:+jKsgB3YAG8=, user2:GS+tr4TPgqc=

pwds = mastt:/iZxz+0GRoA=

#后台运行

daemon = true

keepalive = true

#工作线程数,对Atlas的性能有很大影响,可根据情况适当设置

event-threads = 8

#日志级别,分为message、warning、critical、error、debug五个级别

log-level = message

#日志存放的路径

log-path = /usr/local/mysql-proxy/log

#SQL日志的开关,可设置为OFF、ON、REALTIME,OFF代表不记录SQL日志,ON代表记录SQL日志,REALTIME代表记录SQL日>志且实时写入磁盘,默认为OFF

#sql-log = OFF

#慢日志输出设置。当设置了该参数时,则日志只输出执行时间超过sql-log-slow(单位:ms)的日志记录。不设置该参数

则输出全部日志。

#sql-log-slow = 10

#实例名称,用于同一台机器上多个Atlas实例间的区分

#instance = test

#Atlas监听的工作接口IP和端口

proxy-address = 192.168.1.18:8060

#Atlas监听的管理接口IP和端口

admin-address = 192.168.1.18:2345

#分表设置,此例中person为库名,mt为表名,id为分表字段,3为子表数量,可设置多项,以逗号分隔,若不分表则不需

要设置该项

#tables = person.mt.id.3

tables=orders.my_orders.year.2015

#默认字符集,设置该项后客户端不再需要执行SET NAMES语句

charset = utf8

#允许连接Atlas的客户端的IP,可以是精确IP,也可以是IP段,以逗号分隔,若不设置该项则允许所有IP连接,否则只允

许列表中的IP连接

#client-ips = 127.0.0.1, 192.168.1

#Atlas前面挂接的LVS的物理网卡的IP(注意不是虚IP),若有LVS且设置了client-ips则此项必须设置,否则可以不设置

#lvs-ips = 192.168.1.1

从以上配置可以清楚看到:

主库:192.168.1.18:3306

从库:192.168.1.16:3306    权重为1

注意:主从复制需要自行配置。

Atlas Proxy的ip和端口为:192.168.1.18:8060

主从复制的用户和密码为:mastt     123456,以上的pwds的密码是经过加密处理的

若用Navicat登陆,就用Atlas Proxy的ip和端口,用户名和密码用主从复制的,主从复制的账户需要设置可以在Navicat上登陆。

分表配置项:

tables=orders.my_orders.year.2015

我的主从库名称是orders,里有三张表,分别是my_orders_0,my_orders_1,my_orders_2,按year字段进行分表,虽然分了2015张表,但是你的数据库里不一定有这么多张表,这里的2015只是取模的一个基数,按照此规律去找到相应的表,例如year=2015,数据请求会发送到my_orders_0表。

编写简单Atlas的启动脚本:

[root@jhq0229 ~]# vim /etc/init.d/atlas

内容如下:

#!/bin/sh

#

#atlas:    Atlas Daemon

#

# chkconfig:    - 90 25

# description:  Atlas Daemon

#

# Source function library.

start()

{

echo -n $"Starting atlas: "

/usr/local/mysql-proxy/bin/mysql-proxyd test start

echo

}

stop()

{

echo -n $"Shutting down atlas: "

/usr/local/mysql-proxy/bin/mysql-proxyd test stop

echo

}

ATLAS="/usr/local/mysql-proxy/bin/mysql-proxyd"

[ -f $ATLAS ] || exit 1

# See how we were called.

case "$1" in

start)

start

;;

stop)

stop

;;

restart)

stop

sleep 3

start

;;

*)

echo $"Usage: $0 {start|stop|restart}"

exit 1

esac

exit 0

授权并加入开机启动

[root@jhq0229 ~]# chmod +x /etc/init.d/atlas

[root@jhq0229 ~]# chkconfig atlas on

启动atlas服务

[root@jhq0229 ~]# service atlas start

2.功能测试:

1).利用mastt用户123456密码Navicat登陆到192.168.1.18:8060查看数据库表,开始数据库中没有数据。

表结构如下:

CREATE TABLE `my_orders_0` (

`id` int(10) unsigned NOT NULL AUTO_INCREMENT COMMENT '表主键',

`pid` int(10) unsigned NOT NULL COMMENT '产品ID',

`price` decimal(15,2) NOT NULL COMMENT '单价',

`num` int(11) NOT NULL COMMENT '购买数量',

`person` varchar(255) NOT NULL COMMENT '客户姓名',

`atime` int(10) unsigned NOT NULL COMMENT '下单时间',

`utime` int(10) unsigned NOT NULL COMMENT '修改时间',

`isdel` tinyint(4) NOT NULL DEFAULT '0' COMMENT '软删除标识',

`year` smallint(5) unsigned NOT NULL COMMENT '年',

PRIMARY KEY (`id`)

) ENGINE=InnoDB DEFAULT CHARSET=utf8;

插入数据

INSERT INTO `my_orders`(`pid`,`price`,`num`,`person`,`atime`,`utime`,`year`) VALUES ('1', '123.54', '1', '周润发', '1426335606', '1426335606','2015');

INSERT INTO `my_orders`(`pid`,`price`,`num`,`person`,`atime`,`utime`,`year`) VALUES ('3', '13.67', '4', '周迅', '1426338765', '1426338765', '2016');

INSERT INTO `my_orders`(`pid`,`price`,`num`,`person`,`atime`,`utime`,`year`) VALUES ('4', '44.44', '4', '郭敬明', '1426754324', '1426754324','2017');

此时我们会看到my_orders_0,1,2表中分别有一条数据,15年的在0表,16年在1表,17年的在2表。

查询测试,如果不指定表的全名,查询时需要year字段作为where条件,否则不会通过,测试结果如下图:

f933c69d216cb4c551c188c02a199aa8.png

读写分离测试,为了达到测试效果,我们在从库的my_orders_0表手动添加一条数据,语句如下:

INSERT INTO `my_orders_0`(`pid`,`price`,`num`,`person`,`atime`,`utime`,`year`) VALUES ('2', '212.54', '1', '梁朝伟', '1426335606', '1426335606','2015');

此时,主库的0表只有一条数据,从表里有两条数据,如果我们执行查询语句

SELECT * FROM my_orders WHERE `year`=2015出现一条结果,则都的是主库,若出现两条则为从库,结果如下图:

99a7d29287f2afdb78a928f432b1aaa1.png

证明已经读的是从库。

测试强制读主库,若执行语句/*master*/ SELECT * FROM my_orders WHERE `year`=2015有两条记录则读的是从库,如果是一条记录都的是主库,测试结果只有周润发一条记录。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值