一、Atlas介绍
Atlas是360开源的一个Mysql Proxy,以下是官方介绍:
Atlas是由 Qihoo 360公司Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它在MySQL官方推出的MySQL-Proxy 0.8.2版本的基础上,修改了大量bug,添加了很多功能特性。目前该项目在360公司内部得到了广泛应用,很多MySQL业务已经接入了Atlas平台,每天承载的读写请求数达几十亿条。同时,有超过50家公司在生产环境中部署了Atlas,超过800人已加入了我们的开发者交流群,并且这些数字还在不断增加。
https://github.com/Qihoo360/Atlas/blob/master/README_ZH.md
以下是其github代码库:https://github.com/Qihoo360/Atlas
主要功能:
1.读写分离
2.从库负载均衡
3.IP过滤
4.自动分表
5.DBA可平滑上下线DB
6.自动摘除宕机的DB
“自动分表”需要打引号,对于新表是没问题的;
如果是一张有历史数据的表需要拆分,Atlas是不会帮我们拆分的,就需要自己写工具迁移。
二、安装
1、从官网下载相应版本,我们选择的是2.2.1;
https://github.com/Qihoo360/Atlas/releases
分表的方式有2种,1是单机分表,另1种是支持跨机器分表,可以根据情况选择,我们选择的是单机分表的,即一张总表拆成多张子表,子表和总表都在一个Mysql实例上。
2、安装
因为是rpm安装,直接用rpm命令安装就可以了:
rpm -i Atlas-2.2.1.el6.x86_64.rpm
默认安装目录为 /usr/local/mysql-proxy。
启动命令
/usr/local/mysql-proxy/bin/mysql-proxyd test start
test表示哪个实例
配置文件在 usr/local/mysql-proxy/conf下,每个配置文件表示一个实例;
3、配置说明
以下是常用的配置项:
配置 | 说明 |
---|---|
admin-username | 后台管理员账号 |
admin-password | 后台管理员密码 |
proxy-backend-addresses | Mysql实例,多项以,(逗号)分隔 |
pwds | 密码,必须和Mysql实例的密码一样, 用安装目录 bin目录下的加密程序encrypt加密 |
event-threads | 工作线程数,对性能影响大 |
sql-log | SQL日志的开关,可设置为OFF、ON、REALTIME,OFF代表不记录SQL日志,ON代表记录SQL日志,REALTIME代表记录SQL日志且实时写入磁盘 |
proxy-address | Atlas监听的工作接口IP和端口 |
tables | 分表设置,此例中person为库名,mt为表名,id为分表字段,3为子表数量,可设置多项,以逗号分隔,若不分表则不需要设置该项 |
关键参数:
proxy-backend-addresses:后端Mysql实例地址
tables:分表参数,格式:
数据库名.表名.分表字段.子表数量
举1个栗子,假如我们在做社区,社区主要功能是发帖和回帖,那主要是2张表(只是为了演示,不会把真实实际场景所有字段加上):
帖子表(posts)
字段名 | 类型 | 说明 |
tid | int | 帖子id |
title | varchar(200) | 帖子标题 |
content | text | 帖子内容 |
回复表(replies)
字段名 | 类型 | 说明 |
pid | int | 回复id |
tid | int | 帖子id |
uid | int | 用户id |
content | text | 回复内容 |
create_time | datetime | 插入时间 |
假设这些表都在数据库forums中,
如果我们要对replies进行分表,则tables这样设置
forums.replies.tid.64
上面表示对replies进行分表,分表字段为tid,即所有tid相同的回复会在同一张表,总共分64张表。
三、踩过的坑
1、Atlas不支持压缩选项,以下连接是不行的
mysql_connect($dbhost, $dbuser, $dbpw, 1, MYSQL_CLIENT_COMPRESS);
正确的写法
mysql_connect($dbhost, $dbuser, $dbpw, 1);
2. Count语句问题
分表后,count返回的结果会是针对多个表查询的多个值(count结果为0的不返回),具体示例如下(当前分表为4张):
3. 分表后,如果删掉主表,则不带分表字段的查询会报错(如下图);如果保留主表,则查询的是主表数据。
4. 分页问题
以上面举例的场景来说,如果要从回复表查询uid为123,并且tid为100-200之间的记录的第2页(Discuz里就是这样查用户的回复的),每页显示10条,按时间倒序,就有可能返回为空了;
为什么这样呢,设想这样一个场景,用户一共有40条回复,假设分布在4张表中,并且分布很均匀,每张表10条记录,因为从每张子表取偏移10-20的记录,子表返回为空了,实际是用户是有数据的,正确的做法是从每张表取出前20条记录,再合并然后进行分页。
关于这个问题,我已经在另一篇文章详细说明了,Mysql中间件360 Atlas踩坑
四、总结
1、如果你是新表,并且预见以后数据很大,可以用上Atlas来解决数据量的问题;
2、旧表的话,你还得自己写脚本导数据,核对数据;
3、如果有些分页查询的话,还需要自己重写;
4、确定你的所有场景的查询是否都有分表字段作为where,没有的话,需要自己再写工具将子表的数据同步到总表;
可以看到Atlas如果需要产品化还要做很多的事情,如果确定上面都不是问题,就大胆的用吧~
往期精彩文章:
FastDFS不同步怎么破
Dubbo2.7试用
redis-port支持前缀迁移
扩展Redis:增加Redis命令