mysql mycat查询数据_Mycat（4）：消息表mysql数据库分表实践

1，业务需求

比如一个社交软件，比如像腾讯的qq。可以进行群聊天(gid)，也可以单人聊天。

这里面使用到了数据库中间件mycat，和mysql数据表分区。

关于mycat分区参考：

【 数据库垂直拆分，水平拆分利器，cobar升级版mycat】

http://blog.csdn.net/freewebsys/article/details/44046365

2，具体方案设置分区

利用mysql分区，假设mysql数据表简单的为：

CREATE TABLE `group_msg` (

`id` bigint(20) NOT NULL,

`gid` bigint(20) DEFAULT NULL COMMENT '',

`content` varchar(4000),

`create_time` datetime DEFAULT NULL,

PRIMARY KEY (`id`,`gid`)

) ENGINE=MyISAM DEFAULT CHARSET=utf8

PARTITION BY KEY(`gid`)

PARTITIONS 100;

数据表中按照gid进行分区，id不是自增，而是使用全局变量生成的。

在mycat中带全局变量生成的函数。这里有个技巧，按照每一个群组做一个全局的id，每个群组的消息都是从1开始。这样每个群组的id就是聊天信息的总数，方便分页查询历史记录使用。历史记录表后面继续分析。

分区表可以设置的大些，因为数据放在本地切分成多个文件成本比较低。

3，配置mycat分表

由于mycat配置分表是按照分库进行的。所有需要创建多个数据库。

比起表分区是麻烦点。

参考之前博客：

【Mycat 水平分表，垂直分表实践(2)】博客数据表拆分和全局id

http://blog.csdn.net/freewebsys/article/details/44399901

其中规则xml的配置如下：

user_id

mod-long

class="org.opencloudb.route.function.PartitionByMod">

10

分区schema配置文件：

writeType="0" dbType="mysql" dbDriver="native">

select 1

writeType="0" dbType="mysql" dbDriver="native">

select 1

writeType="0" dbType="mysql" dbDriver="native">

select 1

writeType="0" dbType="mysql" dbDriver="native">

select 1

writeType="0" dbType="mysql" dbDriver="native">

select 1

考虑按照数据库拆分成本比较高，直接拆分成10个数据库，分别放到5个机器上面。如果压力大可以直接放到10个机器上面。

实际上表分区加上mycat，一个拆了100*10个文件。按照每个文件能承载1000w条记录算，可以承受100亿数据。

这个当然是理论了。假设日活100w，每人发10条，基本上够2-3年使用的了。

4，总结

这个只是消息表的一个简单的设计方案。通过使用成熟的组件搭建的分表方案。同时利用了mysql分区和mycat分表两个结合下。

毕竟一个mysql物理机器不能分太多文件，两个结合起来效率就高了。达到一个运维成本低，毕竟线上mysql数据库要配置master-slave，拆的多维护的多。