分库分表

目录

一 为什么要分库分表

二 怎么分库分表

三 分库分表中间件

---

一 为什么要分库分表

       随着业务的发展，数据库的数据在不断的增加，当数据量达到千万或者亿级别时，单台数据库的存储将成为系统的瓶颈，主要体现在当单台数据库的数据量太大时，索引也会变得很大，读写效率不高；由于数据量庞大，数据的备份和恢复也将需要很长时间，因此，需要将数据分布到多台数据库上。

二 怎么分库分表

       当单表数据量太过庞大，会极大影响 sql 的执行性能，到了一定程度 sql 有可能变得很慢。这个时候就可以进行分表操作

2.1 分库和分表概念

       分库就是：将一个库的数据分布到多个库，之后比如要读写一条记录的话，将根据一定的路由规则写入 A 库，之后再根据路由规则从 A 库中读取。

       分表就是：将一个表的数据分布到多个表中，之后比如要读写一条记录的话，将根据一定的路由规则写入 a 表，之后再根据路由规则从 a 表中读取。

2.2 如何分库分表

• 垂直拆分

       垂直分表适合将表中某些不常用且占了大量空间的列拆分出去，可以拆分成多个表，或者是多个库。垂直拆分引入的复杂性主要体现在表或者库操作的数量要增加。以前查询一次就可以拿到数据，现在需要查询多次。

• 水平拆分

       水平分表适合表行数特别大的表，当表的访问性能较差时，需要对表进行拆分。这块主要有两种方式进行拆分：

       1 范围拆分：

       选取有序的数据列，一般选择时间戳或者表 ID 进行拆分，比如说按照时间戳进行拆分，1 月份数据在 a 表，2 月份数据在 b           表。这种拆分的优点是可以随着数据的增加平滑地扩充新的表，缺点是数据有可能分布不均匀。

       2 Hash拆分：

       选取某个列（或者某几个列组合也可以）的值进行 Hash 运算，然后根据 Hash 结果分散到不同的数据库表中。

       Hash拆分的优点是数据分布均匀，缺点是扩容麻烦，会牵涉到数据迁移，涉及到数据 reHash 操作。

三 分库分表中间件

       实现分库分表的中间件有很多，比如：

• Cobar：https://github.com/alibaba/cobar
• TDDL：https://github.com/alibaba/tb_tddl
• Atlas：https://github.com/alibaba/atlas
• shardingsphere：https://github.com/apache/incubator-shardingsphere
• Mycat：https://github.com/MyCATApache/Mycat-Server

       shardingsphere 这种 client 层方案的优点在于不用部署，运维成本低，不需要代理层的二次转发请求，性能很高，但是如果遇到升级啥的需要各个系统都重新升级版本再发布，各个系统都需要耦合 shardingsphere 的依赖；

       Mycat 这种 proxy 层方案的缺点在于需要部署，自己运维一套中间件，运维成本高，但是好处在于对于各个项目是透明的，如果遇到升级之类的都是自己中间件那块升级就行。

       通常来说，这两个方案其实都可以选用，一般建议中小型公司选用 shardingsphere，client 层方案轻便，而且维护成本低，不需要额外增派人手，而且中小型公司系统复杂度会低一些，项目也没那么多；但是中大型公司最好还是选用 Mycat 这类 proxy 层方案，因为可能大公司系统和项目非常多，团队很大，人员充足，那么最好是专门团队来研究和维护 Mycat，然后大量项目直接透明使用即可。