理论 | 分库分表需要考虑的问题及方案

小小∽

于 2020-08-31 00:34:00 发布

阅读量239

点赞数

文章标签：数据库分布式 java mysql sql

本文链接：https://blog.csdn.net/melovemingming/article/details/108313980

版权

基本思想

Sharding的基本思想就是把一个数据库切分成多个部分放到不同的数据库，用来缓解单一数据库的性能问题。即，有两种拆分方式，第一种拆分方式是把表进行拆分，把表放到多个server上，用来实现基本的拆分。第二种拆分方式是在表的数据量很大的时候，按照某种ID顺序，切分到多个数据库上。这两种切分方式被称为水平切分和垂直切分。

常用中间件

这里常用的中间件有以下几种。

简单易用的

当当网 sharding-jdbc 蘑菇街：Tsharding

强悍重量级中间件

sharding TDDL Smart Client Atlas alibaba.cobar MyCat

需要解决的问题

事物问题

解决事物问题，有两种可行的方案，这里使用分布式事物，或者通过应用程序与数据库共同控制实现事物。做一个简单的对比

方案一：使用分布式事物

优点：交给数据库管理，简单有效。缺点：性能代价相当高。

方案二：由应用程序和数据库共同控制

原理：把一个跨多个数据库的分布式事物分拆成多个仅处于单个数据库上的小事物，通过应用程序来控制各个小事物。优点：性能较高。缺点：需要应用程序在事物上做控制，

跨节点join的问题

只要是进行切分，跨节点的join就会有此问题。一般做法是分两次查询实现。第一次查询获得id，第二次再次查询获得第二次的id。

跨节点的count，order by， group by 以及聚合函数。

这是一类问题，解决办法就是在分节点上获取到数据，然后在应用程序端进行合并。

ID 问题

一旦数据库被切分到多个物理结点上，此时需要以下的方式作为数据库主键生成方式。

UUID

这是作为主键的最简单的方案，索引建立不方便，以及性能不方便。

维护数据库的Sequence表

在数据库中建立一个相关的表，表的结构如下

CREATE TABLE `SEQUENCE` (
    `table_name` varchar(18) NOT NULL,
    `nextid` bigint(20) NOT NULL,
    PRIMARY KEY (`table_name`)
) ENGINE=InnoDB

通过使用Twitter的Snowflake算法

这里使用推特的UUID算法，进行生成。

10---0000000000 0000000000 0000000000 0000000000 0 --- 00000 ---00000 ---000000000000 在上面的字符串中，第一位为未使用（实际上也可作为long的符号位），接下来的41位为毫秒级时间，然后5位datacenter标识位，5位机器ID（并不算标识符，实际是为线程标识），然后12位该毫秒内的当前毫秒内的计数，加起来刚好64位，为一个Long型。

这样的好处是，整体上按照时间自增排序，并且整个分布式系统内不会产生ID碰撞（由datacenter和机器ID作区分），并且效率较高，经测试，snowflake每秒能够产生26万ID左右，完全满足需要。