MySQL 数据库分库分表问题

一、为什么要分表：

    对于海量数据，进行分表可以减小数据库的负担，缩短查询时间。
     比如对于某网站平台的数据库，数据量达到 5000万条，可以设计每张表容纳的数据量是500万条，也就是拆分成10张表，
    那么如何判断某张表的数据是否容量已满呢？可以在程序段对于要新增数据的表，在插入前先做统计表记录数量的操作，当<500万条数据，就直接插入，当已经到达阀值，可以在程序段新创建数据库表（或者已经事先创建好），再执行插入操作。

二、利用 merge 存储引擎 来实现分表

    如果要把已有的大数据量表分开比较痛苦，而用 merge存储引擎来实现分表, 这种方法比较适合.
举例子：

关键是这句：

ENGINE=MERGE UNION=(t1, t2) INSERT_METHOD=LAST;

三、数据库架构

1、简单的MySQL主从复制【Slave 从 Master获取 Binary log文件，然后在本地镜像的执行日志中记录。由于主从复制的过程是异步的，因此 Slave 和 Master 之间的数据有可能存在延迟的现象，此时只能保证数据最终的一致性。】会带来其他一系列性能瓶颈问题：

• 写入无法扩展
• 写入无法缓存
• 复制延时
• 锁表率上升
• 表变大，缓存率下降

MySQL垂直切分

     垂直切分常见有垂直分库和垂直分表两种。

垂直分库

     垂直分库就是根据业务耦合性，将关联度低的不同表存储在不同的数据库。做法与大系统拆分为多个小系统类似，按业务分类进行独立划分。与"微服务治理"的做法相似，每个微服务使用单独的一个数据库。如图：

垂直分表

     垂直分表是基于数据库中的 “列” 进行，某个表字段较多，可以新建一张扩展表，将不经常用或字段长度较大的字段拆分出去到扩展表中。
     在字段很多的情况下（例如一个大表有100多个字段），通过 “大表拆小表”，更便于开发与维护，也能避免跨页问题，MySQL 底层是通过数据页存储的，一条记录占用空间过大会导致跨页，造成额外的性能开销。另外数据库以行 为单位将数据加载到内存中，这样表中字段长度较短且访问频率较高，内存能加载更多的数据，命中率更高，减少了磁盘IO，从而提升了数据库性能。

垂直切分的优点：

• 解决业务系统层面的耦合，业务清晰，其中一个业务崩溃了也不会影响其他业务的正常进行
• 与微服务的治理类似，也能对不同业务的数据进行分级管理、维护、监控、扩展等
• 高并发场景下，垂直切分一定程度的提升IO、数据库连接数、单机硬件资源的瓶颈

垂直切分的缺点：

• 部分表无法 join，只能通过接口聚合方式解决，提升了开发的复杂度
• 分布式事务处理复杂
• 依然存在单表数据量过大的问题（需要水平切分）

MySQL水平切分

     将用户按一定规则（如：按 ID 哈希）分组，并把该组用户的数据存储到一个数据库分片中，即一个sharding，这样随着用户数量的增加，只要简单地配置一台服务器即可，原理图如下：

如上，根据数值取模
     一般采用 hash取模mod 的切分方式，例如：将 Customer 表根据 cusno 字段切分到4个库中，余数为0的放到第一个库，余数为1的放到第二个库，以此类推。这样同一个用户的数据会分散到同一个库中，如果查询条件带有cusno字段，则可明确定位到相应库去查询。

优点：

• 数据分片相对比较均匀，不容易出现热点和并发访问的瓶颈
  缺点：
• 后期分片集群扩容时，需要迁移旧的数据（使用一致性 hash 算法能较好的避免这个问题）
• 容易面临跨分片查询的复杂问题。比如上例中，如果频繁用到的查询条件中不带cusno时，将会导致无法定位数据库，从而需要同时向4个库发起查询，再在内存中合并数据，取最小集返回给应用，分库反而成为拖累。

或者：根据数值范围
     按照时间区间 或 ID区间来切分。例如：按日期将不同月甚至是日的数据分散到不同的库中；将userId为1 ~ 9999的记录分到第一个库，10000~20000的分到第二个库，以此类推。某种意义上，某些系统中使用的"冷热数据分离"，将一些使用较少的历史数据迁移到其他库中，业务功能上只提供热点数据的查询，也是类似的实践。
     再比如，计费系统，通过按时间来划分表就比较合适，因为系统都是处理某一时间段的数据。

这样的优点在于：

• 单表大小可控
• 天然便于水平扩展，后期如果想对整个分片集群扩容时，只需要添加节点即可，无需对其他分片的数据进行迁移
• 使用分片字段进行范围查找时，连续分片可快速定位分片进行快速查询，有效避免跨分片查询的问题

缺点：

• 热点数据成为性能瓶颈。连续分片可能存在数据热点，例如按时间字段分片，有些分片存储最近时间段内的数据，可能会被频繁的读写，而有些分片存储的历史数据，则很少被查询。

总结：

     垂直拆分可以分模块划分，针对不同的业务进行管理，但是没法儿解决一个表中仍存在海量数据的问题；而水平拆分可以把一个表中的海量数据进行拆分。
     水平拆分行，行数据拆分到不同表中；
     垂直拆分列，表数据拆分到不同表中。