Mysql学习笔记---MySQL集群架构之分库分表

Mysql学习笔记—MySQL集群架构之分库分表

1. 简介

1. 数据量只增不减，历史数据又必须要留存，非常容易成为性能的瓶颈，而要解决这样的数据库瓶颈问题，“读写分离”和缓存往往都不合适，目前比较普遍的方案就是使用NoSQL/NewSQL或者采用分库分表。
2. 使用分库分表时，主要有垂直拆分和水平拆分两种拆分模式，都属于物理空间的拆分。
3. 分库分表方案：只分库、只分表、分库又分表。
   1. 垂直拆分：由于表数量多导致的单个库大。将表拆分到多个库中。
   2. 水平拆分：由于表记录多导致的单个库大。将表记录拆分到多个表中。

2. 垂直拆分之垂直分库

1. 垂直拆分又称为纵向拆分，垂直拆分是将表按库进行分离，或者修改表结构按照访问的差异将某些列拆分出去。
2. 应用时有垂直分库和垂直分表两种方式，一般谈到的垂直拆分主要指的是垂直分库。
3. 原来用户信息和订单信息存在一个数据库中，但是后来我们采用垂直分库，将用户表和订单表拆分到不同的数据库中，如下图所示：
   

3. 垂直拆分之垂直分表

1. 垂直分表就是将一张表中不常用的字段拆分到另一张表中，从而保证第一张表中的字段较少，避免出现数据库跨页存储的问题，从而提升查询效率。
2. 可以解决：一个表中字段过多，还有有些字段经常使用，有些字段不经常使用，或者还有text等字段信息。可以考虑使用垂直分表方案。
3. 按列进行垂直拆分，即把一条记录分开多个地方保存，每个子表的行数相同。把主键和一些列放到一个表，然后把主键和另外的列放到另一个表中。
   

4. 垂直拆分优劣对比

1. 垂直拆分优点：
   1. 拆分后业务清晰，拆分规则明确；
   2. 易于数据的维护和扩展；
   3. 可以使得行数据变小，一个数据块 (Block) 就能存放更多的数据，在查询时就会减少 I/O 次数；
   4. 可以达到最大化利用 Cache 的目的，具体在垂直拆分的时候可以将不常变的字段放一起，将经常改变的放一起；
   5. 便于实现冷热分离的数据表设计模式。
2. 垂直拆分缺点：
   1. 键出现冗余，需要管理冗余列；
   2. 会引起表连接 JOIN 操作，可以通过在业务服务器上进行 join 来减少数据库压力，提高了系统的复杂度；
   3. 依然存在单表数据量过大的问题；
   4. 事务处理复杂。

5. 水平拆分

1. 水平拆分又称为横向拆分。 相对于垂直拆分，它不再将数据根据业务逻辑分类，而是通过某个字段（或某几个字段），根据某种规则将数据分散至多个库或表中，每个表仅包含数据的一部分，如下图所示。
2. 水平分表是将一张含有很多记录数的表水平切分，不同的记录可以分开保存，拆分成几张结构相同的表。
3. 如果一张表中的记录数过多，那么会对数据库的读写性能产生较大的影响，虽然此时仍然能够正确地读写，但读写的速度已经到了业务无法忍受的地步，此时就需要使用水平分表来解决这个问题。
   

6. 水平拆分优劣对比

1. 水平拆分优点：
   1. 拆分规则设计好，join 操作基本可以数据库做；
   2. 不存在单库大数据，高并发的性能瓶颈；
   3. 切分的表的结构相同，应用层改造较少，只需要增加路由规则即可；
   4. 提高了系统的稳定性和负载能力。
2. 水平拆分缺点：
   1. 拆分规则难以抽象；
   2. 跨库Join性能较差；
   3. 分片事务的一致性难以解决；
   4. 数据扩容的难度和维护量极大。

7. 水平，垂直拆分总结

1. 水平拆分：解决表中记录过多问题，相对来说跟技术的拆分更挂钩。
2. 垂直拆分：解决表过多或者是表字段过多问题，更倾向于业务的拆分。
3. 水平拆分重点考虑拆分规则：例如范围、时间或Hash算法等。
4. 日常工作中，我们通常会同时使用两种拆分方式，垂直拆分更偏向于产品/业务/功能拆分的过程，在技术上我们更关注水平拆分的方案。

8. 分库分表主键策略

1. UUID
2. COMB（UUID变种）
3. SNOWFLAKE
4. 数据库ID表
5. Redis生成ID