分库和分表

一、总结

1. 问：为什么需要分库？
   答：承载数据库的物理机器总有性能上限。
2. 问：什么时候需要分库？
   答：当数据库所在的机器遇到物理瓶颈的时候。
3. 问：为什么需要分表？
   答：锁机制和索引更新。
4. 问：什么时候需要分表？
   答：单表数据量超过一千万的时候。
5. 问：两种拆表方式？
   答：水平是行，垂直是列。所以，水平是按id分区，垂直是按属性分区。

二、原文

下文均为转载，转载信息如下，为方便查询而转载，仅做学习记录使用，大家可以直接查看原文。
作者：姚小强
链接：https://www.jianshu.com/p/1b1576fc5917

1. 为什么要进行分库

业务发展，当单个数据库中的表越来越多，数据量越来越大的时候。数据的增删改查所消耗的资源就会增加。由于mysql是无法分布式部署（可能会有人说不是有主从吗？并不是，详细会在其他文章说明）的。而单台服务器的资源，如CPU、磁盘、内存、IO等都是有限的。最终数据库所承载的数据量和处理数据的能力就会遇到瓶颈。此时有两种解决方案：纵向扩展和横向扩展。

• 纵向扩展：就是增加单台服务器的性能，如升级cpu，内存，磁盘换ssd等，这是最简单的方案，但是也是最烧钱的。

• 横向扩展：就是对数据进行拆分，放置到多台服务器（相对廉价的服务器）上。对数据进行拆分，一般是对数据进行合理的分库，再对分离出来的库进行调优。即将单台服务器上的压力分布到多台机器中。这就是分库的理由。

2. 为什么进行分表

当MySQL的单表的数据达到一定量级的时候（如一千万）的时候，就需要考虑进行分表。因为此时的MySQL的执行性能就会下降（这和mysql本身的实现机制有关）。简单来讲有如下两个原因：锁机制和索引更新。

• 锁机制：为了保证数据的完整性，数据库有锁定机制。MySQL中有表锁定和行锁定，MySQL中myisam存储引擎是表锁定，innodb存储引擎是行锁定。分为包含共享锁和独占锁两种。独占锁就是整个数据文件归一个线程所有，其他线程就必须等待。如果数据太多，一次执行的时间太长，特别是在锁表的情况下，就会导致大量的其他SQL等待执行，严重影响系统的正常使用。

• 索引更新：更新表数据时会导致索引更新，当单表数据量很大时这个过程比较耗时，这就是为什么对大表进行新增操作会比较慢的原因。并且更新表数据会进行表级锁或者行锁，这样就导致其他操作等待。所以我们将大表拆分为多个字表，那么在更新或者查询数据的时候，压力会分散到不同的表上。由于分表之后每个表的数据较小，不管是查询还是更新都极大的提高了速度，即使出现最坏的“锁表”的情况，那其他表还是可以并行使用。

3. 一般多少数据量开始分表

这个问题没有一个固定的答案，需要根据表的用途和业务来要求来评估此数据量。但是，当mysql的单表数据量达到千万级别的时候，就需要考虑是否需要进行分表操作。以下几个是一些参考因素：

1. 写入量（高峰期写入量，是否会造成锁表导致读或者写出现一些问题，insert，update，delete的比例各多少）
2. 查询量（查询量多大，是否跟写会造成相互影响）
3. 查询方式（单记录查询，还是多记录查询，是否有count查询，比重各占多少，每次返回的记录数数量级1，10，100，1000 。。。）
4. 是否有分页（重点关注，是否存在大分页）

1，2算是比较基础的，正常1kw以下都没太大问题。3，4受单表数据量的影响起始更小，但是反过来，这个就直接影响到1，2。
不同的情形，数据量的规模不太一样。例如，单表只有insert和单条查询的，每天增长百万数据，这种亿的规模问题都不大，当然能拆最好~
有简单 in 查询的，这种也能够接受~ 但是如果有比较大的查询，或者比较复杂的，包括大分页，然后还有大量的 update的，这种表就不能太大，正常不要超过 300w~
update 的频率，应该算是里面影响比较大的因素，insert一般只添加数据，不会对查询造成太多影响但是update和 select 可能就会有比较大的相互影响了~

4. 什么是垂直拆分和水平拆分

垂直拆分是指数据表列的拆分，把一张列比较多的表拆分为多张表或者将表按模块划分到不同数据库表中（分库或者拆表)。
水平拆分是指数据表行的拆分，比如表的行数超过200万行时，就会变慢，这时可以把一张的表的数据拆成多张表来存放（分表）。