数据库垂直拆分与水平拆分

数据库垂直拆分与水平拆分

当数据库的数据量非常大时，水平拆分和垂直拆分时两种常见的降低数据库大小，提升性能的方法
假设有用户表：
user{
uid bigint,
name varchar(16),
pass varchar(16),
age int,
sex tinyint,
flag tinyint,
sign varchar(64),
intro varchar(256)
}

水平拆分：以某个字段为依据（例如uid），按照一定规则（例如取模），将一个库（表）上的数据拆分到多个库（表）上，以降低单库（表）大小，达到提升性能的目的的方法，水平切分后，各个库（表）的特点是：
1.每个库（表）的结构都一样
2.每个库（表）的数据都不一样，没有交集
3.所有库（表）的并集是全量数据

遗留问题：
比如商品表，分表了，分页查询时，跨表怎么解决？？？

垂直拆分：将一个属性较多，一行数据较大的表，将不同的属性拆分到不同的表中，以降低单库（表）大小，达到提升性能的目的的方法，垂直切分后，各个库（表）的特点：
1.每个库（表）的结构都不一样
2.一般来说，每个库（表）的属性至少有一列交集，一般是主键
3.所有库（表）的并集是全量数据
如果用户表需要垂直拆分，可能拆分结果是这样的：
user_base(
uid bigint,
name varchar(16),
pass varchar(16),
age int,
sex tinyint,
flag tinyint,
…);

user_ext(
uid bigint,
sign varchar(64),
intro varchar(256)
…);

1.将长度较短，访问频率较高的属性尽量放在一个表里，这个表暂且称为主表
2.将字段较长，访问频率较低的属性尽量放在一个表里，这个表暂且称为扩展表

一般来说，数据并发量较大时，数据库的上层都会有一个服务层。需要注意的是，当应用方需要同时访问主表和扩展表中的属性时，服务层不要使用join来连表访问，而应该分两次进行查询

原因是，大数据高并发互联网场景下，一般来说，吞吐量和扩展性是主要矛盾：
（1）join更消损耗数据库性能
（2）join会让base表和ext表耦合在一起（必须在一个数据库实例上），不利于数据量大时拆分到不同的数据库实例上（机器上）。毕竟减少数据量，提升性能才是垂直拆分的初衷。

为什么要这么拆分？？
为何要将字段短，访问频率高的属性放到一个表内？为何这么垂直拆分可以提升性能？因为：
（1）数据库有自己的内存buffer，会将磁盘上的数据load到内存buffer里（暂且理解为进程内缓存吧）
（2）内存buffer缓存数据是以row为单位的
（3）在内存有限的情况下，在数据库内存buffer里缓存短row，就能缓存更多的数据
（4）在数据库内存buffer里缓存访问频率高的row，就能提升缓存命中率，减少磁盘的访问

举个例子就很好理解了：
假设数据库内存buffer为1G，未拆分的user表1行数据大小为1k，那么只能缓存100w行数据。
如果垂直拆分成user_base和user_ext，其中：
（1）user_base访问频率高（例如uid, name, passwd, 以及一些flag等），一行大小为0.1k
（2）user_ext访问频率低（例如签名, 个人介绍等），一行大小为0.9k
那边内存buffer就就能缓存近乎1000w行user_base的记录，访问磁盘的概率会大大降低，数据库访问的时延会大大降低，吞吐量会大大增加。