一、为什么需要进行分库分表
在业务发展的初期,用户量少,业务量少,一一台服务器,部署一个数据库实例就可以支持所有的读写操作。
随着业务的快速发展,用户量逐渐增多,业务量也上来了,当增加到一定量的时候,就会达到服务器和数据库的瓶颈:
1、一个数据库实例支持的并发连接数有上限;
2、单个服务器的带宽、CPU、内存大小、磁盘大小都会有一定的上限,不能无限扩展;
3、并发读写数据库会产生大量锁等待,导致响应时间变长;
因此,我们的目标就是:
1、提高支持的并发连接数
2、增加带宽
3、增加CPU
4、增加内存
5、增加磁盘容量
6、减少锁冲突
为了实现上述目标,就要通过增加服务器,部署数据库集群,想办法把数据库的请求分散到多个数据库服务器,由此引出了分库分表的解决方案。
二、分库分表方案介绍
分库分库又分为垂直分表、垂直分库、水平分表、水平分库,具体采用哪种方式,需要根据实际情况来具体分析。下面先分表介绍一下使用场景。
1、垂直分表
如果一个表的字段比较多,同时,有一些字段经常要查询,形成热点字段,另外一些字段很少查询,形成非热点字段。
当去查询数据的时候,会同时把热点数据、非热点数据都查出来,由于字段多,单行的占用空间大,这样会减少数据库缓存可以缓存的数据量,也会增加磁盘IO时间。
更新数据的时候,更新非热点字段,会影响热点数据的更新,增加锁冲突的概率。
解决方式就是垂直分表,即把一个表的热点字段和非热点字段 分表存到两个表。
2、水平分表
当一个表的数据行很大,查询数据会变的很慢,维护难度也增大,这个时候可以考虑改成分区表,或者直接建多个表。
具体分表的方式有,可以根据时间范围进行划分,根据某个字段进行hash计算。
3、垂直分库
当数据库服务器整体性能下降,要考虑吧整个数据库分成多份,每个数据库保存一部分表,一般按业务领域来划分,热点数据也可以单独一个库。
4、水平分库
当一个表数据量很大,并且单表的访问量也很大,以至于单个数据库无法支撑,这个时候考虑把单个表的数据拆分到多个数据库。
拆分方式和水平分表一样,只是把同一个表在多个数据库都创建一份,数据分散到各个数据库中。
最后,分库分表的各个方案,可以结合使用,比如垂直分表后,可以把拆分的两个表分到不同的库。