分库分表的背景:
在一些互联网项目中,经常会遇到一些表在短时间之内数据量增长很快,随着时间的推移,数据量会越来越大,如果不进行优化处理,性能会逐渐下降,甚至服务挂掉。因此分库分表是在做这类项目时必须要考虑的问题,分库分表是解决数据库压力的好办法。
分库分表的几个概念:
1. 分库:将原本在同一个数据库的数据,根据业务分类,将不同的业务模块的数据放在一起,例如:将用户注册登录相关的表放在一个库中,将核心业务相关的表放在另一个库中。这样可以根据不同的模块访问量,来设计该数据库服务器的性能参数。
2. 分表:将原本在同一张表中的数据分成多张表,这里包含水平分表和垂直分表。
2.1 垂直分表:如果一张表的字段较多,根据业务分组,将不同业务的字段拆分成多张字表。分表理由:根据数据的活跃度进行分离,(因为不同活跃的数据,处理方式是不同的)。
案例:
对于一个博客系统,文章标题,作者,分类,创建时间等,是变化频率慢,查询次数多,而且最好有很好的实时性的数据,我们把它叫做冷数据。而博客的浏览量,回复数等,类似的统计信息,或者别的变化频率比较高的数据,我们把它叫做活跃数据。所以,在进行数据库结构设计的时候,就应该考虑分表,首先是纵向分表的处理。这样纵向分表后:
首先、存储引擎的使用不同,冷数据使用MyIsam 可以有更好的查询数据。活跃数据,可以使用Innodb,可以有更好的更新速度。
其次、对冷数据进行更多的从库配置,因为更多的操作时查询,这样来加快查询速度。对热数据,可以相对有更多的主库的横向分表处理。
其实、对于一些特殊的活跃数据,也可以考虑使用memcache、redis之类的缓存,等累计到一定量再去更新数据库。
2.2 水平分表:将一张表分成多张除了表名不同,但数据结构完全相同的表。分表理由:根据数据量的规模来划分,保证单表的容量不会太大,从而来保证单表的查询等处理能力。
案例:同上面的例子,博客系统。当博客的量达到很大时候,就应该采取横向分割来降低每个单表的压力,来提升性能。例如博客的冷数据表,假如分为100个表,当同时有100万个用户在浏览时,如果是单表的话,会进行100万次请求,而现在分表后,就可能是每个表进行1万个数据的请求(因为,不可能绝对的平均,只是假设),这样压力就降低了很多很多。