前言:部门最近在搞服务分离,数据切分方面的东西,因为单张表的数据量实在是太大,并且还在以每天60W的量增长
第一部分:实际业务系统发展过程中面临的问题
架构的演变
刚开始我们只用单机数据库就够了,随后面对越来越多的请求,我们将数据库的写操作和读操作进行分离, 使用多个从库副本(Slaver Replication)负责读,使用主库(Master)负责写, 从库从主库同步更新数据,保持数据一致。架构上就是数据库主从同步。从库可以水平扩展,所以更多的读请求不成问题。
但是当用户量级上来后,写请求越来越多,该怎么办?加一个Master是不能解决问题的, 因为数据要保存一致性,写操作需要2个master之间同步,相当于是重复了,而且更加复杂。
这时就需要用到分库分表(sharding),对写操作进行切分。
分库分表前的问题
任何问题都是太大或者太小的问题,我们这里面对的数据量太大的问题。
用户请求量太大
因为单服务器TPS,内存,IO都是有限的。
解决方法:请求分散到多个服务器上;其实用户请求和执行一个sql查询是本质是一样的,都是请求一个资源,只是用户请求还会经过网关,路由,http服务器等。
单库太大
- 单个数据库处理能力有限;
- 单库所在服务器上磁盘空间不足;
- 单库上操作的IO瓶颈
解决方法:切分成更多更小的库
单表太大
- CRUD都成问题;
- 索引膨胀,查询超时
解决方法:切分成多个数据集更小的表。
第二部分:有哪几种切分方式,垂直和水平的区别和适用面
分库分表的方法
一般就是垂直切分和水平切分,这是一种结果集描述的切分方式,是物理空间上的切分。
我们针对具体场景解决问题:
- 用户请求量太大,我们就堆机器搞定
- 单库太大(且表多导致数据多),我们就垂直切分,可以根据不同业务切分成不同库
- 单库太大(单张表包裹的数据多),我们就水平切分
PS:分库分表的顺序应该是先垂直分,后水平分。 因为垂直分更简单,更符合我们处理现实世界问题的方式。
垂直拆分
垂直分表
即“大表拆小表”,基于列字段进行的。一般是表中的字段较多,将不常用的, 数据较大,长度较长(比如text类型字段)的拆分到“扩展表“。一般是针对那种几百列的大表,也避免查询时,数据量太大造成的“跨页”问题
垂直分库
垂直分库针对的是一个系统中的不同业务进行拆分,比如用户User一个库,商品Producet一个库,订单Order一个库。切分后,要放在多个服务器上,而不是一个服务器上 。为什么?
我们想象一下,一个购物网站对外提供服务,会有用户,商品,订单等的CRUD。没拆分之前, 全部都是落到单一的库上的,这会让数据库的单库处理能力成为瓶颈。按垂直分库后,如果还是放在一个数据库服务器上, 随着用户量增大,这会让单个数据库的处理能力成为瓶颈,还有单个服务器的磁盘空间,内存,tps等非常吃紧。所以我们要拆分到多个服务器上,这样上面的问题都解决了 ,以后也不会面对单机资源问题。
数据库业务层面的拆分,和服务的“治理”,“降级”机制类似,也能对不同业务的数据分别的进行管理,维护,监控,扩展等。数据库往往最容易成为应用系统的瓶颈,而数据库本身属于“有状态”的,相对于Web和应用服务器来讲,是比较难实现“横向扩展”的。数据库的连接资源比较宝贵且单机处理能力也有限,在高并发场景下,垂直分库一定程度上能够突破IO、连接数及单机硬件资源的瓶颈 。
水平拆分
水分分表
针对数据量巨大的单张表(比如订单表),按照某种规则(RANGE,HASH取模等),切分到多张表里面去。但是这些表还是在同一个库中,故库级别的数据库操作还是有IO瓶颈。不建议采用 。
水平分库分表
将单张表的数据切分到多个服务器上去,每个服务器具有相应的库与表,只是表中数据集合不同。水平分库分表能够有效的缓解单机和单库的性能瓶颈和压力,突破IO、连接数、硬件资源等的瓶颈。
水平分库分表切分规则
- RANG:从0到10000一个表,10001到20000一个表
- HASH取模:一个商场系统,一般都是将用户,订单作为主表,然后将和它们相关的作为附表,这样不会造成跨库事务之类的问题。取用户id,然后hash取模,分配到不同的数据库上
- 地理区域:如按照华东,华南,华北这样来区分业务,七牛云应该就是如此
- 时间:按照时间切分,将6个月前,甚至一年前的数据切出去放到另外的一张表,因为随着时间流逝,这些表的数据被查询的概率变小,故没必要和“热数据”放在一起,即“冷热数据分离”
第三部分:目前市面有的一些开源产品,技术
分库分表方案产品
中间件产品:
- 基于代理方式:MySQL Proxy和Amoeba
- 基于Hibernate框架:Hibernate Shards
- 基于jdbc:sharding-jdbc
- 基于mybatis的类似maven插件式的:蘑菇街TSharding
第四部分:为什么不建议水平分库分表!?这能让你能在规划前期谨慎的对待,规避掉切分造成的问题
分库分表后面临的问题
事务支持
分库分表后,就成了分布式事务了。如果依赖数据库本身的分布式事务管理功能去执行事务,将付出高昂的性能代价;如果由应用程序去协助控制,形成程序逻辑上的事务,又会造成编程方面的负担。
多库结果集合并(group by,order by)
跨库join
分库分表后表之间的关联操作将受到限制,我们无法join位于不同分库的表,也无法join分表粒度不同的表, 结果原本一次查询能够完成的业务,可能需要多次查询才能完成。
粗略的解决方法:
- 全局表:基础数据,所有库都拷贝一份
- 字段冗余:这样有些字段就不用join去查询了
- 系统层组装:分别查询出所有,然后组装起来,较复杂
水平分库分表涉及问题
多数据源事务问题
一个思路:可以通过自定义注解,自定义切面开启事务,通过方法栈逐层回滚or提交的方式解决的
多表的分页问题
拆表一定会引起分页查询的难度增加。由于各个表查出来的数据量不等,原始的sql语句limit不再适用,需要设计一个新方法便捷的获取分页信息。
一个分页的思路:
综合考虑业务实际与开发的复杂程度,项目团队决定在出现跨表查询的情况下,每一张表采用一个线程进行查询,以提高查询效率。
这个方案的难点在于分页规则的转换。例如,页面传入的offset和pageSize分别为8和20。各分表中符合条件的数量分别为10,10,50。那么我们需要将总的分页条件转化为三个分表各自的分页条件,大分页条件(offset=8,pageSize=20),转换为(offset=8,pageSize=2),(offset=0.pageSize=10),(offset=0,pageSize=8)三个条件。
整个计算过程如下:
1) 多线程查询各个分表中满足条件的数据数量
2) 将各个表数量按照分表的先后顺序累加,形成一个数轴
3) 判断第一条数据和最后一条数据所在的表
4) 除第一条和最后一条数据所在表外,其他表offset=0,pageSize=总数量
5) 计算第一条数据的offset,pageSize
计算最后一条数据的pageSize,同时将该表查询条件的offset设置为0
我也没看懂!!!