分库分表

问题背景

当业务量大了,关系式数据库的单机存储容量、连接数、处理能力都有限,并且业务大了之后查询维度较多,如果什么请求都交给一个数据库是顶不住的。

解决方案

1、加提升服务器硬件性能,如加CPU、加容量等。【成本高】
2、把数据拆分,例如把一整个电商数据库分为用户库、商品库、订单库。【分库】或者把大表拆分为小表,例如把一个存了1000w数据量的单表拆分成10个100w数量的小表。【分表】

具体分类

垂直分库、水平分库、垂直分表、水平分表

1、垂直分表:将一个表按照字段分成多表,每个表存储其中一部分字段。

举个例子,一个表有1000个实体,每个实体有100个属性。那么这个表看成是1000 * 100的表格,每行代表一个实体,每列代表一个属性。垂直分表就是垂直切一刀。分成十个1000 * 10的小表。
这样做的意义是,有时候我们并不是对实体的100个属性都那么关注,最关注的可能只是其中的一部分属性,那么就没必要用一个大表把所有东西都存起来,然后一起参与检索。
例如,对于商品,我们最频繁关注的可能是它的名字价格这些(淘宝主页上也只展示这些),而它的具体商品描述和用户评价一般都是感兴趣了才点进去的,所以对于一个商品【实体】而言,名字、价格【属性】的使用频次比商品描述【属性】要高。我们就可以将 商品-名字-价格-描述-评价这个大表,拆分成为商品-名字-价格 和 商品-描述-评价 这两个小表。那么查询商品的名字价格这些信息效率就会提高。

为什么会提高效率呢?
(1)因为描述、评价这种信息字段大,提取的时候需要更长的IO时间,我只想查这个商品的名字价格,数据库却不得不把所有东西都加载进来,自然就拖慢了效率。
(2)数据库以页来存储,如果把所有信息都存在一起,可能一页只能存10个实体的信息,数据库查一页只能检索10个实体。而如果把大字段低频的这些信息分表,只留下商品-名字-价格这个小表,一页就能存10000个实体了,数据库检索这些常用属性的速度就会提升1000倍。
(3)内存以行为单位加载数据,如(2)所述,垂直分表可以在单位空间里存更多的实体信息,加载一行数据进内存之后也能更好地利用空间局部性特性,减少IO的次数。

2、垂直分库:垂直分表提升了单表检索速度,但是都放在一个数据库里,依然收到单个数据库容量、CPU等资源的限制。垂直分库就是按照业务将表进行分类,分布到不同数据库上。

举个例子:把一整个电商数据库分为用户库、商品库、订单库。
垂直分库是按照业务进行分类的,需要进行抽象。

3、水平分库:把同一个表的数据按一定规则拆分到不同数据库中,每个库可以放在不同服务器上。

例如单数的和双数的分开成两个库,放到两个服务器上。那么当请求到来时,要多经过一步数据操作才能直到请求的数据属于哪个数据库,然后路由到对应的数据库上。

4、水平分表:与水平分库类似。是把同一个数据库下的表分成同意数据库下的多张表,这几张表还是存放在同一个数据库里。

性能提高没有水平分库那么大。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值