【数据库专题】一文搞懂数据库分库分表的原理

🍍每日推荐

🍖文章开始之前我想首先介绍一下牛客,以便没有使用过的小伙伴能够快速入手,牛客网是国内最大的算法、面试、招聘网站,涵盖了多种大厂面试真题以及题解,里面大佬云集,各种题目的解决方案层出不穷,绝对能让你大开眼界,而且牛客是你在人生中不同的阶段都能对你有所帮助的编程软件(完全免费),如果感兴趣可以访问注册一下

访问链接:牛客-国内最大的刷题网站

一、分库分表是什么?

是一种数据分片技术,主要分为垂直拆分和水平拆分。垂直拆分的意思是,把部分字段及其值挪到其它表或者其它数据库实例中;水平拆分的意思是,把部分记录挪到其它表或者其它数据库实例中;

二、为什么需要分库分表?

单表的存储总是有上限的,并且随着单表中数据量和字段数的增长,查询效率会越来越低,无法满足正常的查询时效要求。因此需要将数据进行分片,实现降低单表中数据行数、字段个数的目标,保持单表查询效率。

2.1 单表最多能存储多少条记录?

以MySQL为例,单表存储的上限MySQL本身并没有做限制,它是和操作系统所允许的最大文件大小有关的,单表中字段数量越多,行数越多,那么就会使得单表的存储大小越大,一旦单表总大小超过操作系统的限制了,那么就达到了存储上限。

2.2 单表最多能存储多少个字段?

同上,和操作系统所允许的最大文件大小有关的。

2.3 为什么数据行数越多查询效率就会越慢?

为了提高性能,表的索引会被加载到内存中,如果表中数据不多的时候,索引能被全部一次性加载到内存中,查询效率都是OK的。但是如果表中数据超过某一个阈值,使得该表的索引太大超过内存限制,不能被一次性加载到内存中了,此时如果查找表中数据,会使得多次磁盘IO加载索引,从而导致查询效率大幅下降。

2.4 什么时候需要进行分库分表了?

按照业界的通用建议,如果表中数据行数超过500万时,可以考虑分库分表了;如果超过1000万的时候,就建议进行分库分表了。

如果数据量没有达到500万行或者2G大小的时候,可以先不用考虑分库分表。

三、如何分库分表?

分库分表其实是两个操作,我们可以只选择其中之一,也可以两者结合起来使用。分库指的是将表中的部分数据挪到其它数据库实例中进行存储,分表指的是在同一数据库实例中用另外一张表来存储部分数据。每一种操作都包含垂直拆分和水平拆分两种方式。

3.1 垂直拆分

垂直拆分,就是将表中的部分字段及其值从该表中移出去,放到别的表或者别的数据库实例中。

一般而言,优先考虑垂直拆分,尽量分到同一个数据库实例的不同表中。

3.2 水平拆分

水平拆分,就是将表中的部分记录行从该表中移出去,放到别的表或者别的数据库实例中。

水平拆分的核心就是路由算法:

  • 范围限定,划分数据值的范围,不同范围的数据放到不通的表中;优点是计算简单,同一用户的数据不存在跨表跨库操作,而且扩展方便;缺点是可能存在热点数据,使得不同表或者数据实例访问不均衡;
  • 取模运算/哈希运算,对需要插入/查询的数据值进行取模运算,找到其对应的表;优点是解决了热点数据问题,访问均衡;缺点是不方便扩展,如果需要扩展的话,所有数据需要重新计算找到应该存放的表;
  • 一致性Hash算法,对需要插入/查询的数据值进行hash计算,按照顺时针方式找到最近的(物理/虚拟)节点进行操作;既解决了热点数据问题,也解决了不方便扩展的问题,其增删节点的影响仅仅控制在变更的相邻节点的范围内,但缺点是需要设置虚拟节点,而且扩展时增删节点还是有一定影响的,而且如果节点分布得不均匀可能会存在数据倾斜的问题,即小部分节点存放了大部分的数据。
  • 哈希槽,这个是参照redis集群而得来,总共初始16384个哈希槽,分别位于不同的机器上,通过hash算法(CRC16算法)来将数据映射到某个具体的槽上面,因为槽量比较多,所以不用进行扩展了。

水平拆分的具体实施方案分为两种:

  • 基于客户端的形式,寻找或者自建分库分表工具库,在业务服务器上就完成分库分表,然后访问具体的DB,比如sahrding-jdbc;
  • 基于代理服务器的形式,建立代理服务器,接收业务请求后,根据配置的分库分表规则来访问具体的DB,比如MyCat;

🍍 每日推荐

🍖文章开始之前我想首先介绍一下牛客,以便没有使用过的小伙伴能够快速入手,牛客网是国内最大的算法、面试、招聘网站,涵盖了多种大厂面试真题以及题解,里面大佬云集,各种题目的解决方案层出不穷,绝对能让你大开眼界,而且牛客是你在人生中不同的阶段都能对你有所帮助的编程软件(完全免费),如果感兴趣可以访问注册一下

访问链接:牛客-国内最大的刷题网站

评论 8
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

掂掂三生有幸

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值