网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
随着业务数据的增加,原有的数据库性能瓶颈凸显,以此就需要对数据库进行分库分表操作。
为啥需要分库分表
随着业务数据的增加,原有的数据库性能瓶颈凸显,主要体现在以下两个方面。
IO瓶颈
IO瓶颈主要有以下几种情况:
- 第一种:磁盘读IO瓶颈,热点数据太多,数据库缓存放不下,每次查询时会产生大量的IO,降低查询速度。这种情况适合采用分库和垂直分表。
- 第二种:网络IO瓶颈,请求的数据太多,网络带宽不够。这种情况适合采用分库。
CPU瓶颈
CPU瓶颈主要有以下几种情况:
- 第一种:SQL问题,如SQL中包含join,group by,order by,非索引字段条件查询等,增加CPU运算的操作。这种情况适合采用SQL优化,建立合适的索引,或者把一些SQL操作移到在业务层中台代码中去做业务计算。
- 第二种:单表数据量太大,查询时扫描的行太多,SQL效率低,CPU率先出现瓶颈这种情况适合采用水平分表。
综上,大多数情况下,需要使用数据库的分库分表方案来解决性能瓶颈。
理解分库分表
“分库分表”本质就是把数据分到不同的数据库或者分到不同的数据表上,以减轻单库或者单表的数据量,从而降低访问单库或者单表时的数据压力。
在理解了分库分表的重要性之后,那么来理解下分库分表的实现原理。
水平分库
水平分库是指,以字段为依据,按照一定策略(hash、range等),将一个库中的数据拆分到多个库中。
比如以下的例子。对用户表进行水平分库,分库的策略是对user_id字段进行取模。如果取模结果是0,则放入数据库01;如果取模结果是1,则放入数据库02。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7TUv2vpD-1626361758128)(https://waylau.com/images/post/20210715-db-sharding-001.png)]
水平分库的结果是:
- 每个库的结构都一样;
- 每个库的数据都不一样,没有交集;
- 所有库的并集是全量数据。
水平分库适用的场景是,系统绝对并发量上来了,分表难以根本上解决问题,并且还没有明显的业务归属来垂直分库。
水平分表
水平分表是指,以字段为依据,按照一定策略(hash、range等),将一个表中的数据拆分到多个表中。
比如以下的例子。对用户表user_t进行水平分表,分库的策略是对user_id字段进行取模。如果取模结果是0,则放入user_t_01表;如果取模结果是1,则放入user_t_02表。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-IkNamj25-1626361758130)(https://waylau.com/images/post/20210715-db-sharding-002.png)]
水平分表的结果是:
- 每个表的结构都一样;
- 每个表的数据都不一样,没有交集;
- 所有表的并集是全量数据。
水平分表适用的场景是,系统绝对并发量并没有上来,只是单表的数据量太多,影响了SQL效率,加重了CPU负担,以至于成为瓶颈。
垂直分库
垂直分库是指,以表为依据,按照业务归属不同,将不同的表拆分到不同的库中。
比如以下的例子。用户业务相关的表放入到01库,订单业务相关的表放入到02库。
垂直分库的结果是:
- 每个库的结构都不一样;
- 每个库的数据也不一样,没有交集;
- 所有库的并集是全量数据。
垂直分库适用的场景是,系统绝对并发量上来了,并且可以抽象出单独的业务模块。
深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上鸿蒙开发知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新**