既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
数据冷热分离方案
1、背景
随着业务的发展,在线表中的数据会逐渐增加。常规业务都有冷热数据现象明显的特性(需要访问的都是近期产生的热数据;时间久远的冷数据出于备份、备案溯源等诉求会进行在线保留)。在业务表数据
量可控、数据库服务性能有足够余量时,一般不会对冷数据进行处理。
三个方面的影响:
- 数据量增长:随着业务的发展,在热数据表中的数据会逐渐增加。磁盘存储越来越大。
- 存储成本: db数据量存储越来越大,成本越来越高。
- 性能:db数据库数量量越来越大,性能也会随之下降。
2、系统-表数据量统计
省略…
3、简介
3.1、什么是冷热分离
冷热分离就是在处理的数据的时将数据分成冷库和热库,冷库存放的是已经走到最终状态的数据,同时也是不常使用的数据;热库存放的未走到最终状态的数据,还需要在进行变更的、经常使用的数据。
3.2、什么情况下要使用冷热分离
假设业务需求出现了以下情况,就可以考虑使用冷热分离的解决方案。
3.2.1 数据走到终态后只有读没有写的需求,比如完结状态。
3.2.2 用户能接受新旧数据分开查询,比如一些网站默认只让查询3或6个月内的订单,如果要查询3或6个月前的订单,还需要访问其他的页面.
3.3、冷热分离实现思路: 冷热数据都用MySQL。
首先我们要解决如下问题:
- 如何判断一个数据是冷数据还是热数据?
- 如何触发冷热数据分离?
- 如何使用冷热数据?
- 历史数据如何迁移。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
朋友,可以戳这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**