本文作者为 360 奇舞团前端开发工程师 李彬
一、需求场景
基于目前项目在各个应用上的数据采集,尤其是性能监控上的采集,数据量越来越大,例如pv数据的采集表三个月的数据量已经在3亿+,数据量小的也有几百万,但是目前的常用的查询需求只用查询最近30内的数据,故此,考虑设计一种方案,可以将表中的数据维持在最近1个月上(视为热数据),之前的数据(视为冷数据)做归档处理,但是偶尔可能也会用来查询分析。
二、常见的大表数据处理办法
数据表分区:大多数数据库支持表分区,可以将大表分成多个小表(分区),每个分区在物理上可以作为一个独立的表进行处理。你可以根据数据的访问频率将数据分配到不同的分区,例如,将最近的数据放在一个高性能的存储设备上,将旧的数据放在一个低成本的存储设备上。
为什么要分区:表分区可以在区间内查询对应的数据,降低查询范围 并且索引分区 也可以进一步提高命中率,提升查询效率
分区是指将一个表的数据按照条件分布到不同的文件上面,未分区前都是存放在一个文件上面的,但是它还是指向的同一张表,只是把数据分散到了不同文件而已。
我们首先看一下分区有什么优缺点:
表分区有什么好处?
与单个磁盘或文件系统分区相比,可以存储更多的数据。
对于那些已经失去保存意义的数据,通常可以通过删除与那些数据有关的分区,很容易地删除那些数据。相反地,在某些情况下,添加新数据的过程又可以通过为那些新数据专门增加一个新的分区,来很方便地实现。
一些查询可以得到极大的优化,这主要是借助于满足一个给定WHERE语句的数据可以只保存在一个或多个分区内,这样在查找时就不用查找其他剩余的分区。因为分区可以在创建了分区表后进行修改,所以在第一次配置分区方案时还不曾这么做时,