clickhouse 大表数据归档处理解决办法

本文作者为 360 奇舞团前端开发工程师 李彬

一、需求场景

基于目前项目在各个应用上的数据采集，尤其是性能监控上的采集，数据量越来越大，例如pv数据的采集表三个月的数据量已经在3亿+，数据量小的也有几百万，但是目前的常用的查询需求只用查询最近30内的数据，故此，考虑设计一种方案，可以将表中的数据维持在最近1个月上（视为热数据），之前的数据（视为冷数据）做归档处理，但是偶尔可能也会用来查询分析。

二、常见的大表数据处理办法

数据表分区：大多数数据库支持表分区，可以将大表分成多个小表（分区），每个分区在物理上可以作为一个独立的表进行处理。你可以根据数据的访问频率将数据分配到不同的分区，例如，将最近的数据放在一个高性能的存储设备上，将旧的数据放在一个低成本的存储设备上。

为什么要分区：表分区可以在区间内查询对应的数据，降低查询范围 并且索引分区 也可以进一步提高命中率，提升查询效率

分区是指将一个表的数据按照条件分布到不同的文件上面，未分区前都是存放在一个文件上面的，但是它还是指向的同一张表，只是把数据分散到了不同文件而已。

我们首先看一下分区有什么优缺点：

表分区有什么好处？

1. 与单个磁盘或文件系统分区相比，可以存储更多的数据。

2. 对于那些已经失去保存意义的数据，通常可以通过删除与那些数据有关的分区，很容易地删除那些数据。相反地，在某些情况下，添加新数据的过程又可以通过为那些新数据专门增加一个新的分区，来很方便地实现。

3. 一些查询可以得到极大的优化，这主要是借助于满足一个给定WHERE语句的数据可以只保存在一个或多个分区内，这样在查找时就不用查找其他剩余的分区。因为分区可以在创建了分区表后进行修改，所以在第一次配置分区方案时还不曾这么做时，