clickhouse如何对分区卸载和数据清理

获取分区信息

SELECT
    partition AS `分区`,
    sum(rows) AS `总行数`,
    formatReadableSize(sum(data_uncompressed_bytes)) AS `原始大小`,
    formatReadableSize(sum(data_compressed_bytes)) AS `压缩大小`,
    round((sum(data_compressed_bytes) / sum(data_uncompressed_bytes)) * 100, 0) AS `压缩率`
FROM system.parts
WHERE (database IN ('log')) AND (table IN ('cw_dtlog')) 
GROUP BY partition
ORDER BY partition ASC;

表存储策略

SELECT
name,
data_paths,
metadata_path,
storage_policy
FROM system.tables where storage_policy='moving_from_ssd_to_hdd';

ALTER TABLE…DROP PARTITION命令用于删除分区和存储在这个分区上的数据。

在公司项目上的操作：
1 定时清理和手动清理都是通过检查的硬盘分区大小
2 获取分区信息列表

    <select id="listColdParts" resultMap="BaseResultMap">
        select `partition`, `table`
        from system.parts
        where `database` ='log' and disk_name='disk_hdd'
        group by `partition`, `table`
        order by `partition`
        <if test="limit!=null">
            limit #{limit}
        </if>
    </select>

这里disk_hdd是分区策略里把冷数据放到disk_hdd指定的位置
3 卸载分区
从上面拿到的分区信息列表 ，通过order by进行排序，从最靠前的开始卸载

   <update id="unloadParts">
        ALTER TABLE ${table} DROP PARTITION #{partition};
    </update>

之前公司的业务是没进行一次unloadParts然后检查磁盘分区的大小，符合满足后就停止卸载，不过clickhouse对数据进行了压缩处理，当卸载分区时，磁盘容量大小可能会先下降然后升回来