Doris进阶——动态分区

最新推荐文章于 2024-08-23 05:30:00 发布

小眼睛的Ayuan

最新推荐文章于 2024-08-23 05:30:00 发布

阅读量4.3k

点赞数

分类专栏： Doris 笔记文章标签： big data 大数据数据仓库 database sql

本文链接：https://blog.csdn.net/weixin_59812175/article/details/125320582

版权

Doris的动态分区功能允许对表数据进行生命周期管理，支持按Range分区动态添加和删除。原理上，FE后台线程依据用户规则执行分区创建和删除。目前仅支持单列分区表设定规则。创建历史分区涉及参数如`create_history_partition`和`history_partition_num`等，可用于自动创建历史分区。转换分区模式可通过调整`dynamic_partition.enable`参数完成。了解更多详情可查阅Doris官方文档。

摘要由CSDN通过智能技术生成

动态分区：对表级别的数据进行生命周期管理，相当于对分区设置TTL。可对分区实现动态添加和动态删除，动态分区只支持Range分区。

原理：FE会在后台起一条线程，根据用户定义的规则进行分区的创建和删除。同时Doris支持对已有规则进行动态调整。

Doris目前只支持对单列分区的分区表设定动态分区规则。

动态分区前缀：dynamic_partition;

动态分区参数可参考：Doris官网

动态分区建表语句示例（创建一张以小时为单位的分区表）：

-- 创建以小时为分区的动态分区表，注意HOUR的数据类型不能是DAET，应该是DATETIME

 CREATE TABLE IF NOT EXISTS test.dynamic_test
(
    `timestamp` DATETIME NOT NULL COMMENT "日志时间",
    `type` INT NOT NULL COMMENT "日志类型",
    `error_code` INT COMMENT "错误码",
    `error_msg` VARCHAR(1024) COMMENT "错误详细信息",
    `op_id` BIGINT COMMENT "负责人id",
    `op_t