Doris动态分区

最新推荐文章于 2024-05-31 17:33:32 发布
最新推荐文章于 2024-05-31 17:33:32 发布
阅读量4.8k 收藏 16
点赞数 5
分类专栏： Doris 文章标签： 动态分区
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chengyuqiang/article/details/120053431
版权

1、说明

本文主要是测试Doris动态分区相关功能；
关于动态分区相关理论部分请参考官方文档：
http://doris.incubator.apache.org/master/zh-CN/administrator-guide/dynamic-partition.html

2、创建一个张按天调度的、不删除历史分区的动态分区表

（1）建表语句

CREATE TABLE IF NOT EXISTS test.dynamic_partition_tbl
(
	id INT,
	dt DATE,
	pv BIGINT
)
DUPLICATE KEY(id,dt)
PARTITION BY RANGE(dt)()
DISTRIBUTED BY HASH(id)
PROPERTIES
(
    "dynamic_partition.enable" = "true",
    "dynamic_partition.time_unit" = "DAY",
    "dynamic_partition.end" = "3",
    "dynamic_partition.prefix" = "p",
    "dynamic_partition.buckets" = "32",
	"replication_num" = "1"
);

代码说明：

  • PARTITION BY RANGE(dt)()最后有个括号，看起来有些疑惑。该括号里面可以通过PARTITION pxxxxxx VALUES LESS THAN指定普通分区，见前面的例子https://blog.csdn.net/chengyuqiang/article/details/120044191；
  • 动态分区的规则参数都以dynamic_partition.为前缀
  • dynamic_partition.enable表示是否开启动态分区
  • dynamic_partition.time_unit表示动态分区调度的单位，可以按小时、天、星期、月等进行分区创建或删除。本例中是按天进行动态分区管理。
  • dynamic_partition.end，动态分区的结束偏移量（正值）。根据 time_unit 属性的不同，以当前为基准，提前创建对应范围的分区。本例的值为3，表示以当天（20210902）为基准，提前创建未来3天的分区（20210903、20210904、20210905）
  • dynamic_partition.start，动态分区的起始偏移量（负值）。以当前为基准，分区范围在此偏移之前的分区将会被删除。如果不填写，则默认为 -2147483648，即不删除历史分区。本例没有设置该参数，所以不删除历史分区。
  • dynamic_partition.prefix，分区名前缀，本例中分区名以“p”为前缀

（2）创建过程

mysql> use test;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
mysql> CREATE TABLE IF NOT EXISTS test.dynamic_partition_tbl
    -> (
    -> id INT,
    -> dt DATE,
    -> pv BIGINT
    -> )
    -> DUPLICATE KEY(id,dt)
    -> PARTITION BY RANGE(dt)()
    -> DISTRIBUTED BY HASH(id)
    -> PROPERTIES
    -> (
    ->     "dynamic_partition.enable" = "true",
    ->     "dynamic_partition.time_unit" = "DAY",
    ->     "dynamic_partition.end" = "3",
    ->     "dynamic_partition.prefix" = "p",
    ->     "dynamic_partition.buckets" = "32",
    -> "replication_num" = "1"
    -> );
Query OK, 0 rows affected (0.11 sec)

mysql>

（3）查看动态分区表

mysql> SHOW DYNAMIC PARTITION TABLES \G
*************************** 1. row ***************************
             TableName: dynamic_partition_tbl
                Enable: true
              TimeUnit: DAY
                 Start: -2147483648
                   End: 3
                Prefix: p
               Buckets: 32
        ReplicationNum: 1
               StartOf: NULL
        LastUpdateTime: 2021-09-02 09:50:32
     LastSchedulerTime: 2021-09-02 09:51:23
                 State: NORMAL
LastCreatePartitionMsg: NULL
  LastDropPartitionMsg: NULL
1 row in set (0.00 sec)

mysql>

（4）查看表的分区信息

mysql> show partitions from test.dynamic_partition_tbl \G
*************************** 1. row ***************************
             PartitionId: 10473
           PartitionName: p20210902
          VisibleVersion: 1
      VisibleVersionTime: 2021-09-02 09:50:32
      VisibleVersionHash: 0
                   State: NORMAL
            PartitionKey: dt
                   Range: [types: [DATE]; keys: [2021-09-02]; ..types: [DATE]; keys: [2021-09-03]; )
         DistributionKey: id
                 Buckets: 32
          ReplicationNum: 1
           StorageMedium: HDD
            CooldownTime: 9999-12-31 23:59:59
LastConsistencyCheckTime: NULL
                DataSize: .000 
              IsInMemory: false
*************************** 2. row ***************************
             PartitionId: 10538
           PartitionName: p20210903
          VisibleVersion: 1
      VisibleVersionTime: 2021-09-02 09:50:32
      VisibleVersionHash: 0
                   State: NORMAL
            PartitionKey: dt
                   Range: [types: [DATE]; keys: [2021-09-03]; ..types: [DATE]; keys: [2021-09-04]; )
         DistributionKey: id
                 Buckets: 32
          ReplicationNum: 1
           StorageMedium: HDD
            CooldownTime: 9999-12-31 23:59:59
LastConsistencyCheckTime: NULL
                DataSize: .000 
              IsInMemory: false
*************************** 3. row ***************************
             PartitionId: 10603
           PartitionName: p20210904
          VisibleVersion: 1
      VisibleVersionTime: 2021-09-02 09:50:32
      VisibleVersionHash: 0
                   State: NORMAL
            PartitionKey: dt
                   Range: [types: [DATE]; keys: [2021-09-04]; ..types: [DATE]; keys: [2021-09-05]; )
         DistributionKey: id
                 Buckets: 32
          ReplicationNum: 1
           StorageMedium: HDD
            CooldownTime: 9999-12-31 23:59:59
LastConsistencyCheckTime: NULL
                DataSize: .000 
              IsInMemory: false
*************************** 4. row ***************************
             PartitionId: 10668
           PartitionName: p20210905
          VisibleVersion: 1
      VisibleVersionTime: 2021-09-02 09:50:32
      VisibleVersionHash: 0
                   State: NORMAL
            PartitionKey: dt
                   Range: [types: [DATE]; keys: [2021-09-05]; ..types: [DATE]; keys: [2021-09-06]; )
         DistributionKey: id
                 Buckets: 32
          ReplicationNum: 1
           StorageMedium: HDD
            CooldownTime: 9999-12-31 23:59:59
LastConsistencyCheckTime: NULL
                DataSize: .000 
              IsInMemory: false
4 rows in set (0.02 sec)

mysql>

发现已经创建了4个分区，当前分区p20210903和提前创建的3个未来分区（p20210903、p20210904、p20210905）

（5）插入测试数据

mysql> insert into dynamic_partition_tbl values(1,'2021-09-02',100);
Query OK, 1 row affected (0.08 sec)
{'label':'insert_bbfb17eb456846ee-890ca4a8f45ba046', 'status':'VISIBLE', 'txnId':'244'}

mysql> insert into dynamic_partition_tbl values(1,'2021-09-03',100);
Query OK, 1 row affected (0.05 sec)
{'label':'insert_d96d0f4f6f5e4b2d-9a0dfd3c55ef5d53', 'status':'VISIBLE', 'txnId':'245'}

mysql> insert into dynamic_partition_tbl values(1,'2021-09-04',100);
Query OK, 1 row affected (0.06 sec)
{'label':'insert_b13dfce59ec04ab2-b43a201c35b37412', 'status':'VISIBLE', 'txnId':'246'}

mysql> insert into dynamic_partition_tbl values(1,'2021-09-05',100);
Query OK, 1 row affected (0.05 sec)
{'label':'insert_fdc31cf0b3a4a9a-9df5c527ca692003', 'status':'VISIBLE', 'txnId':'247'}

mysql> insert into dynamic_partition_tbl values(1,'2021-09-06',100);
ERROR 1064 (HY000): errCode = 2, detailMessage = all partitions have no load data. url: http://10.17.12.160:8040/api/_load_error_log?file=__shard_0/error_log_insert_stmt_84a9868b27494d1e-8e040826450f55a9_84a9868b27494d1e_8e040826450f55a9
mysql>

4个分区数据可以正常插入，当前没有’2021-09-06’的分区，所以第5条数据插入失败。

3、创建一个只保留最近7天并且预先创建未来3天的分区表

（1）建表语句

CREATE TABLE IF NOT EXISTS test.dynamic_tbl2
(
    id INT,
	dt DATE,
	pv BIGINT
)
PARTITION BY RANGE(dt) ()
DISTRIBUTED BY HASH(id)
PROPERTIES
(
    "dynamic_partition.enable" = "true",
    "dynamic_partition.time_unit" = "DAY",
    "dynamic_partition.start" = "-7",
    "dynamic_partition.end" = "3",
    "dynamic_partition.prefix" = "p",
    "dynamic_partition.buckets" = "10"
);

代码说明：

  • “dynamic_partition.start” = “-7”，表示以当前为基准7天前的分区
  • 当前日期是20210902，“dynamic_partition.end” = "3"则提前创建未来3天的分区20210903、20210904、20210905
  • 则到了明天20210903，则会创建新的分区20210905；依次类推，到了20210905这天，提前创建新分区20210908；
  • 假设到了20210910这天，会删除以这天为基准7天前的分区，也就是说这天前保留最近7天的分区（20210909、20210908、20210907、20210906、20210905、20210904、20210903），删除20210902分区。

（2）创建过程

mysql> CREATE TABLE IF NOT EXISTS test.dynamic_tbl2
    -> (
    ->     id INT,
    ->     dt DATE,
    ->     pv BIGINT
    -> )
    -> PARTITION BY RANGE(dt) ()
    -> DISTRIBUTED BY HASH(id)
    -> PROPERTIES
    -> (
    ->     "dynamic_partition.enable" = "true",
    ->     "dynamic_partition.time_unit" = "DAY",
    ->     "dynamic_partition.start" = "-7",
    ->     "dynamic_partition.end" = "3",
    ->     "dynamic_partition.prefix" = "p",
    ->     "dynamic_partition.buckets" = "10"
    -> );
Query OK, 0 rows affected (0.10 sec)

mysql>

（3）查看分区表

mysql>  SHOW DYNAMIC PARTITION TABLES \G
*************************** 1. row ***************************
             TableName: dynamic_tbl2
                Enable: true
              TimeUnit: DAY
                 Start: -7
                   End: 3
                Prefix: p
               Buckets: 10
        ReplicationNum: 3
               StartOf: NULL
        LastUpdateTime: 2021-09-02 10:59:15
     LastSchedulerTime: 2021-09-02 11:01:23
                 State: NORMAL
LastCreatePartitionMsg: NULL
  LastDropPartitionMsg: NULL
*************************** 2. row ***************************
             TableName: dynamic_partition_tbl
                Enable: true
              TimeUnit: DAY
                 Start: -2147483648
                   End: 3
                Prefix: p
               Buckets: 32
        ReplicationNum: 1
               StartOf: NULL
        LastUpdateTime: 2021-09-02 09:50:32
     LastSchedulerTime: 2021-09-02 11:01:23
                 State: NORMAL
LastCreatePartitionMsg: NULL
  LastDropPartitionMsg: NULL
2 rows in set (0.00 sec)

mysql>

（4）查看分区信息

mysql> show partitions from test.dynamic_tbl2 \G                                                                                                               *************************** 1. row ***************************
             PartitionId: 10739
           PartitionName: p20210902
          VisibleVersion: 1
      VisibleVersionTime: 2021-09-02 10:59:15
      VisibleVersionHash: 0
                   State: NORMAL
            PartitionKey: dt
                   Range: [types: [DATE]; keys: [2021-09-02]; ..types: [DATE]; keys: [2021-09-03]; )
         DistributionKey: id
                 Buckets: 10
          ReplicationNum: 3
           StorageMedium: HDD
            CooldownTime: 9999-12-31 23:59:59
LastConsistencyCheckTime: NULL
                DataSize: .000 
              IsInMemory: false
*************************** 2. row ***************************
             PartitionId: 10780
           PartitionName: p20210903
          VisibleVersion: 1
      VisibleVersionTime: 2021-09-02 10:59:15
      VisibleVersionHash: 0
                   State: NORMAL
            PartitionKey: dt
                   Range: [types: [DATE]; keys: [2021-09-03]; ..types: [DATE]; keys: [2021-09-04]; )
         DistributionKey: id
                 Buckets: 10
          ReplicationNum: 3
           StorageMedium: HDD
            CooldownTime: 9999-12-31 23:59:59
LastConsistencyCheckTime: NULL
                DataSize: .000 
              IsInMemory: false
*************************** 3. row ***************************
             PartitionId: 10821
           PartitionName: p20210904
          VisibleVersion: 1
      VisibleVersionTime: 2021-09-02 10:59:15
      VisibleVersionHash: 0
                   State: NORMAL
            PartitionKey: dt
                   Range: [types: [DATE]; keys: [2021-09-04]; ..types: [DATE]; keys: [2021-09-05]; )
         DistributionKey: id
                 Buckets: 10
          ReplicationNum: 3
           StorageMedium: HDD
            CooldownTime: 9999-12-31 23:59:59
LastConsistencyCheckTime: NULL
                DataSize: .000 
              IsInMemory: false
*************************** 4. row ***************************
             PartitionId: 10862
           PartitionName: p20210905
          VisibleVersion: 1
      VisibleVersionTime: 2021-09-02 10:59:15
      VisibleVersionHash: 0
                   State: NORMAL
            PartitionKey: dt
                   Range: [types: [DATE]; keys: [2021-09-05]; ..types: [DATE]; keys: [2021-09-06]; )
         DistributionKey: id
                 Buckets: 10
          ReplicationNum: 3
           StorageMedium: HDD
            CooldownTime: 9999-12-31 23:59:59
LastConsistencyCheckTime: NULL
                DataSize: .000 
              IsInMemory: false
4 rows in set (0.00 sec)

mysql>
程裕强
关注
  • 5
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
大数据Doris（四十七）：Doris的动态分区介绍
Lansonli（蓝深李）的博客
01-01 1337
根据 time_unit 属性的不同，以当天（星期/月）为基准，分区范围在此偏移之前的分区将会被删除。在某些使用场景下，用户会将表按照天进行分区划分，每天定时执行例行任务，这时需要使用方手动管理分区，否则可能由于使用方没有创建分区导致数据导入失败，这给使用方带来了额外的维护成本。动态分区的时区，如果不填写，则默认为当前机器的系统的时区，例如 Asia/Shanghai，如果想获取当前支持的时区设置，可以参考。动态分区调度的单位。动态创建的分区所对应的副本数量，如果不填写，则默认为该表创建时指定的副本数量。
Doris进阶——动态分区
weixin_59812175的博客
06-17 4223
Doris动态分区简介
Apache Doris 技术调研
09-26
Apache Doris 技术调研，建议配合我的同名博客来一同研究学习。
Doris Doris分区表-动态分区
文文x的博客
04-16 372
动态分区是在 Doris 0.12 版本中引入的新功能。旨在对表级别的分区实现生命周期管理(TTL)，减少用户的使用负担。 目前实现了动态添加分区及动态删除分区的功能。 动态分区只支持 Range 分区。
Apache Doris 基础 -- 数据表设计（分区分桶）
最新发布
chinusyan的专栏
05-31 1258
Apache Doris 基础 -- 数据表设计（分区分桶）
Doris--基础--11--动态分区
zhou920786312的博客
03-10 3312
对表级别的分区实现生命周期管理(TTL)，减少用户的使用负担。在某些使用场景下，用户会将表按照天进行分区划分数据，在没有动态分区功能的时候，用户需要手动管理分区数据。这会给使用方带来额外的维护成本。通过动态分区功能，用户可以在建表时设定动态分区的规则，FE 会启动一个后台线程，根据用户指定的规则创建或删除分区。 2.2、运行时修改 3、动态分区规则 参数 3.1、配置文件 fe.conf 3.3、参数 3.3.1、dynamic_partition.enable 是否开启动态分区特性。 值： TRUE
Apache Doris的动态分区dynamic_partition
Bulut0907
01-10 4927
目录1. 背景2. 创建动态分区表3. 动态分区表属性说明4. 动态分区表属性的修改 1. 背景 表按date或datetime类型字段进行分区，对于新的数据，需要我们手动添加分区，和删除旧的分区，维护工作量太大。所以Apache Doris启动了一个后台进程，默认每隔1小时(由fe.conf的dynamic_partition_check_interval_seconds参数设置)根据当前的日期时间来添加分区和删除分区 2. 创建动态分区表 表创建于2021-11-05 22:30:00，星期五 mysq
Doris分区表使用
大数据知识梳理
11-01 1081
Doris动态分区和临时分区记录
Doris入门篇-分区分桶实验
S1124654的博客
03-02 4010
Doris入门篇-分区分桶实验
Apache Doris 1.1.2 FE 安装包
10-02
- **数据分区**：通过时间戳或其他字段进行分区，提高查询效率，减少数据扫描量。 - **分桶策略**：使用分桶（Bucket）提高数据分布均匀性，优化 JOIN 操作。 - **索引设计**：合理设置主键和二级索引，加快查询...
Flink同步Hdfs数据到doris
10-19
- 数据分区：根据业务需求，合理设计Doris的分区策略，可以提高查询性能。 - 拓展性：随着数据量的增长，确保Flink集群和Doris集群的扩展性，以适应更高的数据处理和分析需求。 - 安全性：确保数据在传输过程中的...
flink-doris-demo.rar
12-20
同时，Doris自身的参数调优也对整体性能有重要影响，比如分区策略、索引设计等。 10. **示例代码** 以下是一个简单的示例，展示了如何使用Java API从Doris读取数据到Flink： ```java StreamExecutionEnvironment...
apache-doris-0.12.0.tar.gz
08-12
6. **创建数据库和表**：使用 SQL 命令创建数据库和表，定义数据模型，包括列族、分区策略等。 7. **加载数据**：通过 Feeder 或其他工具将数据导入 Doris，可以是批量导入或实时流式摄入。 8. **查询数据**：使用 ...
Doris--动态分区
qq_46893497的博客
12-03 304
【代码】Doris--动态分区。
Apache Doris 动态分区介绍及使用方法
锋哥聊DORIS数仓
09-28 2666
​ 1. 介绍 在某些使用场景下，用户会将表按照天进行分区划分，每天定时执行例行任务，这时需要使用方手动管理分区，否则可能由于使用方没有创建分区导致数据导入失败，这给使用方带来了额外的维护成本。 通过动态分区功能，用户可以在建表时设定动态分区的规则。FE 会启动一个后台线程，根据用户指定的规则创建或删除分区。用户也可以在运行时对现有规则进行变更 动态分区是在 Doris 0.12 版本中引入的新功能。旨在对表级别的分区实现生命周期管理(TTL)，减少用户的使用负担。 目前实现了动态添加分区及动态删除分区的功
Doris：数据表设计
m0_37559973的博客
10-06 1509
Doris的数据表设计及基本操作
Doris--数据表建表语法&数据划分（分区&分桶）
qq_46893497的博客
03-17 5861
以 AGGREGATE KEY 数据模型为例进行说明。更多数据模型参阅 Doris 数据模型。列的基本类型，可以通过在 mysql-client 中执行查看。AGGREGATE KEY 数据模型中，所有没有指定聚合方式（SUM、REPLACE、MAX、MIN）的列视为 Key 列。而其余则为 Value 列。定义列时，可参照如下建议：Key 列必须在所有 Value 列之前。尽量选择整型类型。因为整型类型的计算和查找比较效率远高于字符串。对于不同长度的整型类型的选择原则，遵循够用即可。
Apache Doris 系列：基础篇-创建动态分区表
修破立生
11-15 1745
Apache Doris 系列：基础篇-创建动态分区表
Apache Doris 2.1.0 版本发布，复杂查询性能提升 100%！
微信搜：import_bigdata，大数据领域硬核原创作者
03-18 430
亲爱的社区小伙伴们，我们很高兴地向大家宣布，在 3 月 8 日我们迎来了 Apache Doris 2.1.0 版本的正式发布，欢迎大家下载使用。在查询性能方面， 2.1 系列版本我们着重提升了开箱盲测性能，力争不做调优的情况下取得较好的性能表现，包含了对复杂 SQL 查询性能的进一步提升，在 TPC-DS 1TB 测试数据集上获得超过 100% 的性能提升，查询性能居于业界领先地位。在数据湖分析...
doris数据库range分区
05-11
DorisDB是一个开源的分布式数据库，支持Range分区。Range分区是一种基于分区键对表进行分区的方式，分区键指的是表中的某一列，而Range则是指这个列的值的范围。使用Range分区，可以将数据按照列的值的范围进行划分，将数据分散到不同的节点上，以实现分布式存储和查询。 在DorisDB中，Range分区可以在表的创建时指定，也可以在已有的表上进行修改。例如，创建一个按照时间列进行分区的表可以使用如下的语句： ``` CREATE TABLE events ( event_id INT, event_time TIMESTAMP, event_type STRING, ... ) ENGINE=OLAP PARTITION BY RANGE(event_time) ( PARTITION p202101 VALUES LESS THAN ("2021-02-01"), PARTITION p202102 VALUES LESS THAN ("2021-03-01"), PARTITION p202103 VALUES LESS THAN ("2021-04-01"), ... ); ``` 这个语句将events表按照event_time列的值的范围进行分区，每个分区的范围由VALUES LESS THAN子句指定。例如，p202101分区包含所有event_time小于"2021-02-01"的记录。可以通过增加或删除分区来动态地调整表的分区情况。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值