Doris表的动态分区

最新推荐文章于 2024-06-24 14:20:32 发布
最新推荐文章于 2024-06-24 14:20:32 发布
阅读量876 收藏
点赞数 13
分类专栏： Doris 文章标签： doris 大数据 数据仓库 sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shangjg03/article/details/134531468
版权
Doris 专栏收录该内容
22 篇文章 6 订阅 ¥19.90 ¥99.00
订阅专栏
Doris的动态分区功能在0.12版本中引入，旨在简化表级别的分区生命周期管理。它支持动态添加和删除Range分区，减少用户维护成本。动态分区规则可在建表时指定或运行时修改，主要参数包括`create_history_partition`、`history_partition_num`等。例如，通过设置动态分区规则，可以自动创建和管理最近几天的分区，并调整分区的存储介质和冷却时间。
摘要由CSDN通过智能技术生成

动态分区是在Doris 0.12版本中引入的新功能。旨在对表级别的分区实现生命周期管理（TTL），减少用户的使用负担。

目前实现了动态添加分区及动态删除分区的功能。动态分区只支持Range分区。

1 原理

在某些使用场景下，用户会将表按照天进行分区划分，每天定时执行例行任务，这时需要使用方手动管理分区，否则可能由于使用方没有创建分区导致数据导入失败，这给使用方带来了额外的维护成本。

通过动态分区功能，用户可以在

了解本专栏 订阅专栏 解锁全文
doris的手动分区和动态分区
JustinMars的博客
07-08 375
手动分区适合需要精细化管理的场景，而自动分区适合简单高效的场景。用户可以根据实际情况选择合适的分区方式。
Doris 创建复合分区表和动态分区表
zhengzaifeidelushang的博客
07-07 4805
Doris 支持两层的数据划分。createdate是字段。 第一层是 Partition，PARTITION BY RANGE(`createdate`)。 第二层是 Bucket（Tablet），DISTRIBUTED BY HASH(`createdate`) BUCKETS 10。 在 Doris 的存储引擎中，用户数据被水平划分为若干个数据分片（Tablet，也称作数据分桶）。每个 Tablet 包含若干数据行。各个 Tablet 之间的数据没有交集，并且在物理上是独立存储的。 多个 Tablet
Doris按天/月分区介绍及使用【Range 分区和List 分区】
weixin_42326851的博客
06-24 5931
Doris按天/月分区介绍及使用【Range 分区和List 分区】
doris分区、join
weixin_45012397的博客
05-29 2436
原理在某些使用场景下，用户会将表按照天进行分区划分，每天定时执行例行任务，这时需要使用方手动管理分区，否则可能由于使用方没有创建分区导致数据导入失败，这给使用方带来了额外的维护成本。通过动态分区功能，用户可以在建表时设定动态分区的规则。FE 会启动一个后台线程，根据用户指定的规则创建或删除分区。用户也可以在运行时对现有规则进行变更。使用方式动态分区的规则可以在建表时指定，或者在运行时进行修改。当前仅支持对单分区列的分区表设定动态分区规则。
Apache Doris 系列：基础篇-创建动态分区表
修破立生
11-15 2063
Apache Doris 系列：基础篇-创建动态分区表
Doris动态分区
程裕强的专栏
09-02 5624
1、说明 本文主要是测试Doris动态分区相关功能； 关于动态分区相关理论部分请参考官方文档： http://doris.incubator.apache.org/master/zh-CN/administrator-guide/dynamic-partition.html 2、创建一个张按天调度的、不删除历史分区的动态分区表 （1）建表语句 CREATE TABLE IF NOT EXISTS test.dynamic_partition_tbl ( id INT, dt DATE, pv BIGI
下一代实时数据库：Apache Doris 【六】数据划分
Maynor的博客
12-18 1135
如果不使用 Partition ，则描述的是对整个表的数据的划分规则。此时，当多个点查询并发时， 这些查询有较大的概率分别触发不同的分桶扫描， 各 个查询之间的 IO 影响较小(尤其当不同桶分布在不同磁盘上时) ，所以这种方式适合 高并发的点查询场景。如按天分区，当每天的数 据量差异很大时， 可以通过指定分区的分桶数，合理划分不同分区的数据,分桶列建议选择 区分度大的列。如果一个查询条件不包含所有分桶列的等值条件，那么该查询会触发所有分桶同时 扫描，这样查询的吞吐会增加，单个查询的延迟随之降低。
Apache Doris (四十九）： Doris表结构变更-动态分区(1)
qq_32020645的博客
10-31 216
在某些使用场景下，用户会将表按照天进行分区划分，每天定时执行例行任务，这时需要使用方手动管理分区，否则可能由于使用方没有创建分区导致数据导入失败，这给使用方带来了额外的维护成本。通过动态分区功能，用户可以在建表时设定动态分区的规则。FE 会启动一个后台线程，根据用户指定的规则创建或删除分区。用户也可以在运行时对现有规则进行变更。动态分区是在 Doris 0.12 版本中引入的新功能，旨在对表级别的分区实现生命周期管理(TTL)，减少用户的使用负担，目前实现了动态添加分区及动态删除分区的功能。
大数据Doris（四十八）：Doris的动态分区示例与查看动态分区表调度情况
Lansonli（蓝深李）的博客
01-02 1738
注：2019-12-31 和 2020-01-01 在同一周内，如果分区的起始日期为 2019-12-31，则分区名为 p2019_53，如果分区的起始日期为 2020-01-01，则分区名为 p2020_01。同时，因为分区列 k1 的类型为 DATETIME，则分区值会补全时分秒部分，且皆为 0。在 2020-06-15，即第25周时，会删除2周前的分区，即删除 p2020_22。设置为 7，则将删除7天前的分区，即删除分区 p20210215。创建一张调度单位为天，可以删除历史分区的动态分区表。
Apache Doris创建动态分区
JustinMars的博客
04-21 672
使用doris创建动态分区表
Doris 分区与分桶
悦上心灵的博客
05-16 4593
Apache Doris 为分析而生
Doris--基础--11--动态分区
zhou920786312的博客
03-10 3949
对表级别的分区实现生命周期管理(TTL)，减少用户的使用负担。在某些使用场景下，用户会将表按照天进行分区划分数据，在没有动态分区功能的时候，用户需要手动管理分区数据。这会给使用方带来额外的维护成本。通过动态分区功能，用户可以在建表时设定动态分区的规则，FE 会启动一个后台线程，根据用户指定的规则创建或删除分区。 2.2、运行时修改 3、动态分区规则 参数 3.1、配置文件 fe.conf 3.3、参数 3.3.1、dynamic_partition.enable 是否开启动态分区特性。 值： TRUE
Doris系列17-动态分区
只是甲的博客
01-13 1484
文章目录一. 动态分区概述1.1 原理1.2 使用方式1.3 动态分区规则参数1.4 创建历史分区规则1.5 注意事项二. 案例2.1 案例12.2 案例22.3 案例3参考: 一. 动态分区概述 动态分区是在 Doris 0.12 版本中引入的新功能。旨在对表级别的分区实现生命周期管理(TTL)，减少用户的使用负担。 目前实现了动态添加分区及动态删除分区的功能。 动态分区只支持 Range 分区。 名词解释: FE：Frontend，Doris 的前端节点。负责元数据管理和请求接入。 BE：Backend
Apache Doris 动态分区介绍及使用方法
锋哥聊DORIS数仓
09-28 3122
​ 1. 介绍 在某些使用场景下，用户会将表按照天进行分区划分，每天定时执行例行任务，这时需要使用方手动管理分区，否则可能由于使用方没有创建分区导致数据导入失败，这给使用方带来了额外的维护成本。 通过动态分区功能，用户可以在建表时设定动态分区的规则。FE 会启动一个后台线程，根据用户指定的规则创建或删除分区。用户也可以在运行时对现有规则进行变更 动态分区是在 Doris 0.12 版本中引入的新功能。旨在对表级别的分区实现生命周期管理(TTL)，减少用户的使用负担。 目前实现了动态添加分区及动态删除分区的功
Doris动态分区（十四）
weixin_46039745的博客
11-22 442
动态分区是在 Doris 0.12 版本中引入的新功能。旨在对表级别的分区实现生命周期管理（TTL），减少用户的使用负担。目前实现了动态添加分区及动态删除分区的功能。动态分区只支持 Range 分区。
Doris之分区分桶
南风知我意
10-27 4536
Doris 支持两层的数据划分。第一层是 Partition（分区），支持 Range （按范围）和 List（按枚举值） 的划分方式。第二层是 Bucket（分桶），仅支持 Hash 的划分方式。分区和分桶都是对数据进行横向分割
关于Doris的动态分区问题
qq_42265608的博客
02-26 469
dynamic_partition.start 和 dynamic_partition.history_partition_num。以本地为准，我们设置的分区字段，是通过和本地的时间进行比较来进行判断的。cTime 最大就只能2024.2.29，否则就超出范围了。不设置最大分区数并且将历史分区改为false就不会删除。当时间时间为2024.2.26时。1.分区的时间以谁为准？2.关于历史分区的问题。
Doris的一些进阶用法
weixin_67024075的博客
06-01 5008
如果此时将分区粒度改为 MONTH，则系统会尝试创建范围为 ["2020-05-01", "2020-06-01") 的分区，而该分区的分区范围和已有分区冲突，所以无法创建。在某些使用场景下，用户会将表按照天进行分区划分，每天定时执行例行任务，这时需要使用方手动管理分区，否则可能由于使用方没有创建分区导致数据导入失败，这给使用方带来了额外的维护成本。p1 分区不再存在。在第二天，即 2020-05-30，会创建新的分区 p20200602: ["2020-06-02", "2020-06-03")
冷热备份、OLAP与OLTP、数据库比较
laochi5的博客
07-24 708
文章目录一、数据库冷热备份1.冷备份2.热备份二、OLAP与OLTP三、主流（关系型）数据库比较 一、数据库冷热备份 1.冷备份 冷备份数据库是将数据库关闭之后备份所有的关键性文件包括数据文件、控制文件、联机REDO LOG文件，将其拷贝到另外的位置。冷备份实际也是一种物理备份，是一个备份数据库物理文件的过程。因为冷备份要备份除了重做日志以外的所有数据库文件，因此也被称为数据库完整备份。 冷备份过...
doris 清理表分区
最新发布
01-25
### 如何在 Apache Doris 中清理表分区 #### 清理表分区的重要性 为了保持系统的高效运行并节省存储空间，在不再需要某些历史数据的情况下，定期清理旧的或无用的表分区是非常重要的。这不仅有助于减少磁盘占用量，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

shangjg3

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值