关于Doris的动态分区问题

最新推荐文章于 2024-08-23 05:30:00 发布
最新推荐文章于 2024-08-23 05:30:00 发布
阅读量301 收藏
点赞数 1
文章标签： linux 数据库 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42265608/article/details/136303074
版权
本文讨论了在数据库分区中，如何根据本地时间设置动态分区的结束日期，以及如何处理历史分区的数量和设置，如不设定最大分区数并将历史分区设为关闭，以避免数据丢失。
摘要由CSDN通过智能技术生成

1.分区的时间以谁为准？
以本地为准，我们设置的分区字段，是通过和本地的时间进行比较来进行判断的。
当时间时间为2024.2.26时
我们设置
“dynamic_partition.end” = “3”,
而分区字段
PARTITION BY RANGE(cTime)()
cTime 最大就只能2024.2.29，否则就超出范围了

2.关于历史分区的问题
不设置最大分区数并且将历史分区改为false就不会删除
开启历史分区
create_history_partition = true
历史分区的个数
dynamic_partition.start 和 dynamic_partition.history_partition_num

叫我莫言鸭
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
doris的手动分区和动态分区
JustinMars的博客
07-08 143
手动分区适合需要精细化管理的场景，而自动分区适合简单高效的场景。用户可以根据实际情况选择合适的分区方式。
Doris 创建复合分区表和动态分区表
zhengzaifeidelushang的博客
07-07 4650
Doris 支持两层的数据划分。createdate是字段。 第一层是 Partition，PARTITION BY RANGE(`createdate`)。 第二层是 Bucket（Tablet），DISTRIBUTED BY HASH(`createdate`) BUCKETS 10。 在 Doris 的存储引擎中，用户数据被水平划分为若干个数据分片（Tablet，也称作数据分桶）。每个 Tablet 包含若干数据行。各个 Tablet 之间的数据没有交集，并且在物理上是独立存储的。 多个 Tablet
Doris进阶——动态分区
weixin_59812175的博客
06-17 4337
Doris动态分区简介
Apache Doris 动态分区介绍及使用方法
锋哥聊DORIS数仓
09-28 2860
​ 1. 介绍 在某些使用场景下，用户会将表按照天进行分区划分，每天定时执行例行任务，这时需要使用方手动管理分区，否则可能由于使用方没有创建分区导致数据导入失败，这给使用方带来了额外的维护成本。 通过动态分区功能，用户可以在建表时设定动态分区的规则。FE 会启动一个后台线程，根据用户指定的规则创建或删除分区。用户也可以在运行时对现有规则进行变更 动态分区是在 Doris 0.12 版本中引入的新功能。旨在对表级别的分区实现生命周期管理(TTL)，减少用户的使用负担。 目前实现了动态添加分区及动态删除分区的功
Doris按天/月分区介绍及使用【Range 分区和List 分区】
weixin_42326851的博客
06-24 4923
Doris按天/月分区介绍及使用【Range 分区和List 分区】
Doris动态分区
程裕强的专栏
09-02 5128
1、说明 本文主要是测试Doris动态分区相关功能； 关于动态分区相关理论部分请参考官方文档： http://doris.incubator.apache.org/master/zh-CN/administrator-guide/dynamic-partition.html 2、创建一个张按天调度的、不删除历史分区的动态分区表 （1）建表语句 CREATE TABLE IF NOT EXISTS test.dynamic_partition_tbl ( id INT, dt DATE, pv BIGI
Doris之动态分区
最新发布
youziguo的专栏
08-23 684
Apache Doris 的动态分区功能可以在数据加载时，根据数据内容自动创建或选择合适的分区。这使得数据分区管理变得更加灵活，尤其在处理大量数据的实时或批量导入时，能够减少预先分区带来的复杂性，并提高数据管理效率。
Doris Doris分区表-动态分区
文文x的博客
04-16 565
动态分区是在 Doris 0.12 版本中引入的新功能。旨在对表级别的分区实现生命周期管理(TTL)，减少用户的使用负担。 目前实现了动态添加分区及动态删除分区的功能。 动态分区只支持 Range 分区。
Doris--基础--11--动态分区
zhou920786312的博客
03-10 3577
对表级别的分区实现生命周期管理(TTL)，减少用户的使用负担。在某些使用场景下，用户会将表按照天进行分区划分数据，在没有动态分区功能的时候，用户需要手动管理分区数据。这会给使用方带来额外的维护成本。通过动态分区功能，用户可以在建表时设定动态分区的规则，FE 会启动一个后台线程，根据用户指定的规则创建或删除分区。 2.2、运行时修改 3、动态分区规则 参数 3.1、配置文件 fe.conf 3.3、参数 3.3.1、dynamic_partition.enable 是否开启动态分区特性。 值： TRUE
Apache Doris创建动态分区
JustinMars的博客
04-21 607
使用doris创建动态分区表
大数据Doris（四十七）：Doris的动态分区介绍
Lansonli（蓝深李）的博客
01-01 1380
根据 time_unit 属性的不同，以当天（星期/月）为基准，分区范围在此偏移之前的分区将会被删除。在某些使用场景下，用户会将表按照天进行分区划分，每天定时执行例行任务，这时需要使用方手动管理分区，否则可能由于使用方没有创建分区导致数据导入失败，这给使用方带来了额外的维护成本。动态分区的时区，如果不填写，则默认为当前机器的系统的时区，例如 Asia/Shanghai，如果想获取当前支持的时区设置，可以参考。动态分区调度的单位。动态创建的分区所对应的副本数量，如果不填写，则默认为该表创建时指定的副本数量。
大数据Doris（四十八）：Doris的动态分区示例与查看动态分区表调度情况
Lansonli（蓝深李）的博客
01-02 1516
注：2019-12-31 和 2020-01-01 在同一周内，如果分区的起始日期为 2019-12-31，则分区名为 p2019_53，如果分区的起始日期为 2020-01-01，则分区名为 p2020_01。同时，因为分区列 k1 的类型为 DATETIME，则分区值会补全时分秒部分，且皆为 0。在 2020-06-15，即第25周时，会删除2周前的分区，即删除 p2020_22。设置为 7，则将删除7天前的分区，即删除分区 p20210215。创建一张调度单位为天，可以删除历史分区的动态分区表。
【大数据 - Doris 实践】数据表的基本使用（四）：动态分区
书山有路，学海无涯。记录成长，追逐梦想
10-22 1121
在某些使用场景下，用户会将表按照天进行分区划分，每天定时执行例行任务，这时需要使用方手动管理分区，否则可能由于使用方没有创建分区导致数据导入失败，这给使用方带来了额外的维护成本。通过动态分区功能，用户可以在建表时设定动态分区的规则。FE 会启动一个后台线程，根据用户指定的规则创建或删除分区。用户也可以在运行时对现有规则进行变更。
Doris动态分区DYNAMIC PARTITION 失效,未正常创建分区
李指导的博客
07-04 1315
Doris。通常情况下，系统会根据我的设置自动每月创建未来两个月的分区，但到了7月份时，分区未能正常创建，导致数据无法正确写入。
Apache Doris 全新分区策略 Auto Partition 应用场景与功能详解 ｜ Deep Dive系列
SelectDB
06-17 1576
自 Apache Doris 2.1 版本起，许多用户已经使用该功能简化了工作流程，并且极大的便利了从其他数据库系统迁移到 Doris 的工作，即使面对高负载、集群压力较大的情况，开启 Auto Partition 的导入性能表现依旧出色，足以满足实际生产环境的使用需求。
Apache Doris 系列：基础篇-创建动态分区表
修破立生
11-15 1868
Apache Doris 系列：基础篇-创建动态分区表
Apache Doris的动态分区dynamic_partition
Bulut0907
01-10 5300
目录1. 背景2. 创建动态分区表3. 动态分区表属性说明4. 动态分区表属性的修改 1. 背景 表按date或datetime类型字段进行分区，对于新的数据，需要我们手动添加分区，和删除旧的分区，维护工作量太大。所以Apache Doris启动了一个后台进程，默认每隔1小时(由fe.conf的dynamic_partition_check_interval_seconds参数设置)根据当前的日期时间来添加分区和删除分区 2. 创建动态分区表 表创建于2021-11-05 22:30:00，星期五 mysq
doris动态分区开启历史分区
干就完了！！！
10-03 439
doris动态分区创建历史分区
Doris动态分区（十四）
weixin_46039745的博客
11-22 349
动态分区是在 Doris 0.12 版本中引入的新功能。旨在对表级别的分区实现生命周期管理（TTL），减少用户的使用负担。目前实现了动态添加分区及动态删除分区的功能。动态分区只支持 Range 分区。
doris动态分区的分桶查询
05-24
Doris动态分区是一种在分布式存储系统中，实现数据分区和数据查询的方法。Doris动态分区中的分桶查询是一种在数据分区后，对数据进行查询时，能够快速定位目标数据所在的具体分区的方法。 在Doris动态分区中，数据会根据一定的规则进行分区。而在进行查询时，为了提高查询效率，通常会采用分桶查询的方式。这种方式可以通过计算目标数据的hash值，并将其映射到对应的分区中，从而快速定位目标数据所在的具体分区。 具体实现时，Doris动态分区会将每个分区的数据按照hash值进行排序，并在每个分区中设置一个桶，用于存储hash值相同的数据。这样，在进行查询时，只需要计算目标数据的hash值，并在对应的分区中查找对应的桶，即可快速定位目标数据所在的具体位置。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值