Doris之动态分区

Apache Doris 是一个现代化的 MPP (Massively Parallel Processing) 数据库，旨在提供高效的分析和查询处理。动态分区是 Doris 中的一个重要特性，特别是在处理大规模数据集时，可以显著提升查询性能和数据管理的效率。

动态分区简介

Apache Doris 的动态分区功能可以在数据加载时，根据数据内容自动创建或选择合适的分区。这使得数据分区管理变得更加灵活，尤其在处理大量数据的实时或批量导入时，能够减少预先分区带来的复杂性，并提高数据管理效率。

动态分区的工作原理

在传统的分区表中，分区通常在表创建时就已定义，分区的范围和数量是固定的。动态分区则不同，它允许根据导入数据的分区键的值自动创建新的分区或选择合适的已有分区进行数据存储。

Doris 支持两种类型的分区：

1. Range 分区：基于某一列的值的范围来定义分区。
2. Hash 分区：基于某一列的哈希值进行分区。

在动态分区中，主要是针对 Range 分区。Doris 在数据导入过程中会检查数据的分区键值，如果该值超出了现有分区的范围，Doris 将自动创建一个新的分区以存放这些数据。

动态分区的配置

在 Doris 中启用动态分区，需要在表的分区属性中进行配置。通常包括以下几个步骤：

1. 创建带有 Range 分区的表： 在创建表时，定义一个初始的分区范围，同时允许 Doris 自动扩展分区。

2. 配置动态分区属性： 通过设置表的动态分区属性，Doris 会在数据导入时根据数据的实际分区键值动态扩展分区。

动态分区配置示例

下面是一个使用 Doris 动态分区的完整示例：

1. 创建表并设置初始分区

CREATE TABLE sales (
    id BIGINT,
    date DATE,
    product_id BIGINT,
    amount DECIMAL(10, 2)
) ENGINE=OLAP
DUPLICATE KEY(id)
PARTITION BY RANGE(date) (
    PARTITION p1 VALUES LESS THAN ("2023-01-01")
)
DISTRIBUTED BY HASH(id) BUCKETS 10
PROPERTIES (
    "dynamic_partition.enable" = "true",
    "dynamic_partition.time_unit" = "DAY",
    "dynamic_partition.start" = "-3",
    "dynamic_partition.end" = "3",
    "dynamic_partition.prefix" = "p",
    "dynamic_partition.buckets" = "10"
);

2. 动态分区属性解释

• dynamic_partition.enable：启用动态分区。
• dynamic_partition.time_unit：分区的时间单位（DAY、WEEK、MONTH）。
• dynamic_partition.start：从当前日期起始的偏移量，负数表示过去的日期。
• dynamic_partition.end：从当前日期起始的结束偏移量，正数表示未来的日期。
• dynamic_partition.prefix：分区名称的前缀。
• dynamic_partition.buckets：每个分区的存储桶数。

3. 导入数据

当你导入数据时，Doris 会根据 date 列的值自动扩展分区。例如，假设你导入的数据包含了 2023-02-01 的记录，Doris 将会自动创建一个 p20230201 的分区来存放这部分数据。

INSERT INTO sales VALUES (1, '2023-02-01', 1001, 500.00);

4. 查看自动创建的分区

你可以使用以下命令查看表的分区信息：

SHOW PARTITIONS FROM sales;

你将看到 Doris 自动创建了新的分区 p20230201，以容纳 2023-02-01 的数据。

修改动态分区属性

你可以使用 ALTER TABLE 语句来修改 Doris 表的动态分区属性。例如，假设你有一个名为 sales 的表，你希望修改其动态分区的配置。

ALTER TABLE sales
MODIFY PARTITION PROPERTIES (
    "dynamic_partition.enable" = "true",
    "dynamic_partition.time_unit" = "DAY",
    "dynamic_partition.start" = "-7",
    "dynamic_partition.end" = "7",
    "dynamic_partition.prefix" = "p",
    "dynamic_partition.buckets" = "10"
);

具体属性说明

• dynamic_partition.enable：启用或禁用动态分区，值可以是 "true" 或 "false"。
• dynamic_partition.time_unit：指定分区的时间单位，可以是 "DAY"、"WEEK"、"MONTH" 等。
• dynamic_partition.start：相对于当前日期的起始偏移量，负数表示过去的日期。例如，-7 表示从当前日期往前7天。
• dynamic_partition.end：相对于当前日期的结束偏移量，正数表示未来的日期。例如，7 表示从当前日期往后7天。
• dynamic_partition.prefix：分区名称的前缀，例如 "p"，生成的分区名称可能为 p20230101。
• dynamic_partition.buckets：每个动态分区的存储桶数（Bucket 数量）。

示例：调整动态分区的时间范围

假设你当前设置的 start 为 -3，end 为 3，意味着表当前管理的分区范围是从当前日期的前3天到未来的3天。你想扩展这个范围到前7天和未来7天，可以使用以下命令：

ALTER TABLE sales
MODIFY PARTITION PROPERTIES (
    "dynamic_partition.start" = "-7",
    "dynamic_partition.end" = "7"
);

示例：禁用动态分区

如果你想临时禁用动态分区，可以将 dynamic_partition.enable 属性设置为 false：

ALTER TABLE sales
MODIFY PARTITION PROPERTIES (
    "dynamic_partition.enable" = "false"
);

动态分区的优点

• 自动化管理：减少手动管理分区的负担，特别是对于频繁变化的时间序列数据。
• 提高性能：通过分区剪枝优化查询性能，减少不必要的数据扫描。
• 灵活扩展：可以根据实际导入的数据灵活扩展分区，适应数据增长。

使用场景

• 时间序列数据：如日志、监控数据等，数据量大且按时间维度增长。
• 实时数据流入：需要持续导入数据并保持高效查询的场景。
• 大规模批量导入：在导入大量历史数据时，动态分区能自动适应数据范围。

总结

Doris 的动态分区功能大大简化了大数据量场景下的分区管理工作。通过自动扩展分区，它不仅提高了数据导入的灵活性，还能有效地优化查询性能。在使用动态分区时，合理配置分区策略可以帮助你更好地管理数据，提升系统的稳定性和查询效率。