StarRocks分区分桶及副本数概念

一、StarRocks系统架构

目前笔者生产环境接触的StrarRocks版本为3.0，按照官网描述属于存算一体架构。其系统架构简图如下。

系统架构

FE 负责元数据管理和构建执行计划；BE 负责实际执行以及数据存储管理，BE 采用本地存储，通过多副本的机制保证高可用。

二、常见数据分布方式

本文所讨论的分区分桶和副本概念属于数据分布(数据存储管理)的范畴​。建表时通过设置合理的分区和分桶，以实现数据均匀分布和查询性能提升。

分布式数据库中，常见的数据分布方式有如下几种：Round-Robin、Range、List 和 Hash。

数据分布

Round-Robin：以轮询的方式把数据逐个放置在相邻节点上。

Range：按区间进行数据分布。如上图所示，区间 [1-3]、[4-6] 分别对应不同的范围 (Range)。

List：直接基于离散的各个取值做数据分布，性别、省份等数据就满足这种离散的特性。每个离散值会映射到一个节点上，多个不同的取值可能也会映射到相同节点上。

Hash：通过哈希函数把数据映射到不同节点上。

三、StarRocks中数据分布方式

StarRocks 通过设置分区 + 分桶的方式来实现数据分布。根据分区(3类)和分桶(2类)类型的不同，常见组合方式有以下6种。

StarRocks 的数据分布方式

以一个简化的StarRocks 建表语句为例​：

create table table01(
user_id INT,
device_code INT,
event_time DATETIME,
total DECIMAL(18,2) SUM
)
AGGREGATE KEY(user_id,device_code,event_time)
PARTITION BY RANGE(event_time)(
PARTITION p1 VALUES LESS THAN ("2024-01-31"),
PARTITION p2 VALUES LESS THAN ("2024-02-28"),
PARTITION p3 VALUES LESS THAN ("2024-03-31")
)
DISTRIBUTED BY HASH(user_id, device_code) BUCKETS 20
PROPERTIES(
  "replication_num" = "3"
)

从建表语句中可看出 是按照event_time 进行Range分区，每个分区内再按照user_id, device_code分20个桶(bucket)。保存三副本​。

此表的数据分布的简易图示如下：

综上所述，分区、分桶、副本三个概念的对比​简单列举如下。