一、StarRocks系统架构
目前笔者生产环境接触的StrarRocks版本为3.0,按照官网描述属于存算一体架构。其系统架构简图如下。
FE 负责元数据管理和构建执行计划;BE 负责实际执行以及数据存储管理,BE 采用本地存储,通过多副本的机制保证高可用。
二、常见数据分布方式
本文所讨论的分区分桶和副本概念属于数据分布(数据存储管理)的范畴。建表时通过设置合理的分区和分桶,以实现数据均匀分布和查询性能提升。
分布式数据库中,常见的数据分布方式有如下几种:Round-Robin、Range、List 和 Hash。
Round-Robin:以轮询的方式把数据逐个放置在相邻节点上。
Range:按区间进行数据分布。如上图所示,区间 [1-3]、[4-6] 分别对应不同的范围 (Range)。
List:直接基于离散的各个取值做数据分布,性别、省份等数据就满足这种离散的特性。每个离散值会映射到一个节点上,多个不同的取值可能也会映射到相同节点上。
Hash:通过哈希函数把数据映射到不同节点上。
三、StarRocks中数据分布方式
StarRocks 通过设置分区 + 分桶的方式来实现数据分布。根据分区(3类)和分桶(2类)类型的不同,常见组合方式有以下6种。
以一个简化的StarRocks 建表语句为例:
create table table01(
user_id INT,
device_code INT,
event_time DATETIME,
total DECIMAL(18,2) SUM
)
AGGREGATE KEY(user_id,device_code,event_time)
PARTITION BY RANGE(event_time)(
PARTITION p1 VALUES LESS THAN ("2024-01-31"),
PARTITION p2 VALUES LESS THAN ("2024-02-28"),
PARTITION p3 VALUES LESS THAN ("2024-03-31")
)
DISTRIBUTED BY HASH(user_id, device_code) BUCKETS 20
PROPERTIES(
"replication_num" = "3"
)
从建表语句中可看出 是按照event_time 进行Range分区,每个分区内再按照user_id, device_code分20个桶(bucket)。保存三副本。
此表的数据分布的简易图示如下:
综上所述,分区、分桶、副本三个概念的对比简单列举如下。