最近在使用starrocks来进行实时数据项目的开发,尝试使用了一下starrocks的异步物化视图。
使用版本: 3.1.2-4f3a2ee
创建三个测试表, 注意只有test_mv_table1为分区表,其他两个都是非分区表:
CREATE TABLE `test_mv_table1` (
`periodday` DATE NOT NULL COMMENT "",
`fid` varchar(44) NOT NULL COMMENT "",
`fnumber` int NULL COMMENT ""
) ENGINE=OLAP
PRIMARY KEY(`periodday`, `fid`)
COMMENT "数据1-分区"
PARTITION BY date_trunc('month', `periodday`)
DISTRIBUTED BY HASH(`fid`)
ORDER BY(`fid`, `fnumber`)
PROPERTIES (
"replication_num" = "3",
"in_memory" = "false",
"enable_persistent_index" = "false",
"replicated_storage" = "true"
);
CREATE TABLE `test_mv_table2` (
`fid` varchar(44) NOT NULL COMMENT "",
`fnumber` int NULL COMMENT ""
) ENGINE=OLAP
PRIMARY KEY(`fid`)
COMMENT "数据2-明细"
DISTRIBUTED BY HASH(`fid`)
ORDER BY(`fid`, `fnumber`)
PROPERTIES (
"replication_num" = "3",
"in_memory" = "false",
"enable_persistent_index" = "false",
"replicated_storage" = "true"
);
CREATE TABLE `test_mv_table3` (
`fid` varchar(44) NOT NULL COMMENT "",
`fnumber` int NULL COMMENT ""
) ENGINE=OLAP
PRIMARY KEY(`fid`)
COMMENT "数据3-明细"
DISTRIBUTED BY HASH(`fid`)
ORDER BY(`fid`, `fnumber`)
PROPERTIES (
"replication_num" = "3",
"in_memory" = "false",
"enable_persistent_index" = "false",
"replicated_storage" = "true"
);
分别在三张表中插入初始化数据:
insert into test_mv_table1 (periodday, fid, fnumber) values
("2023-09-01", "aaa", 111),
("2023-09-02", "bbb", 222),
("2023-09-03", "ccc", 333),
("2023-10-01", "aaa", 111),
("2023-10-02", "bbb", 222),
("2023-10-03", "ccc", 333),
("2023-11-01", "aaa", 111),
("2023-11-02", "bbb", 222),
("2023-11-03", "ccc", 333);
insert into test_mv_table2 (fid, fnumber) values
("aaa", 666),
("bbb", 777),
("ccc", 888);
insert into test_mv_table3 (fid, fnumber) values
("aaa", 22200),
("bbb", 33300),
("ccc", 44400);
创建物化视图,物化视图的分区只能对应一个基表:
CREATE MATERIALIZED VIEW view_mv_test
COMMENT 'test-物化视图'
PARTITION BY `periodday`
DISTRIBUTED BY HASH(`fnumber`)
REFRESH ASYNC
PROPERTIES (
"replication_num" = "3",
"excluded_trigger_tables"="
test_mv_table2
,test_mv_table3",
"session.exec_mem_limit"="9147483648",
"session.query_timeout"="259000",
"session.new_planner_optimize_timeout"="5000",
"session.parallel_fragment_exec_instance_num"="10"
)
AS
select
a.periodday as periodday,
b.fnumber as fnumber,
a.fid as fid,
now() as insert_time
from test_mv_table1 a
left join test_mv_table2 b
on a.fid = t.fid
inner join test_mv_table3 c
on a.fid = c.fid
and b.fid = c.fid
;
注意这里创建的是自动刷新,也可以创建为定时刷新:
CREATE MATERIALIZED VIEW view_mv_test
COMMENT 'test-物化视图'
PARTITION BY `periodday`
DISTRIBUTED BY HASH(`fnumber`)
REFRESH ASYNC START('2023-11-20 10:00:00') EVERY (interval 1 minute)
PROPERTIES (
"replication_num" = "3",
"excluded_trigger_tables"="
test_mv_table2
,test_mv_table3",
"session.exec_mem_limit"="9147483648",
"session.query_timeout"="259000",
"session.new_planner_optimize_timeout"="5000",
"session.parallel_fragment_exec_instance_num"="10"
)
AS
select
a.periodday as periodday,
b.fnumber as fnumber,
a.fid as fid,
now() as insert_time
from test_mv_table1 a
left join test_mv_table2 b
on a.fid = t.fid
inner join test_mv_table3 c
on a.fid = c.fid
and b.fid = c.fid
;
创建完成后,数据会进行初始化计算
小结:
- 基表有刷新了,物化视图进行刷新(前提是 test_mv_table2 和 test_mv_table3都没有变更的情况下,物化视图刷新对应的分区)
- 如果 test_mv_table2 和 test_mv_table3 存在变更,test_mv_table1基表未发生变更,此时不会触发刷新
- 但是等到 test_mv_table1基表 发生变更的时候,会触发物化视图的全量刷新
- 如果我只想让物化视图跟随基表的分区变化而刷新对应的分区,不管 test_mv_table2 和 test_mv_table3 的变更,这样该怎么实现呢?目前好像不支持
参考文档: https://docs.starrocks.io/zh-cn/latest/using_starrocks/data_modeling_with_materialized_views
通过物化视图将事实表和多个维度表进行关联:
- 您需要在物化视图的分区键中指定特定基表(通常是事实表)的分区键来实现物化视图的分区关联(PARTITION BY fact_tbl.col)。一个物化视图仅能与一个基表做分区关联。
- 当被关联基表的某个分区中的数据发生变化时,物化视图中相应的分区将被刷新,但不影响其他分区。
- 当其他未被关联的基表发生变化时,默认情况下会刷新整个物化视图。
然而,您可以选择忽略某些未关联表中的数据变化,以便在这些表中的数据发生变化时不刷新物化视图。
这种分区关联可以支持多种业务场景:
- 事实表更新:您可以将事实表分区到细粒度级别,例如按日或按小时。
在事实表更新后,物化视图中相应的分区将自动刷新。
注意这里,维度表的更新,是会触发整个物化视图的更新的
- 维度表更新:通常,维度表中的数据更新将导致所有关联结果的刷新,刷新代价较大。
您可以选择忽略某些维度表中的数据更新,以避免刷新整个物化视图,
或者您可以指定一个时间范围,从而只有在该时间范围内的分区才能被刷新。 - 外部表的自动刷新:在类似于 Apache Hive 或 Apache Iceberg 这样的外部数据源中,
数据往往以分区的粒度进行变更。
StarRocks 的物化视图可以订阅外表分区级别的数据更新,只刷新物化视图的相应分区。 - TTL:在为物化视图设置分区策略时,您可以设置要保留的最近分区的数量,从而仅保留最新的数据。
其对应的业务场景对数据时效性有较高要求,例如,分析师仅需要查询某个时间窗口内的最新数据,而无需保留所有历史数据。