StarRocks查询scan性能分析

StarRocks查询scan性能分析

背景

我们时常遇到sql执行时间不及预期的情况，为了优化sql达到预期查询时延，我们能够做哪些优化。本文旨在分析sql执行时间中的scan部分耗时是否合理以及对应优化方式。

准备

打开profile分析上报。

使用mysqlclient连接starrocks集群，

mysql -h ip -P9030 -u root -p xxx

然后输入

##该参数开启的是session变量，若想开启全局变量可以set global is_report_success=true;一般不建议全局开启，会略微影响查询性能

mysql> set is_report_success=true;

该参数会打开profile上报，后续可以查看sql对应的profile，从而分析sql瓶颈在哪。如何进一步优化。

如何获取profile？

如上设置打开profile上报后，打开fe的http界面（http://ip:8030）,如下点击queries后，点击相应sql后的profile即可查看对应信息。

 

 

注：此处需要进master的http页面。如不确定集群哪台是master，可以show frontends查看IsMaster值为true的ip

 

explain分析

Explain sql获取执行计划，如下

 

分区分桶

上图中

partitions字段x/xx表示 查询分区/总分区

tabletRatio字段x/xx表示 查询分桶/总分桶

查看对应查询sql是否包含分区字段，是否正确裁剪。如未正常裁剪，确认是否有以下问题：

1. 字段类型不一致
2. 字段有函数 eg:date_format('2009-10-04 22:23:00', '%W %M %Y')

存储层聚合

何时需要存储层聚合？

1. 聚合表的聚合发⽣在导⼊
2. Compaction
3. 查询时

PREAGGREGATION 是On 表⽰存储层可以直接返回数据， 存储层⽆需进⾏聚合

PREAGGREGATION 是 OFF 表⽰存储层必须聚合， 可以关注下 OFF的原因是否符合预期

profile分析

再porifle中搜索OLAP_SCAN_NODE，会有很多个结果形如OLAP_SCAN_NODE (id=0)，其中id=x有多个，表示同一个表的scan信息。如下是一个典型的scan慢节点。

OLAP_SCAN_NODE (id=0):(Active: 56s208ms[56208256470ns], % non-child: 0.00%)

- Table: xxxx

- Rollup: x