flink sql 下推类

最新推荐文章于 2024-09-20 09:19:47 发布

dian张

最新推荐文章于 2024-09-20 09:19:47 发布

阅读量326

点赞数

文章标签： flink spring 大数据

本文链接：https://blog.csdn.net/u013086392/article/details/130381366

版权

文章探讨了多种数据库优化技术，包括FilterPushDown以减少Scan的读IO，ProjectionPushDown选择性读取必要字段，PartitionPushDown限制有效分区读取，DynamicFiltering动态识别有效分区，LimitPushDown优化limit操作，以及AggregatePushDown直接获取聚合结果，所有这些方法旨在提高查询性能和I/O效率。

摘要由CSDN通过智能技术生成

SupportsFilterPushDown，将 Filter 条件下推到 Scan 里，从而减少 Scan 的读 IO，以提高性能。
SupportsProjectionPushDown，告诉 Scan 只读取必要的字段，减少无效的字段读取。
SupportsPartitionPushDown，在静态优化时，告诉 Scan 只需要读取有效分区，避免无效分区读取。
SupportsDynamicFiltering，在作业运行时，动态识别出哪些分区是有效的，避免无效分区读取。
SupportsLimitPushDown，将 limit 值下推到 Scan 里，只需要读取 limit 条数据即可，大大减少了 Scan I/O。
SupportsAggregatePushDown，直接从 Scan 中读取聚合结果，减少 Scan 的读 I/O，同时输出给下游的数据更少。
SupportsStatisticReport，Connector 汇报统计信息给优化器，以便优化器产生更优的执行计划。