SQL谓词下推存在的“陷阱“

最新推荐文章于 2024-05-16 10:37:41 发布
最新推荐文章于 2024-05-16 10:37:41 发布
阅读量356 收藏 1
点赞数
分类专栏： flink SQL
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47894524/article/details/117771161
版权
flink 同时被 2 个专栏收录
6 篇文章 0 订阅
订阅专栏
SQL
4 篇文章 0 订阅
订阅专栏

谓词下推：在SQL执行优化策略时，会将where相关的过滤条件放在前面来执行，如果此时涉及和另一张表的join操作，那么就可能会踩坑

场景：1、A joinB  2、将join后的A的数据执行UDF 3、UDF处理后的数据过滤

谓词下推后的执行顺序： 1、A中某字段执行UDF 2、对UDF处理后的数据进行过滤 3、过滤后的A与B再进行join

问题点：谓词下推的原则是：先过滤再join，但是UDF逻辑较重，效率上：(join后少量数据执行UDF的时间)<(先全量执行UDF再过滤的时间)，所以自动进行谓词下推的优化，再自定义UDF时就会存在这样的坑，使得全量数据先执行了UDF，导致效率降低

解决办法：将join后的where过滤条件全砍掉，保证先join再UDF，过滤逻辑放在下游

效果：可以整体提高SQL的执行效率(我的使用场景是实时flink SQL,如果不进行优化，全量先执行UDF资源将多耗费5倍以上，当然视具体join过滤后的数据量占比而定)

weixin_47894524
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
flink SQL浅析
a3125504x的博客
11-09 633
flink SQL解析Flink table/SQL架构演变flink SQL的工作机制SQL实现详述： Flink table/SQL架构演变 Flink1.9之前，批处理和流处理有以下几点不同 各自独立的API（流处理DataStream，批处理DataSet） 各自不同的执行计划解析过程 各自不同的错的跟过程 因此，没有批流一体的概念，面向用户不友好。如下图所示： Flink1.9引入了blink planner将批SQL处理作为流SQL处理的特例。 Flink Planner用来兼容
谓词下推
热门推荐
无关风月
05-09 1万+
优化关系 SQL 查询的一项基本技术是，将外层查询块的 WHERE 子句中的谓词移入所包含的较低层查询块（例如视图），从而能够提早进行数据过滤以及有可能更好地利用索引。这在分区数据库环境中甚至更为重要，其原因在于，提早进行过滤有可能减少必须在数据库分区之间传递的数据量。此优化技术在 SQL 中被称为谓词下推(Predicate pushdown) 。 基本策略是，始终将过滤表达式尽可能移至靠近数
Flink1.17之前实现JdbcLookup谓词下推
最新发布
shirukai
05-16 499
Flink在1.17版本之前，flink-connector-jdbc的LookupJoin是不支持on条件下推的，例如on device_id=‘1’，查询SQL中是不会包含device_id='1’的条件，相关issue：https://issues.apache.org/jira/browse/FLINK-32321，在1.19版本该问题已经解决。谓词不下推会导致每次查询的数据量变多，本篇文章主要介绍如何在1.17支持谓词下推。
SQL优化之谓词下推
five小点心的博客
06-19 929
1、谓词下推：在存储层即过滤了大量大表无效数据，减少扫描无效数据；所谓下推，即谓词过滤在map端执行，所谓不下推，即谓词过滤在reduce端执行2、inner join时，谓词放任意位置都会下推3、left join时，左表的谓词应该写在where 后4、right join时，左表的谓词应该写在join后通过上面的分析，谓词下推是生效的，但是在我们对最后结果的输出是因为执行顺序不同导入的结果不一致。
关于数据库的 “坑” （持续更新。。。。）
qq_42129399的博客
07-05 195
Oracle系列 -----------0.0------------- 1、一开始的sql语句是： SELECT invcode,pk_invbasdoc from tmp; 可以保证数据库有这张表，但是执行起来报错了，信息如下： 原因是Oracle 默认把sql语句的表名、字段名等等换成大写的，而Oracle又是大小写敏感的，我们的解决办法是给表名加上双引号“” SELE...
大数据 | SparkSQL连接查询中的谓词下推处理(二)
01-20
本篇文章要介绍的是–外连接查询中的谓词下推规则，这相比内连接中的规则要复杂一些，不过使用简单的表格来进行分析也是可以分析清楚的。先上表： 我们以左外 连 接查询为例，先总结规矩如下: 接下来对这个表格中...
SQL谓词下压的优化.pdf
09-19
SQL谓词下压的优化.pdf
【大数据】SparkSql连接查询中的谓词下推处理(一)
01-07
SparkSql是架构在Spark计算框架之上的分布式Sql引擎，使用DataFrame和DataSet承载结构化和半结构化数据来实现数据复杂查询处理，提供的DSL 可以直 接使用scala语言完成Sql查询，同时也使用thriftserver提供服务化的...
被遗忘的SQLServer比较运算符谓词
09-11
在SQLServer中，比较运算符谓词是用于比较单个值与一组值的表达式，它们可以帮助我们更灵活地进行数据筛选。这三个关键字——All、Any和Some，为我们的查询提供了更多的选择。虽然它们在SQLServer中是可用的，但往往...
flinksql写入hudi 踩坑实录
80工龄程序员
04-08 4779
flinksql写入hudi 测试环境： Flink 1.11.1 hudi 0.8.0 Hadoop 3.0.0 Hive 2.1.1 准备工作： 1.安装flink 1.11.1,要下载带hadoop版本的； 2.下载hudi-flink-bundle_2.1?.jar，并放入$FLINK_HOME/lib下。下载地址： https://repo.maven.apache.org/maven2/org/apache/hudi/hudi-flink-bundle_2.11/ 具体实施步骤：
hive left join常见误区_谓词下推
qq_38294275的博客
02-24 1215
谓词下推引入：思考：现象：引出：谓词下推什么是谓词下推Hive中谓词下推总结： 引入： -- 建表：t1 create table dma.t1(id int, value int) partitioned by (ds string); -- 数据装载：t1表 insert overwrite table dma.t1 partition(ds='20220120') select '1','2022'; insert overwrite table dma.t1 partition(ds='202201
SQL优化 第十一章 谓词下推与外连接消除
songjian1104的专栏
08-03 1832
参考资料： 本系列博客主要参考资料有CUUG冉乃纲老师数据库教学笔记，《SQL优化核心思想》（罗炳森，黄超，钟侥著），《PostgreSQL技术内幕：查询优化深度探索》（张树杰著），排名不分先后。 本章节参考《PostgreSQL技术内幕：查询优化深度探索》（张树杰著）（文章中※1、※2、※3、※4引用此书中原描述）。 11.1 连接条件下推：※1 如果连接条件引用了Nonull...
一文关于谓词下推的SQL
Samooyou的博客
10-28 219
总结：优化--保留表条件写到 where后，非保留表条件写到 on后； SQL题： A表 clt_id clt_nam 1001 A 1002 B 1002 B 1003 C 1003 C 1006 F B表 clt_id clt_nam 1001 1 1002 2 1003 3 1003 3 1003 3 1004 4 1005
什么是sql的谓词下推
山水青一人尤
12-11 827
SQL的谓词下推（Predicate Pushdown）是一种数据库查询优化技术，它将查询中的过滤条件（谓词）尽可能地“下推”到查询计划中更早的阶段执行。这意味着，系统尝试在处理和转换数据之前先应用这些过滤条件，以此减少需要处理的数据量，提高查询效率。
Oracle谓词下推、谓词越界详解
tttzzzqqq2018的博客
09-30 676
Oracle数据库中的谓词下推和谓词越界是针对查询优化的概念。在Oracle数据库中，谓词下推是一种查询优化技术，旨在通过将过滤条件推送至数据存储层来提高查询性能。它的工作原理是在查询执行过程中，尽早地对数据进行过滤，减少不必要的数据读取和处理。
Presto中谓词不会被下推的情形
王飞活的博客
06-01 366
Presto中谓词不会被下推的情形
mysql 谓词下推_sql中join的on和where操作引发的谓词下推优化
weixin_36031047的博客
01-30 493
谓词下推操作，其实Hive也陆陆续续做了一定的优化操作，但是有些地方还需要我们自己人为的去进行优化，1.在join操作中，针对一般的单表过滤条件，操作的时候尽量直接进行谓词下推操作(即把过滤条件直接放到子查询当中)，不要把过滤条件在放到on后面的where条件中，防止查询的数据不准确性。2.在join操作中，涉及到在on后面进行where判断(主要涉及到双表或者多表条件判断，比如：on a.id=...
【数据库内核】基于规则优化之谓词下推
Night_ZW的博客
09-08 2887
目录 概念 逻辑算子介绍 为什么要谓词下推 谓词下推在Join中的应用 一、InnerJoin 下推情况说明 二、LeftJoin下推情况说明 三、RightJoin下推情况说明 四、FullJoin下推情况说明 谓词下推在Parquet中的应用 聚合下推 一、简单聚合函数下推 二、Join场景下的聚合函数下推 Join下推 Order By Limit下推 一、下推到存储层 Coprocessor 二、TopN 下推过 Join 的情况（排序规则仅依赖于外表中的列）...
hive sql 谓词下推
08-25
谓词下推是指在Hive中，尽量将过滤条件提前执行，使得最后参与join的表的数据量更小，从而减少数据传输IO，节约资源，提升性能。无论在Hive中是否开启了CBO（Cost-Based Optimizer），无论谓词写在ON后面还是WHERE后面，内连接（Inner Join）都会进行谓词下推。 在Hive中，谓词下推也称为Predicate Pushdown。它的实现方式是在map端提前执行过滤条件，减少map端的输出数据量。这样可以减少数据的传输和IO操作，提高查询性能。默认情况下，Hive会开启谓词下推，可以通过配置hive.optimize.ppd参数为true来开启或关闭谓词下推功能。 另外，在Hive中，如果在JOIN中有不能匹配上的表，则会使用null填充该表，这个表被称为Null Supplying Table。它是一种非保留表，用于提供null值。 综上所述，Hive SQL中的谓词下推是指在不影响结果的前提下，尽量将过滤条件提前执行，减少数据传输IO，节约资源，提升性能的优化技术。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [一文详解Hive的谓词下推](https://blog.csdn.net/java_atguigu/article/details/123064220)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值