SQL优化之谓词下推

(1)什么是谓词?

谓词,用来描述或判定客体性质、特征或者客体之间关系的词项。
意思就是,一个判断的动作或者形容某样东西的一个特征。

(2)什么是谓词下推?

将过滤条件表达式(=、!=、like、in、between、>、<…)尽量靠近要过滤的数据源,达到尽早过滤无用数据的目的。

(3)有什么好处?

例如有表:Student 学生, Grade 分数
业务:查询出所有100分成绩的学生,用S_id做关联键
SQL :
SELECT * FROM Student t , Grade g
WHERE t.S_id = g.S_id
AND g.grade = 100

这样倒也符合要求,但是会造成的问题就是会全表扫描全部的学生成绩和学生信息再筛选,做笛卡尔积的时候有很多多余的无用数据。

谓词下推改造
SQL:
SELECT * FROM Student RIGHT JOIN t1 (
SELECT * FROM Grade WHERE grade = 100
) t2
ON t1.S_id = t2.S_id

这样优化后带来的好处是在内查询的时候就过滤了大部分无用数据,这样生成的临时表就会很小很小,提高了效率

在MySql,我们并不需要刻意去做什么谓词下推,这一步是查询优化器帮助完成的
  • 2
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
谓词下推是指在Hive中,尽量将过滤条件提前执行,使得最后参与join的表的数据量更小,从而减少数据传输IO,节约资源,提升性能。无论在Hive中是否开启了CBO(Cost-Based Optimizer),无论谓词写在ON后面还是WHERE后面,内连接(Inner Join)都会进行谓词下推。 在Hive中,谓词下推也称为Predicate Pushdown。它的实现方式是在map端提前执行过滤条件,减少map端的输出数据量。这样可以减少数据的传输和IO操作,提高查询性能。默认情况下,Hive会开启谓词下推,可以通过配置hive.optimize.ppd参数为true来开启或关闭谓词下推功能。 另外,在Hive中,如果在JOIN中有不能匹配上的表,则会使用null填充该表,这个表被称为Null Supplying Table。它是一种非保留表,用于提供null值。 综上所述,Hive SQL中的谓词下推是指在不影响结果的前提下,尽量将过滤条件提前执行,减少数据传输IO,节约资源,提升性能的优化技术。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [一文详解Hive的谓词下推](https://blog.csdn.net/java_atguigu/article/details/123064220)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值