Hive 中的join和谓词下推

1、谓词下推

        总所周知,hive在执行过程中,会有很多自动优化。其中很重要的一个就是谓词下推。至于什么是谓词下推?

        网上找了个段相对官方的解释:将过滤表达式尽可能移动至靠近数据源的位置,以使真正执行时能直接跳过无关的数据。换言之就是说,在合适的场景下,优先执行过滤条件。

2、hive中的谓词下推

        在hive生成物理执行计划中,有一个配置项用于管理谓词下推优化是否开启。

  set hive.optimize.ppd=true;   # true标识开启,false表示关闭,默认是true

        但如果hive谓词下推的功能与join同时存在,都能在哪些场景下生效?结论见文末。

3、谓词下推场景分析

(1)准备数据

        准备两张表,数据如下。

(2)查看谓词下退是否开启

(3) inner join

        对左表where过滤

select a.col_a,a.col_b,b.col_c
from table_a a 
join table_b b on a.col_a = b.col_a
where a.col_b > 333

        查看执行计划,在对a表进行scan是优先进行filter,过滤col_b > 333。可见谓词下推生效。

         对右表where过滤

select a.col_a,a.col_b,b.col_c
from table_a a 
join table_b b on a.col_a = b.col_a
where b.col_c > 333

        查看执行计划,在对b表进行scan是优先进行filter,过滤col_c > 333。可见谓词下推生效。

        对左表on过滤

select a.col_a,a.col_b,b.col_c
from table_a a 
join table_b b on a.col_a = b.col_a and a.col_b > 333

        查看执行计划,在对a表进行scan是优先进行filter,过滤col_b > 333。可见谓词下推生效。

         对右表on过滤

select a.col_a,a.col_b,b.col_c
from table_a a 
join table_b b on a.col_a = b.col_a and b.col_c > 333

        查看执行计划,在对b表进行scan是优先进行filter,过滤col_c > 333。可见谓词下推生效。

(4)left join(right join 同理)

        对左表where过滤

select a.col_a,a.col_b,b.col_c
from table_a a 
left join table_b b on a.col_a = b.col_a
where a.col_b > 333

        查看执行计划,在对a表进行scan是优先进行filter,过滤col_b > 333。可见谓词下推生效。

        对右表where过滤

select a.col_a,a.col_b,b.col_c
from table_a a 
left join table_b b on a.col_a = b.col_a
where b.col_c > 333

        查看执行计划,在对b表进行scan是未进行filter。可见谓词下推不生效。

        对左表on过滤

select a.col_a,a.col_b,b.col_c
from table_a a 
left join table_b b on a.col_a = b.col_a and a.col_b > 333

        查看执行计划,在对a表进行scan是未进行filter。可见谓词下推不生效。

        对右表on过滤

select a.col_a,a.col_b,b.col_c
from table_a a 
left join table_b b on a.col_a = b.col_a and b.col_c > 333

         查看执行计划,在对b表进行scan是优先进行filter,过滤col_c > 333。可见谓词下推生效。

 

(5)full join

        对左表where过滤

select a.col_a,a.col_b,b.col_c
from table_a a 
full join table_b b on a.col_a = b.col_a
where a.col_b > 333

        查看执行计划,在对表进行scan是未进行filter。可见谓词下推不生效。

        对右表where过滤

select a.col_a,a.col_b,b.col_c
from table_a a 
full join table_b b on a.col_a = b.col_a
where b.col_c > 333

        查看执行计划,在对b表进行scan是未进行filter。可见谓词下推不生效。

        对左表on过滤

select a.col_a,a.col_b,b.col_c
from table_a a 
full join table_b b on a.col_a = b.col_a and a.col_b > 333

        查看执行计划,在对表进行scan是未进行filter。可见谓词下推不生效。

        对右表on过滤

select a.col_a,a.col_b,b.col_c
from table_a a 
full join table_b b on a.col_a = b.col_a and b.col_c > 333

        查看执行计划,在对b表进行scan是未进行filter。可见谓词下推不生效。

4、left join场景下的两种写法对比

         sql1:

select a.col_a,a.col_b,b.col_c
from table_a a 
left join table_b b on a.col_a = b.col_a
where b.col_c > 333

         sql2:

select a.col_a,a.col_b,b.col_c
from table_a a 
left join (select col_a,col_c from table_b where col_c > 333) b on a.col_a = b.col_a

        目前已知第一种写法不会触发谓词下推,那么我采用第二种写法,手动进行谓词下退会怎样。

        由两者结果可见,手动谓词下推和第一种写法的结果完全不一样。可见,两者的区别不单单是性能的问题,而是两者的执行流程、产生结果也完全不同。因此奉劝小伙伴遇到此场景下还是不要偷懒为好。

5、总结

        综上所述,简单总结了hive中谓词下推的各种场景下的生效情况。

inner joinleft joinright joinfull join
where××××
on××××

  • 5
    点赞
  • 26
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
谓词是指在Hive,尽量将过滤条件提前执行,使得最后参与join的表的数据量更小,从而减少数据传输IO,节约资源,提升性能。无论在Hive是否开启了CBO(Cost-Based Optimizer),无论谓词写在ON后面还是WHERE后面,内连接(Inner Join)都会进行谓词。 在Hive谓词也称为Predicate Pushdown。它的实现方式是在map端提前执行过滤条件,减少map端的输出数据量。这样可以减少数据的传输和IO操作,提高查询性能。默认情况下,Hive会开启谓词,可以通过配置hive.optimize.ppd参数为true来开启或关闭谓词功能。 另外,在Hive,如果在JOIN有不能匹配上的表,则会使用null填充该表,这个表被称为Null Supplying Table。它是一种非保留表,用于提供null值。 综上所述,Hive SQL谓词是指在不影响结果的前提下,尽量将过滤条件提前执行,减少数据传输IO,节约资源,提升性能的优化技术。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [一文详解Hive谓词](https://blog.csdn.net/java_atguigu/article/details/123064220)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值