Hive 谓词下推

什么是谓词下推

谓词下推是一种优化技术,它可以在查询时减少 IO 操作和 CPU 开销,从而提高查询性能。这种优化技术适用于关系型数据库、Hadoop 和其他大数据处理系统。

在 SQL 查询中,谓词是一个用于限制结果集的条件,例如 WHERE 子句中的条件。谓词下推是将谓词推送到最低可能层级的数据源上,以减少查询的数据量。

例如,在 Hadoop MapReduce 作业中,谓词下推可以将谓词应用于 Map 阶段的数据记录,而不是在 Reduce 阶段进行数据过滤。这样做可以降低网络传输数据量和计算负载,提高作业执行速度。

同样,在关系型数据库中,谓词下推可以将谓词应用于数据表上,以减少检索数据的行数和列数,提高查询效率。

Hive 发生谓词下推的场景

  • inner join on 后条件都下推,full join on 后条件都不会下推。
  • left join on 右表条件会下推,on 左表条件不会下推。(左表是主表,无论如何都会扫描左表的)
  • right join on 左表条件会下推,on 右表条件不会下推。

注意

这种优化在某些场景可能导致期望的数据与实际的数据有差异,需要明确。

SELECT 
	e.id ,
	e.name ,
	e.department ,
	esm.`month` ,
	esm.sale 
from employee e 
left join employee_sale_month esm 
on e.id = esm .e_id 
	 and e.department = 'IT'
-- where e.department = '第3销售部'
;

on 后面跟着左表的过滤条件,不会进行谓词下推。会扫描主表 e 的所有数据。返回的结果类似于

id name department month sale
1 jack IT 202301 5000
1 jack IT 202302 4000
2 Tom SALE NULL NULL
3 Rose MARKET NULL NULL

idnamedepartmentmonthsale
1jackIT2023015000
1jackIT2023024000
2tomSALENULLNULL
3roseMARKETNULLNULL
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
谓词下推是指在Hive中,尽量将过滤条件提前执行,使得最后参与join的表的数据量更小,从而减少数据传输IO,节约资源,提升性能。无论在Hive中是否开启了CBO(Cost-Based Optimizer),无论谓词写在ON后面还是WHERE后面,内连接(Inner Join)都会进行谓词下推。 在Hive中,谓词下推也称为Predicate Pushdown。它的实现方式是在map端提前执行过滤条件,减少map端的输出数据量。这样可以减少数据的传输和IO操作,提高查询性能。默认情况下,Hive会开启谓词下推,可以通过配置hive.optimize.ppd参数为true来开启或关闭谓词下推功能。 另外,在Hive中,如果在JOIN中有不能匹配上的表,则会使用null填充该表,这个表被称为Null Supplying Table。它是一种非保留表,用于提供null值。 综上所述,Hive SQL中的谓词下推是指在不影响结果的前提下,尽量将过滤条件提前执行,减少数据传输IO,节约资源,提升性能的优化技术。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [一文详解Hive谓词下推](https://blog.csdn.net/java_atguigu/article/details/123064220)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值