hive 的 left semi join 讲解

最新推荐文章于 2021-09-22 15:41:35 发布
最新推荐文章于 2021-09-22 15:41:35 发布
阅读量693 收藏
点赞数
分类专栏： hive 文章标签： hive的join语法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45114067/article/details/102903614
版权
本文详细介绍了Hive中的LEFT SEMI JOIN操作，它等价于IN/EXISTS子查询，但更高效。内容包括LEFT SEMI JOIN的示例、特点，如只允许在ON子句设置过滤条件，且结果仅包含左表字段。通过对比与JOIN的区别，揭示了LEFT SEMI JOIN在处理重复记录时的性能优势。
摘要由CSDN通过智能技术生成

hive 的 left semi join 讲解
2018-04-10 18:14:07 HappyRocking 阅读数 13850更多
分类专栏： 大数据/hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HappyRocking/article/details/79885071
介绍

LEFT SEMI JOIN （左半连接）是 IN/EXISTS 子查询的一种更高效的实现。

Hive 当前没有实现 IN/EXISTS 子查询，所以可以用 LEFT SEMI JOIN 重写你的子查询语句。

示例
在这里插入图片描述

可以改写为

在这里插入图片描述

特点

1、left semi join 的限制是， JOIN 子句中右边的表只能在 ON 子句中设置过滤条件，在 WHERE 子句、SELECT 子句或其他地方过滤都不行。

2、left semi join 是只传递表的 join key 给 map 阶段，因此left semi join 中最后 select 的结果只许出现左表。

3、因为 left semi join 是 in(keySet) 的关系，遇到右表重复记录，左表会跳过，而 join 则会一直遍历。这就导致右表有重复值得情况下 left semi

最低0.47元/天 解锁文章
宇下住一横
关注
专栏目录
Hive left semi join ,select 和 where中不能出现右表字段/不会生成笛卡尔积
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
11-24 1684
1 left semi join的时间比in的时间短，比in高效 2 left semi join时select中不能出现右表的字段，不然报错 3left semi join 时on中出现左表字段的条件 ，正确；on中出现右表字段的条件 ，正确; 4left semi join 时where中出现左表字段，正确；where中出现右表字段，报错 5Hive 2.0.0-SNAP...
hive left semi join
u010299467的专栏
05-13 687
SELECT name FROM table_1 a INNER JOIN table_2 b ON a.name=b.name SELECT name FROM table_1 a LEFT SEMI JOIN table_2 b ON (a.name=b.name) difference between inner join and left semi join: hiv
left join和left semi join的联系和区别
weixin_45631366的博客
10-26 1555
** 转载:left join和left semi join的联系和区别 ** 1、联系 他们都是 hive join 方式的一种，join on 属于 common join（shuffle join/reduce join），而 left semi join 则属于 map join（broadcast join）的一种变体，从名字可以看出他们的实现原理有差异。 2、区别 （1）Semi Join，也叫半连接，是从分布式数据库中借鉴过来的方法。它的产生动机是：对于reduce side join，跨
hive left semi join讲解
u010506130的专栏
07-25 721
https://my.oschina.net/leejun2005/blog/188459
Hive_LEFT SEMI JOIN / LEFT OUTER JOIN 与 (IN / NOT IN), (EXISTS / NOT EXISTS ) 分析
迎难而上
04-12 2649
本篇文章，我们主要就 Hive 中的 LEFT SEMI JOIN 和(IN / NOT IN), (EXISTS / NOT EXISTS ) 子句查询做一个了解。 LEFT SEMI JOIN 基本认识 首先，我们先要了解下什么是 LEFT SEMI JOIN. 其实可以这么认为 LEFT SEMI JOIN 就是 子查询形式的(IN / NOT IN), (EXISTS ...
HIVE left semi join & inner join区别
liuya19921123的博客
09-22 725
left semi join 详解 LEFT SEMI JOIN以一种高效的方式实现了不相关的IN/EXISTS子查询语义。 在Hive 0.13中，IN/NOT IN/EXISTS/NOT EXISTS操作符被支持使用子查询，所以大多数join操作不再需要手动执行。 使用LEFT SEMI JOIN的限制是，右边的表只能在连接条件(on子句)中引用，而不能在WHERE或select子句等中引用。 示例 SELECT a.key, a.value FROM a WHERE a.key in (SELECT
hive left semi join 和 left join的区别
最新发布
03-28
Hive中的LEFT SEMI JOIN和LEFT JOIN是两种不同的连接操作，它们的区别如下： 1. LEFT SEMI JOIN（左半连接）： - LEFT SEMI JOIN是一种半连接操作，它返回左表中与右表匹配的行，但只返回左表的列。 - 只有当左表...
hive left semi join not in
09-07
在Hive中，left semi join和not in是两种不同的操作。left semi join是一种连接操作，它只传递左表的join key给Map阶段，并返回只包含左表的结果。而not in是一种条件操作，用于筛选不在指定列表中的值。 在left ...
left semi join
m0_46786082的博客
06-25 456
左半连接left semi join会返回左边表的记录，前提是其记录对于右边表满足on语句中的判断条件。对于常见的内连接（inner join）来说，这是一种特殊的、优化了的情况。大多数的SQL方言会通过in …exists结构来处理这种情况。 但需要注意的是，select 和where语句不能引用到右边表中的字段。 hive不支持右半连接。 ...
hive中的LEFT SEMI JOIN
babylalalove的专栏
12-27 180
LEFT SEMI JOIN 是 IN/EXISTS 子查询的一种更高效的实现。 hive 中没有in/exist 这样的子句，所以需要将这种类型的子句转成left semi join. left semi join 是只传递表的join key给map 阶段 , 如果key 足够小还是执行map join, 如果不是则还是common join 可以用 LEFT SEMI JOIN 重写...
Hive 中的 LEFT SEMI JOIN 与 JOIN ON 的前世今生
weixin_34381666的博客
12-28 159
2019独角兽企业重金招聘Python工程师标准>>> ...
join left semi_LEFT SEMI JOIN
weixin_39622747的博客
12-21 191
介绍(左半连接)是 IN/EXISTS 子查询的一种更高效的实现。Hive 当前没有实现 IN/EXISTS 子查询，所以可以用LEFT SEMI JOIN 重写你的子查询语句。示例SELECT A.KEY,A.VALUEFROM AWHERE A.KEY IN (SELECT B.KEY FROM B )可以改写为SLECT A.KEY,A.VALUEFROM ALEFT SEMI JOIN ...
左半开连接（left semi join）
suojie的博客
01-14 5019
1.left semi join 子句中右边的表只能在 ON 子句中设置过滤条件，在 WHERE 子句、SELECT 子句或其他地方过滤都不行。 例子：  select * from person g left semi join exptest t on g.name = t.name where g.name='wang'; --语句可以查询，因为where g.name='wang'; ...
LEFT SEMI JOIN 左半开连接
qiulinsama的博客
05-21 2943
  左半开连接（LEFT SEMI JOIN）会返回左边表的记录，前提是其记录对于右边表满足 ON 语句中的判定条件。对于常见的内连接（INNER JOIN）来说，这是一个特殊的，优化了的情况。大多数的SQL方言会通过 IN … EXISTS 结构来处理这种情况。例如下面所示的查询，其将试图返回限定的股息支付日内的股票交易记录，不过这个查询 Hive 是不支持的。 -- HIVE中不支持的查询 S...
Hive中HSQL中left semi join
格子衫
06-16 742
Hive中HSQL中left semi join 证明在Hive 2.1.1版本中，是支持where子句中的子查询，SQL常用的exist in子句在Hive中是不支持的，但可以使用一个更高效的实现方式---- semi join最主要的使用场景就是解决exist in。 SQL1: SELECT table1.student_no, table1.student_name FROM table1 LEFT SEMI JOIN table2 on ( table1.student_no =table
【Hive】left semi join（exists、in）和 left join 区别
一个写湿的程序猿
09-17 4762
left semi join 和 left join 区别对比执行计划小结 对比 a表和b表通过user_id关联 a表数据 select * from wedw_dw.t_user; b表数据 select * from wedw_dw.t_order; left join select * from wedw_dw.t_user as t1 left join wedw_dw.t_order as t2 on t1.user_id = t2.user_id; 如图所示：a表和b表匹
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值