Hive使用LEFT OUTER JOIN 实现not in 子句

最新推荐文章于 2024-08-01 08:58:02 发布
转载 最新推荐文章于 2024-08-01 08:58:02 发布 · 9.7k 阅读 · 3
文章标签：

#join #null

本文介绍了如何在Hive中通过leftouterjoin替代不在子句的查询需求，具体步骤包括使用leftouterjoin连接A表与B表，并通过判断B表中的特定字段为空来筛选出目标数据。
当前HIVE 不支持 not in 中包含查询子句的语法，形如如下的HQ语句是不被支持的: 

查询在key字段在a表中，但不在b表中的数据

select a.key from a where key not in(select key from b)  该语句在hive中不支持

可以通过left outer join进行查询,（假设B表中包含另外的一个字段 key1 

select a.key from a left outer join b on a.key=b.key where b.key1 is null


转载 http://chiyx.iteye.com/blog/1530981

hive实例讲解实现in和not in子句
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
01-16 1775
in查询 如果要查询当天登陆的注册用户，需要用in查询，hive sql如下: select login.uid from login left outer join regusers on login.uid=regusers.uid where regusers.uid is not null --右表关联字段不为空，则是共有的 如果login表和regusers表按天分区，字段是dt...
Hive left semi join ,select 和 where中不能出现右表字段/不会生成笛卡尔积
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
11-24 1893
1 left semi join的时间比in的时间短，比in高效 2 left semi join时select中不能出现右表的字段，不然报错 3left semi join 时on中出现左表字段的条件 ，正确；on中出现右表字段的条件 ，正确; 4left semi join 时where中出现左表字段，正确；where中出现右表字段，报错 5Hive 2.0.0-SNAP...
hive left outer join的问题
yukangkk的技术博客
07-26 7726
最近BA用户反馈有两句看似很像的语句返回的结果数不一样，比较奇怪，怀疑是不是Hive的Bug Query 1 返回结果数6071 select count(distinct reviewid) as dis_reviewcnt from (select a.reviewid from bi.dpods_dp_reviewreport a left outer join bi.dpods_dp
Hive的left join、left outer join和left semi join三者的区别
蚂蚁学Python
06-30 2260
Hive的Join的文档说明地址： https://cwiki.apache.org/confluence/display/Hive/LanguageManual%2BJoins 以下为两个测试数据表建表语句： MySQL use test; DROP TABLE IF EXISTS table1; create table t...
Hive面试题：hive如何实现in和not in
谦卑t
12-02 2599
In的实现： Hive中的in的实现方式很多，简单说几种： 用left semi join实现 用left outer join+is not null实现 Inner join实现 Not in的实现： Left outer join+is null 举例说明： 有两个表如下： skim表 userID itemID time 001 342 201...
hive的in not in left outer join
shuhong_wei的专栏
10-14 635
in查询 如果要查询当天登陆的注册用户，需要用in查询，hive sql如下: select login.uid from login left outer join regusers on login.uid=regusers.uid where regusers.uid is not null 如果login表和regusers表按天分区，字段是dt，那么查询2013年1
Hive0.14在left outer join多级连接中，执行计划生成BUG记录
weixin_30735745的博客
08-08 292
前言： 这几天遇到一个很诡异的问题，一个三级left outer join的句子，在hive0.9和0.14上的执行结果会不一样。 而且在0.14上通过转换右表连接的顺序可以达到正确输出的目的，但是其中是为什么却不得而知，情况非常 诡异，猜测是编译器编译执行计划有问题！（所谓转换右表连接顺序是指把A left outer...
Hive 如何优化 Join 操作
My_wife_QBL的博客
08-01 1429
优化 Hive 的 Join 操作是提高查询性能和效率的关键。通过采取一系列优化策略，如使用 Map Join、优化 Join 顺序、提前应用过滤条件、利用分区和分桶、选择合适的文件格式以及避免不必要的 Join 操作，用户可以显著提高 Hive 查询的响应速度。在实际应用中，了解数据的特性和查询的需求，合理设计表结构和查询逻辑，将有助于充分发挥 Hive 在大数据分析中的优势。希望本文能够为读者提供有效的优化策略，帮助他们在 Hive 中更高效地执行 Join 操作。
Hive优化学习(join ,group by,in)
写博客只为学习
04-05 796
[color=red][b]一、join优化 [/b][/color] Join查找操作的基本原则：应该将条目少的表/子查询放在 Join 操作符的左边。原因是在 Join 操作的 Reduce 阶段，位于 Join 操作符左边的表的内容会被加载进内存，将条目少的表放在左边，可以有效减少发生内存溢出错误的几率。 Join查找操作中如果存在多个join，且所有参与join的表中...
Hive---Join 优化
BestbpF的博客
11-06 3262
1、连接顺序优化多表连接，会转换成多个MR Job，每一个MR Job在Hive中称为JOIN阶段（Stage）。在每一个Stage，按照JOIN顺序中的最后一个表应该尽量是大表，因为JOIN前一阶段生成的数据会存在于Reducer的buffer中，通过stream最后面的表，直接从Reducer的buffer中读取已经缓冲的中间结果数据（这个中间结果数据可能是JOIN顺序中，前面表连接的结果的Ke
left join 和 left outer join的区别
weixin_33827590的博客
11-02 916
left join 是left outer join的简写，left join默认是outer属性的。 Inner Join Inner Join 逻辑运算符返回满足第一个（顶端）输入与第二个（底端）输入联接的每一行。这个和用select查询多表是一样的效果，所以很少用到； outer join则会返回每个满足第一个（顶端）输入与第二个（底端）输入的联接的行。它还返回任何在第二个输入中没...
hive left outer join where 条件问题
空中的鱼
11-06 261
[code="sql"] select count(1) from s_ods_trade where part ='2012-10-31'; 22076 select count(1) from s_ods_trade 104343 select count(1) from s_ods_trade_full where part ='2012-10-31'; 1...
hive left outer join问题
zj360202的专栏
08-09 939
select * FROM t_xg_product a join t_xg_product_subject_mapping m on (m.product_id=a.product_id) left outer join  (select (case when d.product_id is null then '' else cast(d.product_id as string) end
Hive group by,in,not in
aaa1117a8w5s6d的专栏
12-25 3311
hive的group>http://stackoverflow.com/questions/5746687/hive-expression-not-in-group-by-key hive的in和not>http://www.cnblogs.com/ggjucheng/archive/2013/01/03/2842855.html
Hive之not in优化
freeRoad
07-22 1751
来源：https://www.cnblogs.com/starzy/p/11146056.html 比如：A,B两表，找到ID字段中，存在A表，但不存在B表的数据。 A表共13w，去重后3w, B表共2W，且有索引 方法一 not in，易理解，效率低，时间：1.395s select distinct A.id from A where A.id not in(select id from B) 方法二 le...
hive 各种 join （left outer join、join、full outer join）
热门推荐
架构师思考实践
08-18 6万+
一、概念 1、左连接left outer join 以左边表为准，逐条去右边表找相同字段，如果有多条会依次列出。 2、连接join 找出左右相同同的记录。 3、全连接full outer join 包括两个表的join结果，左边在右边中没找到的结果（NULL），右边在左边没找到的结果。 会对结果去重，返回并集。 二、实验 1、准备数据 create externa...
hive中not in优化
weixin_30521161的博客
07-07 496
比如：A,B两表，找到ID字段中，存在A表，但不存在B表的数据。 A表共13w，去重后3w, B表共2W，且有索引方法一not in，易理解，效率低，时间：1.395sselect distinct A.id from A where A.id not in(select id from B)方法二left...join...on ，B.id isnull...
【hive】简单介绍hive的几种join
Mrerlou的博客
08-17 2500
common join 主要是针对数据/业务逻辑的join。Map joinSkew Join是hive 针对特殊数据、场景 进行的优化。则是Sql语句的优化，并且也可以应用上面的优化方案。MAP JION会把小表全部加载到内存中，在map阶段直接拿另外一个表的数据和内存中表数据做匹配，由于在map端是进行了join操作，省去了reduce运行的时间，算是hive中的一种优化。
hive中使用not in的方法
chenyuexing0822的博客
11-13 3万+
一个hql问题： FAILED: SemanticException [Error 10249]:  Unsupported SubQuery Expression 'filedname‘: Correlating expression cannot contain unqualified column references  可知是由于子查询使用不当造成的 通过查找网页资料，发现在hi
hive left join结果为空
最新发布
08-26
首先，用户的问题是基于提供的引用内容，询问在Hive中执行LEFT JOIN查询结果为空的原因及解决方法。用户提到了HIVE Left join结果表为空的问题，并参考了引用[4]。 关键点： - 用户希望了解Hive LEFT JOIN查询结果...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值