Hive面试题：hive如何实现in和not in

最新推荐文章于 2022-07-19 11:39:23 发布
最新推荐文章于 2022-07-19 11:39:23 发布
阅读量2.4k 收藏 8
点赞数 1
分类专栏： Hive面试题 文章标签： Hive面试题
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42246689/article/details/84702253
版权

In的实现：

Hive中的in的实现方式很多，简单说几种：

  1. 用left semi join实现
  2. 用left outer join+is not null实现
  3. Inner join实现

Not in的实现：

Left outer join+is null

举例说明：

有两个表如下：

skim表

userID itemID time
001 342 2015-05-08
002 382 2015-05-09
002 458 2015-05-09
004 325 2015-05-09

 

最低0.47元/天 解锁文章
谦卑t
关注
  • 1
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hive实例讲解实现in和not in子句
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
01-16 1563
in查询 如果要查询当天登陆的注册用户，需要用in查询，hive sql如下: select login.uid from login left outer join regusers on login.uid=regusers.uid where regusers.uid is not null --右表关联字段不为空，则是共有的 如果login表和regusers表按天分区，字段是dt...
大数据组件 Hive 面试题 + Hive 高频面试题
02-10
《Hive面试题详解：掌握核心知识点》 Hive，作为大数据处理的重要组件，其在面试中的重要性不言而喻。以下将深入探讨Hive的一些核心知识点，以帮助准备大数据面试的同学巩固知识。 首先，了解Hive的架构至关重要。...
hive 中 in与not in
yang灬仔
11-10 964
在mysql中想表达包含与不包含可以用 in/exists，但是在hive1的版本中是不支持这种语法的，hive2支持这种语法但是效率极低，这里给出一种解决方案。 建表与导入数据 create table if not exists parent(parent_id int,pname string,comments string) row format delimited fields t...
HIVESQL IN 和 NOT IN
lxc950318
07-19 2534
NULL这一行不会记到最终的输出结果里，这可能和我们的初衷有偏差，我们只是不要a,b的这个集合，这样算出的结果会少于我们理想的输出结果。如果是whereanotin(‘a’,‘b’)的时候，如果a列有NULL值的时候，这时候。whereain(‘a’,‘b’)指的是就只筛选出a等于a和b的集合，这个来说没什么问题。in和notin返回的是布尔值，在遇到NULL值的时候不会返回true和false。hivesql在编写过程中难免会使用到in和notin的操作。...
hive中in与not in
a805814077的博客
10-31 1744
hive如何处理包含与不包含的一种思路
hive中使用not in的方法
热门推荐
chenyuexing0822的博客
11-13 3万+
一个hql问题： FAILED: SemanticException [Error 10249]:  Unsupported SubQuery Expression 'filedname‘: Correlating expression cannot contain unqualified column references  可知是由于子查询使用不当造成的 通过查找网页资料，发现在hi
Hive group by,in,not in
aaa1117a8w5s6d的专栏
12-25 3228
hive的group>http://stackoverflow.com/questions/5746687/hive-expression-not-in-group-by-key hive的in和not>http://www.cnblogs.com/ggjucheng/archive/2013/01/03/2842855.html
Hive面试题SQL测试题目1数据
08-31
文章Hive面试题SQL测试题目所需数据，包含建表语句 测试数据等等...................
Hadoop和HIVE面试题
08-09
3套面试题分享给大家
hive面试题
12-04
自己整理的hive的面试题，加上自己面试的时候遇到的面试题，整合到一起
Apache Hive面试题
02-19
ApacheHive面试题
Hive之not in优化
freeRoad
07-22 1550
来源：https://www.cnblogs.com/starzy/p/11146056.html 比如：A,B两表，找到ID字段中，存在A表，但不存在B表的数据。 A表共13w，去重后3w, B表共2W，且有索引 方法一 not in，易理解，效率低，时间：1.395s select distinct A.id from A where A.id not in(select id from B) 方法二 le...
hive中not in优化
weixin_30521161的博客
07-07 444
比如：A,B两表，找到ID字段中，存在A表，但不存在B表的数据。 A表共13w，去重后3w, B表共2W，且有索引方法一not in，易理解，效率低，时间：1.395sselect distinct A.id from A where A.id not in(select id from B)方法二left...join...on ，B.id isnull...
hive不支持in|not in子查询总结
weixin_44746171的博客
11-15 1233
hive不支持in|not in子查询 1，hive只支持from子查询 2，hive的in子查询和not in子查询，可以使用inner join和left join(where left.xxx=null)代替。 3，hive的in子查询和not in子查询，以及inner join和left join，本质都是过滤数据。 总结：sql的本质，过滤和统计。 1，过滤使用inner join和l...
Hive_LEFT SEMI JOIN / LEFT OUTER JOIN 与 (IN / NOT IN), (EXISTS / NOT EXISTS ) 分析
迎难而上
04-12 2438
本篇文章，我们主要就 Hive 中的 LEFT SEMI JOIN 和(IN / NOT IN), (EXISTS / NOT EXISTS ) 子句查询做一个了解。 LEFT SEMI JOIN 基本认识 首先，我们先要了解下什么是 LEFT SEMI JOIN. 其实可以这么认为 LEFT SEMI JOIN 就是 子查询形式的(IN / NOT IN), (EXISTS ...
Hive使用LEFT OUTER JOIN 实现not in 子句
东杰书屋
05-24 9597
当前HIVE 不支持 not in 中包含查询子句的语法，形如如下的HQ语句是不被支持的:  查询在key字段在a表中，但不在b表中的数据 select a.key from a where key not in(select key from b)  该语句在hive中不支持 可以通过left outer join进行查询,（假设B表中包含另外的一个字段 key1  se
大数据踩过的坑——Hive where 条件中 not in 或者 in的隐藏信息
狂奔的蜗牛
04-19 5926
最近查询数据的时候遇到了一个问题，百思不得其解，具体现象如下： select count(1) from idm.idm_table1_s_d where dt = '2020-03-18' 结果为：2053683514 select count(1) from idm.idm_table1_s_d where dt = '2020-03-18' and col_1 in ('1978004...
Hive中not in的正确使用
晓晓的天空
07-14 4824
Hive中not in的正确使用
【SQL】hive中not in的优化
weixin_41785300的博客
02-24 3185
一、hive中的not in子查询问题 hive在0.13版本以后支持了更多子查询，但是0.13以前版本不支持in、not in 等子查询，另外not in（子查询）的查询效率较低，所以需要通过替代方法实现或优化其功能。 二、not in的优化方法 1、left join select A.id from A left jion B on A.id = B.id where B.id is nul...
hive面试题 总结汇总
最新发布
03-08
Hive面试题总结汇总 Hive作为Hadoop生态系统中的关键组件，它是一个数据仓库框架，主要用于处理大规模结构化数据，尤其是那些不适合实时查询和低延迟应用场景的数据。Hive的设计初衷是为了简化数据分析和ETL（数据...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值