hive-join中on 和where条件，笛卡尔积join

最新推荐文章于 2024-06-17 19:27:08 发布
最新推荐文章于 2024-06-17 19:27:08 发布
阅读量2k 收藏 3
点赞数 2
分类专栏： hive学习 文章标签： hive hadoop 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_53926235/article/details/121169064
版权
本文介绍了在Hive中处理笛卡尔积Join的场景，特别是在数据仓库中的应用。通过实例展示了如何获取过去30天的购物情况，并探讨了在JOIN操作中ON条件与WHERE条件的区别，强调了JOIN的ON条件不应包含算式。同时，指出LEFT JOIN配合WHERE在执行上的顺序以及笛卡尔积JOIN在不同JOIN类型中的表现，提醒注意其对性能的影响。
摘要由CSDN通过智能技术生成

      在多年取数中，第一次遇到需要用笛卡尔积join的场景，记录一下

     场景一：

     描述：取10月每日近三十天的购物情况，比如，取10月1日的用户在过去30天（含10月1日）的购物情况，源数据tmp1如下

用户id   (user_id)     

日期     

   (date)         

 购物件数（buys）
a 2021-09-01 1
a 2021-10-01 3
a 2021-
最低0.47元/天 解锁文章
Hive left semi join ,select 和 where中不能出现右表字段/不会生成笛卡尔积
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
11-24 1672
1 left semi join的时间比in的时间短，比in高效 2 left semi join时select中不能出现右表的字段，不然报错 3left semi join 时on中出现左表字段的条件 ，正确；on中出现右表字段的条件 ，正确; 4left semi join 时where中出现左表字段，正确；where中出现右表字段，报错 5Hive 2.0.0-SNAP...
hive--解决join后仍出现笛卡尔积的问题（1）
八月小渣渣的博客
06-05 2318
【问题描述】 使用了join之后，发现同一条记录被复制了很多次。但是明明没有采用笛卡尔积的join方式啊？？？ 举例： select a.* from ht_insurance_temp_3_1 a join (select distinct a.id ,a.insurancemonth ,count(*) ...
hive中join的on和where
weixin_34220623的博客
11-15 470
昨天发现线上有一个job用了1w多个map，导致其他job一直在等待mapred资源 为了避免影响别的job，暂时先杀掉，然后分析原因。 一般产生大量map有两个原因： 1.输入的数据量比较大，导致根据split产生map时有大量的map产生 2.小文件比较多，同时没有使用combine的inputformat，这样在产生map时，每个文件就会至少生...
【HiveSQL】join关联on和where的区别及效率对比
最新发布
atwdy的博客
06-17 2019
假设数据库系统支持谓词下推的前提下，内连接：内连接的两个执行计划中，对t2表都使用了，对t1表都使用了，因此可以说，内连接中where和on在执行效率上没区别。外连接：还是拿左外连接来说，右表相关的条件会使用谓词下推，而左表是否会提前过滤数据，取决于where还是on以及筛选条件是否与左表相关，1）当为on时，左表的数据必须全量读取，此时效率的差别主要取决于左表的数据量。2）当为where时，如果筛选条件涉及到左表，则会进行数据的提前过滤，否则左表仍然全量读取。
hive join on 条件 与 where 条件区别
yjgithub的博客
06-02 2388
文章目录背景业务场景结论 背景 最近项目组上，来了几个实习生，对 Hive sql 的 join 的使用不是很熟悉，几个人写出来的sql 看上去感觉都是一样的，但结果可能会出现，扫描全表，耗时过久，造成数据有所有差异 业务场景 根据常见的场景，写了几条sql ，看 on 和 where 的作用域 ，查询 事实表 a 中的在 20200602 这天的数据，维度表 b 对于上述的这种需求 ，有可能会出现下列这几种sql 1. select * from a left join b on a.id = b.
hive left join 条件on 和 where 的放置
qq_26645205的博客
11-27 6776
http://blog.csdn.net/muxiaoshan/article/details/7617533
Hive中left join 中的where 和 on的区别
爱吃辣条的博客
01-28 2184
Hive中left join 中的where 和 on的区别
hive笛卡尔积优化、join或left join 无on条件优化
lquarius的博客
10-14 3938
正常业务中我们是不希望看见笛卡尔积的，因为它会造成数据膨胀，数据成倍增长，极有可能使得计算崩溃。但是有时因为业务需要，我们又不可避免笛卡尔积，那我们该如何做呢？接下来我们来看一种场景。 业务背景 imeis_table表中只有imei字段 数据量40亿条左右 dim_table表一张维表，数据量800+条 目的是的imeis_table表与dim_table表做笛卡尔积，结果就是40亿*800+条，显然数据量是非常大 常规写法(pyhton脚本) import os CMD = ...
hive关于left join 和join时候on条件总结
沧海一粟的博客
07-12 8294
hive中使用join时候on条件 1、如果 select * from a left join b on(a.字段=b.字段) 正常 2、如果 select * from a left join b on(a.字段=b.字段，b.字段=某值，b.……) 正常 3、如果 select * from a left join b on(a.字段=b.字段，a.字段=某值，a.……) 工作正常该查询中a...
【Hive】Hive Join 介绍
w1992wishes的博客
08-13 1073
文章目录一、Join二、Join 类型2.1、INNER JOIN 内连接2.2、LEFT OUTER JOIN 左外连接2.3、RIGHT OUTER JOIN 右外连接2.4、FULL OUTER JOIN 全外连接2.5、LEFT SEMI JOIN 左半开连接2.6、JOIN笛卡尔积三、Join 的实现原理3.1、Common Join3.2、Map Join四、Join 优化4.1、BU...
hivesql中使用join 关联表时where 和 on、join 的执行先后顺序 explain
hellojoy的博客
05-27 3235
https://blog.csdn.net/weixin_42903419/article/details/105845410 在hive sql 中，总会遇到表关联的同时还需要对左右表进行过滤数据，但是where ，on，join之间的先后顺序是怎么的呢？下面我们来一一探讨一下。 环境：hive 0.13.1版本 首先我们看一下t1表全表扫描的num rows 是多少： select t1.cust_pty_no ,t2.amt from a t1 left join b t2 on t1.c.
hive join on的条件
zcc_0015的专栏
04-17 1447
如果是left join 在on上写主表a的条件不会生效，全表扫描。 如果是left join 在on上写副表b的条件会生效，但是语义与写到where 条件不同 如果是inner join 在on上写主表a、副表b的条件都会生效 建议这么写，大家写sql大部分的语义都是先过滤数据然后再join ，所以在不了解 join on + 条件的情况下，条件尽量别写道on 后，直接写到where厚就ok了 ...
Hive join 时on与where的执行顺序
qq_43709558的博客
01-11 431
HIVE
HiveSQL中的JOIN ON条件
JanLEE
11-26 1732
HiveSQL很常用的一个操作就是关联(Join)。Hive为用户提供了多种JOIN类型，可以满足不同的使用场景。但是，对于不同JOIN类型的语义，或许有些人对此不太清晰。简单的问题，往往是细节问题，而这些问题恰恰也是重要的问题。本文将围绕不同的JOIN类型，介绍JOIN的语义，并对每种JOIN类型需要注意的问题进行剖析，希望本文对你有所帮助。
Hive中四种 join on筛选条件与where筛选条件的区别
热门推荐
风
09-16 1万+
tableA的结构及数据： id name grade dept 1 lijie1 100.0 10 2 lijie2 90.0 20 3 lijie3 60.0 10 4 lijie4 80.0 10 5 lijie5 70.0 20 tableB的结构及数据： id name 1...
hive查询where join_Hive连接查询join用法详解
weixin_31746149的博客
02-06 472
先来个总的概括，Hive的join用法基本与SQL一致建表语句不说了，直接看看两个表中的数据表一：cl_studenthive (test)> select * from cl_student;OK1chenli212xuzeng223xiaodan234hua24表2：cl_stu_subhive (test)> select * from cl_stu_sub;OK1chinese...
Sql: 笛卡尔积和内外连接
ICanDoIt
01-28 1493
inner join和笛卡尔积 inner join是先找on表示的符合条件的记录,符合的就连接,否则转下一条数据 笛卡尔积是把两个表的记录组合起来,符合条件的就返回 连接介绍 内连接inner join inner join 相当于取交集, 两表都符合条件的数据才连接 左外连接left join left join 是左表关联右表,左表符合条件右表不存在的数据一并连接,但是这些数据值为null; 右外连接 right join right join 是右表关联左表,右表符合条件左表不存在的数据一并连接,然
(08)Hive——Join连接、谓词下推
爱吃辣条的博客
02-13 2538
Hive的Join连接
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值