hive join时需要注意的几个细节

最新推荐文章于 2023-03-20 14:21:52 发布

bjy_fighting

最新推荐文章于 2023-03-20 14:21:52 发布

阅读量433

点赞数 1

分类专栏：推荐系统

本文链接：https://blog.csdn.net/bjy_fighting/article/details/83587712

版权

推荐系统专栏收录该内容

6 篇文章 0 订阅

订阅专栏

hive 两个表 join时key的不同会出现不同的情况：

需要join的表的key唯一
这是最简单的情况，以left join为例，join后的表的条数应该等于左表的数量
需要join的表的key不唯一
这是比较复杂的一种情况，若有以下两个表

a.id
1
2
1

b.id
1
3
1
2

若a与b表join的适合最终表的row number为11 + 22=5

当链接的key中有null值时
这时null这个key会与所有的列join，这就是说若join时尽量避免链接key出现空否则会出现数据倾斜

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

bjy_fighting

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

hive sql + left join 数据缺失

02-29

随着Hive版本的不断更新，部分用户在升级至Hive 3之后遇到了数据处理中的一个常见问题——在执行Left Join操作时出现数据缺失。 #### 二、问题复现问题发生在如下的SQL语句中： ```sql SELECT a.* FROM ( SELECT ...

Hive中使用JOIN时自动过滤掉为NULL的数据

KoHsin_的博客

05-15

3397

最近工作写hive sql的时候发现了一个问题 left join 和 where 搭配时，会出现null值数据丢失的问题研究了一下，发现where写的位置不同也会造成不同的结果下面三个sql语句来来进行一下演示 EXPLAIN SELECT a.col1, b.col2 FROM tableA a LEFT JOIN tableB b ON a.id = b.id WHERE a.dt = '${bizdate}' AND b.dt = '${bizdate}'; .

参与评论您还未登录，请先登录后发表或查看评论

【数据库】HIVE SQL中三种join中的坑（自动过滤掉两边同为null的数据）

最新发布

胖胖的博客

03-20

385

join的时候，坐标null字段是关联不上的右表字段的。

hive中大表join大表中空key的处理

qq_36382679的博客

06-26

535

Hive中JOIN的用法以及一些注意事项总结。

i000zheng的博客

05-15

6950

常见用法Hive表连接的语法支持如下：join_table: table_reference JOIN table_factor [join_condition] | table_reference {LEFT|RIGHT|FULL} [OUTER] JOIN table_reference join_condition | table_reference LEFT SEMI...

Hive编程指南

10-30

本书的内容可能涵盖以下几个关键知识点： 1. **Hive基础**：介绍Hive的基本概念，如Hive架构、元数据、HQL（Hive Query Language）与SQL的异同，以及如何创建和管理数据库、表和分区。 2. **Hive数据类型与操作**...

Hadoop和HIVE面试题

08-09

在面试中，可能会遇到的问题涵盖以下几个方面： 1. Hadoop的两个主要组成部分是什么？它们各自的作用是什么？ 2. 描述Hadoop的副本策略，并解释其如何确保数据的可靠性。 3. 解释HDFS的NameNode和DataNode的角色，...

深入浅出Hive企业级架构优化、Hive Sql优化、压缩和分布式缓存

05-31

Hive SQL 的优化主要集中在以下几个方面： 1. **查询优化**： - **避免使用 SELECT ***：指定需要的列名可以减少数据读取量。 - **使用 JOIN 代替子查询**：JOIN 操作通常比子查询更高效。 - **WHERE 子句优化**...

Practical Hive, 英文原版, 带完整书签.pdf

05-16

Hive采用了分层架构设计，主要包括以下几个部分： - **元数据存储**：Hive中的元数据存储在关系型数据库管理系统中，通常使用MySQL或Derby。 - **编译器/解析器**：将HiveQL转换为执行计划。 - **优化器**：对执行...

Hive的join表连接查询的一些注意事项

weixin_30345577的博客

09-28

227

Hive支持的表连接查询的语法： 1 join_table: 2 table_reference JOIN table_factor [join_condition] 3 | table_reference {LEFT|RIGHT|FULL} [OUTER] JOIN table_reference join_condition ...

hive表join注意事项

小梁

08-09

226

文章目录A left join B on a.id=b.id A left join B on a.id=b.id （select a.id,a.click,b.pv from a left join b on a.id=b.id）异常字段拼接字段是否有异常(null 空串等) 根据业务判断异常字段需不需要过滤掉提前过滤掉异常字段 1.会减少拼接的数据量 2.如果左表也有异常字段可能会导致两个异常字段拼接上导致最后结果异常(左右表null 字段拼接上了可能不需要null字段的拼接，那

一个hive遇到的问题（两表关联，两表中关联字段唯一，关联结果表中不唯一）

曹健的博客

05-22

5806

记录一个hive中遇到的很有意思的问题，首先我建了两张临时表，最终要把两张表关联起来的时候，发现：两张表中的关联字段都是唯一的，关联之后关联字段竟然不唯一了！关联方法用的left join。检验sql如下： SELECT project_id, COUNT(1) AS num FROM tmp.remote_monitor_5 GROUP BY project_id HAVING num &gt...

Hive的三种join

LMR的博客

06-17

7979

Hive中的join可分为三种，分别是Map-join、Reduce-join和SMB Join，本文简单介绍这三种join的原理和机制。 1.Map-join MapJoin的主要意思就是，当链接的两个表是一个比较小的表和一个特别大的表的时候，我们把比较小的table直接放到内存中去，然后再对比较大的表格进行map操作。join就发生在map操作的时候，每当扫描一个大的table中的...

sparkSql两表join关联的五种方式实现及原理

qq_41587243的博客

05-07

8274

对于Spark来说有3中Join的实现，每种Join对应着不同的应用场景： Broadcast Hash Join ：适合一张较小的表和一张大表进行join Shuffle Hash Join : 适合一张小表和一张大表进行join，或者是两张小表之间的join Sort Merge Join ：适合两张较大的表之间进行join 前两者都基于的是Hash Join，只不过在hash join之前需要先shuffle还是先broadcast。下面将详细的解释一下这三种不同的join的具体原理。 Has

Hive的三种Join方式

weixin_30840253的博客

03-26

1516

Hive的三种Join方式 hive Hive中就是把Map，Reduce的Join拿过来，通过SQL来表示。参考链接：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Joins Common/Shuffle/Reduce Join Reduce Join在Hive中也叫Common J...

数据倾斜优化：sql大小表join、group等导致的

08-12

1328

1、数据倾斜查看key分布的通用方案知道数据倾斜了，但无法获知数据倾斜的key信息，可以使用以下方法查看数据倾斜。假如 select * from tba join tbb on tba.id=tbb.id; 产生了数据倾斜可以执行如下语句来查看key的分布： select left.key,left.cnt*right.cnt from(select key,count(*) as cnt from tba group by key) left join (select key,coun

Hive Join策略探索：从Common到SkewJoin

这种策略基于Hive的Bucketing功能，将数据按照JOIN键的哈希值分成多个桶，如果两个JOIN表有相同的JOIN键，它们会在相同的桶中。这样可以在Map阶段直接匹配桶内的数据，减少数据交换。 5. **BucketSortMergeMapJoin...