数仓工具—Hive语法之map join、reduce join、smb join(8)

最新推荐文章于 2025-06-19 11:14:05 发布
最新推荐文章于 2025-06-19 11:14:05 发布
阅读量6.1w 收藏 3
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Hive 实战 文章标签： 大数据 数据仓库 hive 面试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/king14bhhb/article/details/112132243
本文介绍了Hive中的三种Join类型：Map-side Join、Reduce-side (Common) Join和SMB (Sort Merge Bucket) Join。Map Join适用于小表和大表的连接，将小表加载到内存中，减少shuffle过程。Reduce Join是最常见的join方式，通过shuffle将相同key的数据分发到同一个reducer。SMB Join利用预分桶优化大表间的join，提高效率。文中还讨论了各种join的适用场景和性能优化。

常见的join

开始之前我们先说一下join 的定义，然后我们后面在说不同的join,有时候我们需要同时获取两张表或三张表或更多表的信息，我们需要把不同的表关联起来，然后获取数据，这个就是join, 关联的过程就是join 的过程

笼统的说，Hive中的Join可分为Common Join（Reduce阶段完成join）和Map Join（Map阶段完成join),以及Sort Merge Bucket Join 这种划分方式体现在是实现功能的方式上是不同的

除此之外还有不同类型的join,例如 LEFT|RIGTH|FULL OUTER JOIN、 LEFT SEMI JOIN、主要体现在实现的功能是不一样的

Map-side Join

map Join的主要思想就是，当关联的两个表是一个比较小的表和一个特别大的表的时候，我们把比较小的表直接放到内存中去，然后再对比较大的表格进行map操作，join就发生在map操作的时候，每当扫描大的表中的中的一行数据，就要去查看小表的数据，哪条与之相符，继而进行连接。

这样的join并不会涉及reduce操作，自然没有shuffle减少了数据通过网络传输造成的高成本和高延迟了，因为Join 是在map 端完成的，所以又叫做map join

image-20210102141134910

从上面我们看到，处理小表的是一个l

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Hive的ReduceJoin/MapJoin/SMBJoin
someInNeed的博客
03-27 808
Hive中就是把Map，Reduce的Join拿过来，通过SQL来表示。 参考链接：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Joins 1.Reduce /Common/Shuffle Join Reduce Join在Hive中也叫Common Join或Shuffle Join 如果两边数据量都很大，它会进行把相同key的value合在一起，正好符合我们在sql中的join，然后再去组合，如图所示。 .
Hive map-side join和reduce-side join
weixin_44844089的博客
05-24 410
Hive多表Join的过程（reduce-side join） HiveSQL底层要转为MapReduce任务执行，那么当进行多表连接的时候，是如何进行表join的呢？ 这里搬运这篇博客的例子：https://blog.csdn.net/qiulinsama/article/details/90299426 现在有两个表：page_view和user表 这两张表都有一个相同的字段userid，根据这个字段可以将两张表连接起来，pv_users表， SQL命令是： SELECT pv.pageid, u.
hive SMB join 验证实验
筷子的博客
03-12 3582
关于hive的SMB join 有一些成立的前提条件 首先: 两张表是分桶的，在创建表的时候需要指定： CREATETABLE(……) CLUSTERED BY (col_1) SORTED BY (col_1) INTO buckets_Nums BUCKETS 其次：两张表分桶的列必须是JOIN KEY 最后：需要设置一些bucket相关的参数 set hive.auto.conve...
Hive中map-join 和 reduce-join
Peasmaster的博客
11-28 1343
配置 hive.auto.convert.join 0.11版本之后默认是true。 hive.mapjoin.smalltable.filesize/hive.smalltable.filesize map join通常用于一个很小的表和一个大表进行join的场景，具体小表有多小，由参数 hive.mapjoin.smalltable.filesize来决定，该参数表示小表的总大小，默认值为2...
Hive优化--SMB join
yyGeek的博客
03-09 1669
Sort MergeBucket Map Join（简称SMB Map Join）基于Bucket Map Join。
【大数据入门 | Hive】HQL语法优化之Join优化
2301_80912559的博客
10-13 1549
Hive拥有多种join算法，包括Common Join，Map Join，Bucket Map Join，Sort Merge Buckt Map Join等，下面对每种join算法做简要说明：Common Join是Hive中最稳定的join算法，其通过一个MapReduce Job完成一个join操作。Map端负责读取join操作所需表的数据，并按照关联字段进行分区，通过Shuffle，将其发送到Reduce端，相同key的数据在Reduce端完成最终的Join操作。如下图所示：需要注意的是，sql语
【Hive中常见的优化手段----数据采集！Join 优化！Hive索引！数据倾斜！mapreduce本地模式！map和reduce数量调整！】
书生的技术分享
06-27 2193
Hive中常见的优化手段----索引的定义：关系型数据库中的索引：在关系数据库中，索引是一种单独的、物理的对数据库表中一列或多列的值进行排序的一种存储结构，它是某个表中一列或若干列值的集合和相应的指向表中物理标识这些值的数据页的逻辑指针清单。索引的作用相当于图书的目录，可以根据目录中的页码快速找到所需的内容。一般是建立在主键上的。关系型数据库中的索引：hive中的索引功能是有限的，hive中没有关系数据库中主键的概念，但是还是可以对某一些字段建立索引。Hive索引的目标是提高对表的某些列进行查询查找的速度。
hive性能调优详解系列之hive语法和参数层面调优_数仓工程师必备hive调优方案
老姜的数据江湖
10-27 2407
hive作为数仓工程师必不可缺少的计算组件，在工作中经常遇到一些调优问题，本篇文章是hive性能调优详解系列之第二篇hive语法层面调优。上一篇可点击hive建表设计层面调优 一.hive语法层面和参数调优 hive语法和参数调优将是hive调优一大重点，并能间接解决数据倾斜问题，同事提升运行效率也是重中之重。 1.1查看hive执行计划 Hive的SQL语句在执行之前需要将SQL语句转换成MapReduce任务，因此需要了解具体的转换过 程，可以在SQL语句中输入如下命令查看具体的执行计划。 ##查看执
通俗易懂的Hive join几种形式原理详解
石榴姐yyds
07-26 4656
表的Join是数据分析处理过程中必不可少的操作，Hive同样支持Join的语法，Hive Join的底层还是通过MapReduce来实现的，Hive实现Join时，为了提高MapReduce的性能，提供了多种Join方案来实现，例如适合小表Join大表的Map Join，大表Join大表的Reduce Join，以及大表Join的优化方案Bucket Join等。 1 Map Join 应用场景 适合于小表join大表或者小表Join小表 原理 将小的那份数据给每个MapTask的内存都放一.
hive —— map join和common join（reduce join）
idream
03-12 591
Hive中的Join可分为Common Join（Reduce阶段完成join）和Map Join（Map阶段完成join）。简单介绍一下两种join的原理和机制。 Common Join Map阶段 读取源表的数据，Map输出时候以Join on条件中的列为key，如果Join有多个关联键，则以这些关联键的组合作为key; Map输出的value为join之后所关心的(select或者where中需要用到的)列；同时在value中还会包含表的Tag信息，用于标明此value对应哪个表； 按照key进
mapJoin与reduceJoin
weixin_43810802的博客
10-15 829
mapreduce中可以实现map端的join以及reduce端的join，我们看下有什么区别。 mapJoin与reduceJoin数据准备reduce joinmap joinhive的map join测试 数据准备 有一张订单表(order)： 1001 01 1 1002 02 2 1003 03 3 1004 01 4 1005 02 5 1006 03 6 三列对应的字段分别是订单ID，产品ID以及产品数量。 然后还有一张产品表(pd)： 01 小米 02 华为 03 格力 对应的字段分别是
SMB Join（Sort Merge Bucket Join）
feizuiku0116的博客
11-03 3978
一、作用 大表对小表应该使用MapJoin来进行优化，但是如果是大表对大表，如果进行shuffle，那就非常可怕，第一个慢不用说，第二个容易出异常，此时就可以使用SMB Join来提高性能。SMB Join基于bucket-mapjoin的 有序 bucket，可实现在map端完成join操作，可以有效地减少或避免shuffle的数据量。SMB join的条件和Map join类似但又不同。 二、条件 bucket mapjoin SMB join set hive.optimize.buc
hive中Mapjoin 和Reducejoin 的区别
qq_41704237的博客
07-12 2121
Map join 配置： set hive.auto.convert.join = true（0.11版本后默认是true） set hive.mapjoin.smalltable.filesize=25000000（设置小表的大小，默认就是25M） 原理： mapjoin ：主要用于小表连接大表，一般小表的大小为25M，大表没有什么具体的限制。 使用mapjoin的原因是： 在进行表的连接时，在map端处理完数据后，会把不同表的数据，形成不同的文件，reduce端进行拉取map端获得文件时，由于map端文
MapJoin
feizuiku0116的博客
11-03 1570
一、描述 MapJoin顾名思义，就是在Map阶段进行表之间的连接。而不需要进入到Reduce阶段才进行连接。这样就节省了在Shuffle阶段时要进行的大量数据传输。从而起到了优化作业的作用。 二、使用条件 除了一份表的数据分布在不同的Map中外，其他连接的表的数据必须在每个Map中有完整的拷贝。 在二个要连接的表中，有一个很大，有一个很小，这个小表可以存放在内存中而不影响性能。 三、配置项 -- 是否开启join优化 set hive.auto.convert.join=true; --表文件的大
【Hive】Hive中的MapJoin，CommonJoin，SMBJoin详细介绍
一个写湿的程序猿
08-04 3105
Hive-窗口函数，详细分析，案例实践 文章目录Hive-窗口函数，详细分析，案例实践窗口函数介绍窗口函数分析案例实践一案例实践二 窗口函数介绍 LEAD(col,n, default_val)：表示往后第n行数据，col是字段，n表示第几行，default_val 如果没有往后第n行则用默认值代替 LAG(col,n,default_val)：表示往前第n行数据，col是字段，n表示第几行，default_val 如果没有往前第n行则用默认值代替 FIRST_VALUE (col,true/false)：
SortMergeJoin（SMJ）对比SMB join
最新发布
yoohhwz的博客
06-19 427
Shuffle + Sort + Merge：先对两张大表按照 Join Key 进行 Shuffle（重新分区），然后对每个分区内的数据排序，最后通过归并（Merge）方式逐条比较 Join Key，完成 Join。不依赖分桶：不需要表预先分桶，适用于任何两张大表。默认 Join 策略：Spark SQL 默认优先使用 SortMergeJoin，除非满足其他 Join 策略的条件（如 Broadcast Hash Join）。
SQL join中级篇--hive中 mapreduce join方法分析
weixin_30954607的博客
05-18 242
1. 概述。 本文主要介绍了mapreduce框架上如何实现两表JOIN。 2. 常见的join方法介绍 假设要进行join的数据分别来自File1和File2. 2.1 reduce side join reduce side join是一种最简单的join方式，其主要思想如下： 在map阶段，map函数同时读取两个文件File1和File2，为了区分两种来源的key/va...
MapJoin 的使用方法
Taerge0110的博客
10-27 1972
在对大表和一个或多个小表执行join操作时，mapjoin会将您指定的小表全部加载到执行join操作的程序的内存中，在Map阶段完成表连接从而加快join的执行速度。要使MapJoin能够顺利进行，那就必须满足这样的条件：除了一份表的数据分布在不同的Map中外，其他连接的表的数据必须在每个Map中有完整的拷贝。mapjoin在Map阶段执行表连接，而非等到Reduce阶段才执行表连接，可以缩短大量数据传输时间，提升系统资源利用率，从而起到优化作业的作用。mapjoin中多个小表用英文逗号（,）分隔，例如/
Hive中的SMB(Sort-Merge-Buket) Join
hunter95671的博客
11-03 2219
SMB join （针对bucket mapjoin 的一种优化） 条件 1）set hive.auto.convert.sortmerge.join=true; set hive.optimize.bucketmapjoin = true; set hive.optimize.bucketmapjoin.sortedmerge = true; set hive.auto.convert.sortmerge.join.noconditionaltask=true; 2） 小表的bucket数=大表bucke
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不二人生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值