数仓工具—Hive语法之map join、reduce join、smb join(8)

最新推荐文章于 2023-10-27 18:21:48 发布
最新推荐文章于 2023-10-27 18:21:48 发布
阅读量6.1w 收藏 3
点赞数 1
分类专栏： Hive 实战 文章标签： 大数据 数据仓库 hive 面试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/king14bhhb/article/details/112132243
版权
本文介绍了Hive中的三种Join类型：Map-side Join、Reduce-side (Common) Join和SMB (Sort Merge Bucket) Join。Map Join适用于小表和大表的连接，将小表加载到内存中，减少shuffle过程。Reduce Join是最常见的join方式，通过shuffle将相同key的数据分发到同一个reducer。SMB Join利用预分桶优化大表间的join，提高效率。文中还讨论了各种join的适用场景和性能优化。
摘要由CSDN通过智能技术生成

常见的join

开始之前我们先说一下join 的定义，然后我们后面在说不同的join,有时候我们需要同时获取两张表或三张表或更多表的信息，我们需要把不同的表关联起来，然后获取数据，这个就是join, 关联的过程就是join 的过程

笼统的说，Hive中的Join可分为Common Join（Reduce阶段完成join）和Map Join（Map阶段完成join),以及Sort Merge Bucket Join 这种划分方式体现在是实现功能的方式上是不同的

除此之外还有不同类型的join,例如 LEFT|RIGTH|FULL OUTER JOIN、 LEFT SEMI JOIN、主要体现在实现的功能是不一样的

Map-side Join

map Join的主要思想就是，当关联的两个表是一个比较小的表和一个特别大的表的时候，我们把比较小的表直接放到内存中去，然后再对比较大的表格进行map操作，join就发生在map操作的时候，每当扫描大的表中的中的一行数据，就要去查看小表的数据，哪条与之相符，继而进行连接。

这样的join并不会涉及reduce操作，自然没有shuffle减少了数据通过网络传输造成的高成本和高延迟了，因为Join 是在map 端完成的，所以又叫做map join

了解本专栏 订阅专栏 解锁全文 超级会员免费看
不二人生
关注
专栏目录
订阅专栏
Hive的ReduceJoin/MapJoin/SMBJoin
someInNeed的博客
03-27 607
Hive中就是把Map，Reduce的Join拿过来，通过SQL来表示。 参考链接：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Joins 1.Reduce /Common/Shuffle Join Reduce Join在Hive中也叫Common Join或Shuffle Join 如果两边数据量都很大，它会进行把相同key的value合在一起，正好符合我们在sql中的join，然后再去组合，如图所示。 .
通俗易懂的Hive join几种形式原理详解
石榴姐yyds
07-26 4185
表的Join是数据分析处理过程中必不可少的操作，Hive同样支持Join的语法，Hive Join的底层还是通过MapReduce来实现的，Hive实现Join时，为了提高MapReduce的性能，提供了多种Join方案来实现，例如适合小表Join大表的Map Join，大表Join大表的Reduce Join，以及大表Join的优化方案Bucket Join等。 1 Map Join 应用场景 适合于小表join大表或者小表Join小表 原理 将小的那份数据给每个MapTask的内存都放一.
Hive中map-join 和 reduce-join
Peasmaster的博客
11-28 1169
配置 hive.auto.convert.join 0.11版本之后默认是true。 hive.mapjoin.smalltable.filesize/hive.smalltable.filesize map join通常用于一个很小的表和一个大表进行join的场景，具体小表有多小，由参数 hive.mapjoin.smalltable.filesize来决定，该参数表示小表的总大小，默认值为2...
Hive优化--SMB join
yyGeek的博客
03-09 1129
Sort MergeBucket Map Join（简称SMB Map Join）基于Bucket Map Join。
hive —— map join和common join（reduce join）
idream
03-12 449
Hive中的Join可分为Common Join（Reduce阶段完成join）和Map Join（Map阶段完成join）。简单介绍一下两种join的原理和机制。 Common Join Map阶段 读取源表的数据，Map输出时候以Join on条件中的列为key，如果Join有多个关联键，则以这些关联键的组合作为key; Map输出的value为join之后所关心的(select或者where中需要用到的)列；同时在value中还会包含表的Tag信息，用于标明此value对应哪个表； 按照key进
Hive map-side join和reduce-side join
weixin_44844089的博客
05-24 334
Hive多表Join的过程（reduce-side join） HiveSQL底层要转为MapReduce任务执行，那么当进行多表连接的时候，是如何进行表join的呢？ 这里搬运这篇博客的例子：https://blog.csdn.net/qiulinsama/article/details/90299426 现在有两个表：page_view和user表 这两张表都有一个相同的字段userid，根据这个字段可以将两张表连接起来，pv_users表， SQL命令是： SELECT pv.pageid, u.
Hive的join方式
ThreeAspects的博客
05-26 4375
在用客户端连接Redis不成功，再解决的过程中又遇到了telnet的问题 1、开启Telnet 控制面板->程序和功能中的“打开或关闭Windows功能”->勾选Telnet服务器和Telnet客户端 2、启动Telnet 右键计算机->管理->服务->双击Telnet->选择自动->确定->右键Telnet->启动 ...
数仓|Hive性能调优指北
jmx_bigdata的博客
06-07 1024
在企业中使用Hive构建离线数仓是一种十分普遍的方案。尽管Hive的使用场景是通过批处理的方式处理大数据，通常对处理时间不敏感。但是在资源有限的情况下，我们需要关注Hive的性能调优，从而方便数据的快速产出。同时，关于Hive的性能调优，也是面试中比较常见的问题，因此掌握Hive性能调优的一些方法，不仅能够在工作中提升效率而且还可以在面试中脱颖而出。本文会通过四个方面介绍Hive性能调优，主要包括： √性能调优的工具 √设计优化 √数据存储优化 √作业优化 性能调优的工具 HQL提供了两个查看查询性能.
【Hive-优化】Hive的优化方式二（分桶优化）
weixin_53543905的博客
02-26 744
写入数据强制分桶#写入数据强制排序#开启bucketmapjoin#开启SMB Join（2）下面的都已经默认开启了,所以无需配置1、开启MapJoin的配置（和）还有限制对桶表进行load操作（）可以直接设置在hive的配置项中，无需在sql中声明。2、自动尝试SMB联接（）也可以在设置中进行提前配置。
hive SMB join 验证实验
筷子的博客
03-12 3468
关于hive的SMB join 有一些成立的前提条件 首先: 两张表是分桶的，在创建表的时候需要指定： CREATETABLE(……) CLUSTERED BY (col_1) SORTED BY (col_1) INTO buckets_Nums BUCKETS 其次：两张表分桶的列必须是JOIN KEY 最后：需要设置一些bucket相关的参数 set hive.auto.conve...
mapJoin与reduceJoin
weixin_43810802的博客
10-15 733
mapreduce中可以实现map端的join以及reduce端的join，我们看下有什么区别。 mapJoin与reduceJoin数据准备reduce joinmap joinhive的map join测试 数据准备 有一张订单表(order)： 1001 01 1 1002 02 2 1003 03 3 1004 01 4 1005 02 5 1006 03 6 三列对应的字段分别是订单ID，产品ID以及产品数量。 然后还有一张产品表(pd)： 01 小米 02 华为 03 格力 对应的字段分别是
SMB Join（Sort Merge Bucket Join）
feizuiku0116的博客
11-03 3661
一、作用 大表对小表应该使用MapJoin来进行优化，但是如果是大表对大表，如果进行shuffle，那就非常可怕，第一个慢不用说，第二个容易出异常，此时就可以使用SMB Join来提高性能。SMB Join基于bucket-mapjoin的 有序 bucket，可实现在map端完成join操作，可以有效地减少或避免shuffle的数据量。SMB join的条件和Map join类似但又不同。 二、条件 bucket mapjoin SMB join set hive.optimize.buc
hive中Mapjoin 和Reducejoin 的区别
qq_41704237的博客
07-12 1898
Map join 配置： set hive.auto.convert.join = true（0.11版本后默认是true） set hive.mapjoin.smalltable.filesize=25000000（设置小表的大小，默认就是25M） 原理： mapjoin ：主要用于小表连接大表，一般小表的大小为25M，大表没有什么具体的限制。 使用mapjoin的原因是： 在进行表的连接时，在map端处理完数据后，会把不同表的数据，形成不同的文件，reduce端进行拉取map端获得文件时，由于map端文
MapJoin
feizuiku0116的博客
11-03 1387
一、描述 MapJoin顾名思义，就是在Map阶段进行表之间的连接。而不需要进入到Reduce阶段才进行连接。这样就节省了在Shuffle阶段时要进行的大量数据传输。从而起到了优化作业的作用。 二、使用条件 除了一份表的数据分布在不同的Map中外，其他连接的表的数据必须在每个Map中有完整的拷贝。 在二个要连接的表中，有一个很大，有一个很小，这个小表可以存放在内存中而不影响性能。 三、配置项 -- 是否开启join优化 set hive.auto.convert.join=true; --表文件的大
【Hive】Hive中的MapJoin，CommonJoin，SMBJoin详细介绍
一个写湿的程序猿
08-04 2540
Hive-窗口函数，详细分析，案例实践 文章目录Hive-窗口函数，详细分析，案例实践窗口函数介绍窗口函数分析案例实践一案例实践二 窗口函数介绍 LEAD(col,n, default_val)：表示往后第n行数据，col是字段，n表示第几行，default_val 如果没有往后第n行则用默认值代替 LAG(col,n,default_val)：表示往前第n行数据，col是字段，n表示第几行，default_val 如果没有往前第n行则用默认值代替 FIRST_VALUE (col,true/false)：
SQL join中级篇--hive中 mapreduce join方法分析
weixin_30954607的博客
05-18 192
1. 概述。 本文主要介绍了mapreduce框架上如何实现两表JOIN。 2. 常见的join方法介绍 假设要进行join的数据分别来自File1和File2. 2.1 reduce side join reduce side join是一种最简单的join方式，其主要思想如下： 在map阶段，map函数同时读取两个文件File1和File2，为了区分两种来源的key/va...
MapJoin 的使用方法
最新发布
Taerge0110的博客
10-27 1153
在对大表和一个或多个小表执行join操作时，mapjoin会将您指定的小表全部加载到执行join操作的程序的内存中，在Map阶段完成表连接从而加快join的执行速度。要使MapJoin能够顺利进行，那就必须满足这样的条件：除了一份表的数据分布在不同的Map中外，其他连接的表的数据必须在每个Map中有完整的拷贝。mapjoin在Map阶段执行表连接，而非等到Reduce阶段才执行表连接，可以缩短大量数据传输时间，提升系统资源利用率，从而起到优化作业的作用。mapjoin中多个小表用英文逗号（,）分隔，例如/
Hive中的SMB(Sort-Merge-Buket) Join
hunter95671的博客
11-03 2070
SMB join （针对bucket mapjoin 的一种优化） 条件 1）set hive.auto.convert.sortmerge.join=true; set hive.optimize.bucketmapjoin = true; set hive.optimize.bucketmapjoin.sortedmerge = true; set hive.auto.convert.sortmerge.join.noconditionaltask=true; 2） 小表的bucket数=大表bucke
mapjoin,bucket mapjoin,SMB join测试
Taoly_的博客
02-17 1449
mapjoin（大表join小表） 1、造一个1千万条数据的表备用 先借用sparksql界面运行，不要用hive运行。因为sparksql支持sequence函数，hive不支持。 use test_db; set spark.sql.shuffle.partitions=100; drop table if exists test_1kw; create table test_1kw as --造1千万条数 select id, ceil(1000*rand())
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不二人生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值