SMB Join（Sort Merge Bucket Join）

最新推荐文章于 2024-10-13 15:29:56 发布
最新推荐文章于 2024-10-13 15:29:56 发布
阅读量3.8k 收藏 18
点赞数 3
分类专栏： Water 文章标签： hive hadoop 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/feizuiku0116/article/details/121113537
版权

一、作用

大表对小表应该使用MapJoin来进行优化，但是如果是大表对大表，如果进行shuffle，那就非常可怕，第一个慢不用说，第二个容易出异常，此时就可以使用SMB Join来提高性能。SMB Join基于bucket-mapjoin的 有序 bucket，可实现在map端完成join操作，可以有效地减少或避免shuffle的数据量。SMB join的条件和Map join类似但又不同。

二、条件

bucket mapjoin SMB join
set hive.optimize.bucketmapjoin = true; set hive.optimize.bucketmapjoin = true;set hive.auto.convert.sortmerge.join=true;set hive.optimize.bucketmapjoin.sortedmerge = true;set hive.auto.convert.sortmerge.join.noconditionaltask=true;
一个表的bucket数是另一个表bucket数的整数倍 小表的bucket数=大表bucket数
bucket列 == join列 bucket列 == join列
必须是应用在map join的场景中 必须是应用在bucket mapjoin 的场景中

三、确保分桶列排序

hive并不检查两个join的表是否已经做好bucket且sorted，需要用户自

最低0.47元/天 解锁文章
Hive的ReduceJoin/MapJoin/SMBJoin
someInNeed的博客
03-27 736
Hive中就是把Map，Reduce的Join拿过来，通过SQL来表示。 参考链接：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Joins 1.Reduce /Common/Shuffle Join Reduce Join在Hive中也叫Common Join或Shuffle Join 如果两边数据量都很大，它会进行把相同key的value合在一起，正好符合我们在sql中的join，然后再去组合，如图所示。 .
数仓工具—Hive语法之map join、reduce join、smb join(8)
热门推荐
01-03 6万+
1. map join 对性能优化有特别明显的效果，而且有很多的适用场景，例如大小表关联、不等值连接、处理数据倾斜 2. 关于SMB join主要用来处理大表关联，hive并不检查两个join的表是否已经做好bucket且sorted，需要用户自己去保证join的表，否则可能数据不正确 3. Reduce-side(Common) Join 是我们最常见的join 类型，通过shuffle 来完成数据的分发
Hive中的Sort Merge Bucket Join
Jiangzhiqi4551的博客
11-02 1123
最近学习时发现 Hive 中还有一种 SMB Join，即 Sort Merge Bucket Join ，赶紧找资料学习了一波。。 map join 我们知道在 Hive 中当小表 join 大表时可以通过 map join 将小表中的数据读入内存，在 map 端 join 大表，从而省略 reduce 过程，大大加快连接的速度，但是当小表数据量过大内存放不下时就无法使用 map join 了，由此引出了 Sort Merge Bucket Join。 SMB join 要使用 SMB Join，所有的表
Hive 基础（1）：分区、桶、Sort Merge Bucket Join
weixin_33694172的博客
11-24 489
2019独角兽企业重金招聘Python工程师标准>>> ...
Hive中的SMB(Sort-Merge-Buket) Join
hunter95671的博客
11-03 2140
SMB join （针对bucket mapjoin 的一种优化） 条件 1）set hive.auto.convert.sortmerge.join=true; set hive.optimize.bucketmapjoin = true; set hive.optimize.bucketmapjoin.sortedmerge = true; set hive.auto.convert.sortmerge.join.noconditionaltask=true; 2） 小表的bucket数=大表bucke
Hive优化--SMB join
yyGeek的博客
03-09 1483
Sort MergeBucket Map Join（简称SMB Map Join）基于Bucket Map Join。
分区、桶、Sort Merge Bucket Join
newchitu的博客
12-13 373
Hive 已是目前业界最为通用、廉价的构建大数据时代数据仓库的解决方案了，虽然也有 Impala 等后起之秀，但目前从功能、稳定性等方面来说，Hive 的地位尚不可撼动。 其实这篇博文主要是想聊聊 SMB join 的，Join 是整个 MR/Hive 最为核心的部分之一，是每个 Hadoop/Hive/DW RD 必须掌握的部分，之前也有几篇文章聊到过 MR/Hive 中的 join，其实底层...
【大数据入门 | Hive】HQL语法优化之Join优化
最新发布
2301_80912559的博客
10-13 1345
Hive拥有多种join算法，包括Common Join，Map Join，Bucket Map Join，Sort Merge Buckt Map Join等，下面对每种join算法做简要说明：Common Join是Hive中最稳定的join算法，其通过一个MapReduce Job完成一个join操作。Map端负责读取join操作所需表的数据，并按照关联字段进行分区，通过Shuffle，将其发送到Reduce端，相同key的数据在Reduce端完成最终的Join操作。如下图所示：需要注意的是，sql语
Spark调优学习记录（八）语法优化之SMB Join
yuliangwan_jiangyan的博客
04-14 454
应对大表join大表。
hive SMB join 验证实验
筷子的博客
03-12 3522
关于hive的SMB join 有一些成立的前提条件 首先: 两张表是分桶的，在创建表的时候需要指定： CREATETABLE(……) CLUSTERED BY (col_1) SORTED BY (col_1) INTO buckets_Nums BUCKETS 其次：两张表分桶的列必须是JOIN KEY 最后：需要设置一些bucket相关的参数 set hive.auto.conve...
Hive Sort Merge Bucket Map Join(大表关联)
yjgithub的博客
03-27 5416
测试：一个4000万和一个5000多万的表Join，关联键数据倾斜，并且笛卡尔积，效果明显。建立小表create table lxw_test1(id int,name string,date_time string) clustered by(id) sorted by(id) into 10 buckets; 建立大表create table lxw_test2(id int,name s
Hive 基础之：分区、桶、Sort Merge Bucket Join
Rainmt_Tank的博客
03-30 813
目录(?)[-] 1Hive 分区表 11 实现细节12 语法 2Hive 桶 1 创建带桶的 table 2 强制多个 reduce 进行输出3 往表中插入数据4 查看表的结构5 读取数据看每一个文件的数据6 对桶中的数据进行采样7 查询一半返回的桶数 3举个完整的小例子 1建student student1 表2设置环境变量3插入数据4查看文件目录5查看sampli
Hive Sort Merge Bucket Map Join
lavimer
01-29 2600
测试：一个4000万和一个5000多万的表Join，关联键数据倾斜，并且笛卡尔积，效果明显。 #建立小表 create table lxw_test1(id int,name string,date_time string) clustered by(id) sorted by(id) into 10 buckets; #建立大表 create table lxw_test2(id
hive--Sort Merge Bucket Map Join
05-30 177
Bucket Map Join   1. 测试1：两个1亿多记录的表，不存在数据倾斜与笛卡尔积，测试下来与普通的join差不多；   2. 测试2：一个4000万和一个5000多万的表join,关联键数据倾斜，并且笛卡尔积，效果明显；   create table lxw_test(imei string,sndaid string,data_time string) C...
【Hive】Hive中的MapJoin，CommonJoin，SMBJoin详细介绍
一个写湿的程序猿
08-04 2834
Hive-窗口函数，详细分析，案例实践 文章目录Hive-窗口函数，详细分析，案例实践窗口函数介绍窗口函数分析案例实践一案例实践二 窗口函数介绍 LEAD(col,n, default_val)：表示往后第n行数据，col是字段，n表示第几行，default_val 如果没有往后第n行则用默认值代替 LAG(col,n,default_val)：表示往前第n行数据，col是字段，n表示第几行，default_val 如果没有往前第n行则用默认值代替 FIRST_VALUE (col,true/false)：
数仓建模-用户维表的构建（一）-map join和smb join
dragontwf的专栏
11-12 1482
背景简介 在绝大部分场景中，用户维度都是一个必不可少的维度，而且随着业务发展和积累，相比其他维度，用户维度应该会是一数据量个比较大的维度。 由于历史原因，在我们这，用户维度的数据源来自于几个业务库，每个业务库记录了每个用户不同的信息。比如现在有两个业务A和B分别记录了各自业务系统里获取的用户信息，其中业务A产出的用户信息表userinfoA如下。这里的userid跟注册无关，而跟手机有关，这意...
HiveSql语法优化四 ：Bucket Map Join和Sort Merge Bucket Map Join优化
zmx_messi的博客
12-16 1098
之前的map join适用场景是大表join小表的情况，但是两张表都相对较大，若采用普通的Map Join算法，则Map端需要较多的内存来缓存数据，当然可以选择为Map段分配更多的内存，来保证任务运行成功。但是，Map端的内存不可能无上限的分配，所以当参与Join的表数据量均过大时，就可以考虑采用Bucket Map Join算法。需要注意的是，Bucket Map Join的执行计划的基本信息和普通的Map Join无异，若想看到差异，可执行如下语句，查看执行计划的详细信息。
mapjoin,bucket mapjoin,SMB join测试
Taoly_的博客
02-17 1529
mapjoin（大表join小表） 1、造一个1千万条数据的表备用 先借用sparksql界面运行，不要用hive运行。因为sparksql支持sequence函数，hive不支持。 use test_db; set spark.sql.shuffle.partitions=100; drop table if exists test_1kw; create table test_1kw as --造1千万条数 select id, ceil(1000*rand())
大表 join 大表
01-26
大表 join 大表是指在数据处理中，将两个规模较大的表进行关联操作。为了优化这种操作，可以使用分桶表来提高性能。分桶表将大表的数据划分成多个小块，并在Map端进行join操作，避免了在Reduce端进行shuffle操作，从而提高了效率。 分桶表的建立需要指定分桶的字段，对该字段的值进行哈希运算后取余数，得到一个值，根据这个值将数据放入不同的桶中。相同key的数据会被放入同一个桶中。在表和表关联时，只需要扫描对应桶中的数据，而不需要扫描整个表，从而提高了查询效率。 此外，分桶表的每个桶都需要进行排序，以便更高效地进行map join操作。这种join操作被称为SMB map join（Sort Merge Bucket Map Join），核心思想是将大表划分为小表，分而治之。 因此，使用分桶表来优化大表join大表的步骤如下： 1. 建立分桶表，指定分桶的字段，并将数据划分为多个桶。 2. 确保参与join的两个分桶表的桶个数相等或成倍数。 3. 对每个桶进行排序，以便进行高效的map join操作。 4. 执行join操作时，只需要扫描对应桶中的数据，而不需要扫描整个表，从而提高查询效率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值