Hive mapjoin 与 Bucket mapjoin

最新推荐文章于 2024-08-01 08:57:56 发布
最新推荐文章于 2024-08-01 08:57:56 发布
阅读量4.6k 收藏 8
点赞数
分类专栏： hadoop 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ljq32/article/details/25903239
版权
本文介绍了在Hive中使用MapJoin和Bucket MapJoin进行优化的方法。通过创建带桶的表并导入数据，展示了Bucket MapJoin在处理相同ID分布的数据时能显著提高效率，减少了内存压力和计算时间。
摘要由CSDN通过智能技术生成

今天实验了一下hive中的mapjoin和bucket mapjoin,情况如下:

首先创建数据表和制造数据,表test1,仅包含1列(id int):

1. 创建表, 并以id字段划分桶, 桶个数为20个,也就是在插入数据时会生成20个数据文件对应20个桶

create table test_mapjoin(id int) clustered by (id) into 20 buckets;


2.导入数据前设置桶划分参数为真:sethive.enforce.bucketing=true,能够保证hive在插入数据时使用桶对数据划分,以下将插入300万行数据:

最低0.47元/天 解锁文章
种菜的
关注
专栏目录
Hive的ReduceJoin/MapJoin/SMBJoin
someInNeed的博客
03-27 604
Hive中就是把Map，Reduce的Join拿过来，通过SQL来表示。 参考链接：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Joins 1.Reduce /Common/Shuffle Join Reduce Join在Hive中也叫Common Join或Shuffle Join 如果两边数据量都很大，它会进行把相同key的value合在一起，正好符合我们在sql中的join，然后再去组合，如图所示。 .
通俗易懂的Hive join几种形式原理详解
石榴姐yyds
07-26 4172
表的Join是数据分析处理过程中必不可少的操作，Hive同样支持Join的语法，Hive Join的底层还是通过MapReduce来实现的，Hive实现Join时，为了提高MapReduce的性能，提供了多种Join方案来实现，例如适合小表Join大表的Map Join，大表Join大表的Reduce Join，以及大表Join的优化方案Bucket Join等。 1 Map Join 应用场景 适合于小表join大表或者小表Join小表 原理 将小的那份数据给每个MapTask的内存都放一.
hive中的桶表，以及高效的join方式
Samaritan_H的博客
01-18 7569
hive中的join策略 大概可以分为三种 前面2种的话都是经常会用到，说下第三种 桶 join 桶（SMB） 物理上，每个桶就是表(或分区）目录里的一个文件。 smb的设计是为了解决大表和大表之间的join的。简单的说下她的思想：大表化成小表，map side join 解决。经典的分而治之的思想。 对一个表或者一个分区，可以将其划分为更细的数据块，桶。在hive中，分桶的方
什么是 Hive 的 Map Join？
最新发布
My_wife_QBL的博客
08-01 707
Map Join 是 Hive 中一种有效的优化 Join 操作的技术，能够显著提高查询性能。在处理小表与大表的 Join 时，Map Join 通过在 Mapper 阶段进行连接，避免了 Shuffle 和 Sort 的开销，从而提升了性能。
Hive优化--Bucket Map Join
yyGeek的博客
03-09 862
Map Join算法的改进可用于大表join大表的场景。
Bucket-MapJoin
feizuiku0116的博客
11-03 1134
一、作用 两个表join的时候，小表不足以放到内存中，但是又想用map side join这个时候就要用到bucket Map join。其方法是两个join表在join key上都做hash bucket，并且把你打算复制的那个（相对）小表的bucket数设置为大表的倍数。这样数据就会按照key join，做hash bucket。小表依然复制到所有节点，Map join的时候，小表的每一组bucket加载成hashtable，与对应的一个大表bucket做局部join，这样每次只需要加载部分hashta
Hive Sort Merge Bucket Map Join
lavimer
01-29 2551
测试：一个4000万和一个5000多万的表Join，关联键数据倾斜，并且笛卡尔积，效果明显。 #建立小表 create table lxw_test1(id int,name string,date_time string) clustered by(id) sorted by(id) into 10 buckets; #建立大表 create table lxw_test2(id
mapjoin,bucket mapjoin,SMB join测试
Taoly_的博客
02-17 1449
mapjoin（大表join小表） 1、造一个1千万条数据的表备用 先借用sparksql界面运行，不要用hive运行。因为sparksql支持sequence函数，hive不支持。 use test_db; set spark.sql.shuffle.partitions=100; drop table if exists test_1kw; create table test_1kw as --造1千万条数 select id, ceil(1000*rand())
Hive中的Sort Merge Bucket Join
Jiangzhiqi4551的博客
11-02 1020
最近学习时发现 Hive 中还有一种 SMB Join，即 Sort Merge Bucket Join ，赶紧找资料学习了一波。。 map join 我们知道在 Hive 中当小表 join 大表时可以通过 map join 将小表中的数据读入内存，在 map 端 join 大表，从而省略 reduce 过程，大大加快连接的速度，但是当小表数据量过大内存放不下时就无法使用 map join 了，由此引出了 Sort Merge Bucket Join。 SMB join 要使用 SMB Join，所有的表
【Hive】Hive Join 介绍
w1992wishes的博客
08-13 1075
文章目录一、Join二、Join 类型2.1、INNER JOIN 内连接2.2、LEFT OUTER JOIN 左外连接2.3、RIGHT OUTER JOIN 右外连接2.4、FULL OUTER JOIN 全外连接2.5、LEFT SEMI JOIN 左半开连接2.6、JOIN笛卡尔积三、Join 的实现原理3.1、Common Join3.2、Map Join四、Join 优化4.1、BU...
Bucket Join：分桶Join
qq_43528451的博客
05-07 1286
Bucket Join：分桶Join 场景：大表join大表，多次join 实现 step1：将两张大表的数据构建分桶 数据按照分桶的规则拆分到不同的文件中 分桶规则=MapReduce分区的规则=key的hash取余 key=分桶的字段 step2：只要实现桶与桶的join，减少了比较次数 分桶本质：低层MapReduce的分区，桶的个数=Reduce个数=文件个数 分类 Bucket Map Join ：普通的分桶Join 桶内的没一条 数据要与对方桶的每一条数据进行joi
【hive】简单介绍hive的几种join
Mrerlou的博客
08-17 1907
common join 主要是针对数据/业务逻辑的join。Map joinSkew Join是hive 针对特殊数据、场景 进行的优化。则是Sql语句的优化，并且也可以应用上面的优化方案。MAP JION会把小表全部加载到内存中，在map阶段直接拿另外一个表的数据和内存中表数据做匹配，由于在map端是进行了join操作，省去了reduce运行的时间，算是hive中的一种优化。
hive中 bucket mapjoin 与 SMB join(Sort-Merge-Bucket)区别
wisgood的专栏
04-24 5972
1 bucket mapjoin 1.1 条件 1） set hive.optimize.bucketmapjoin = true; 2） 一个表的bucket数是另一个表bucket数的整数倍 3） bucket列 == join列 4） 必须是应用在map join的场景中 1.2 注意 1）如果表不是bucket的，只是做普通join。 2 SMB join （...
Hive JOIN使用详解
鲍礼彬的CSDN博客 ~_~
05-30 1131
Hive是基于Hadoop平台的，它提供了类似SQL一样的查询语言HQL。有了Hive，如果使用过SQL语言，并且不理解Hadoop MapReduce运行原理，也就无法通过编程来实现MR，但是你仍然可以很容易地编写出特定查询分析的HQL语句，通过使用类似SQL的语法，将HQL查询语句提交Hive系统执行查询分析，最终Hive会帮你转换成底层Hadoop能够理解的MR Job。 对于最基本的HQ
HiveSql语法优化四 ：Bucket Map Join和Sort Merge Bucket Map Join优化
zmx_messi的博客
12-16 918
之前的map join适用场景是大表join小表的情况，但是两张表都相对较大，若采用普通的Map Join算法，则Map端需要较多的内存来缓存数据，当然可以选择为Map段分配更多的内存，来保证任务运行成功。但是，Map端的内存不可能无上限的分配，所以当参与Join的表数据量均过大时，就可以考虑采用Bucket Map Join算法。需要注意的是，Bucket Map Join的执行计划的基本信息和普通的Map Join无异，若想看到差异，可执行如下语句，查看执行计划的详细信息。
hive分桶表join_Hive:JOIN及JOIN优化 2015.10.25
weixin_29159711的博客
01-17 885
1. Join的基本原理大家都知道，Hive会将所有的SQL查询转化为Map/Reduce作业运行于Hadoop集群之上。在这里简要介绍Hive将Join转化为Map/Reduce的基本原理(其它查询的原理请参考这里)。假定有user和order两张表，分别如下：user表：sidname1apple2orangeorder表：uidorderid110011100221003现在想做studen...
Hive 分桶表原理及优化大表 join 实战
天道酬勤
04-30 5866
一、什么是分桶表 分桶表是比表或者分区表更为细粒度的数据范围划分。在针对某一列进行桶组织的时候，对列值哈希，然后除以桶的个数求余，来决定将不同的记录存放到哪一个桶中。所以分桶表对数据的处理比分区表更加细粒度化，分桶表可以在分区表的基础上进一步分桶，分桶表针对的是数据文件。使用的分桶表的主要好处就是，获得更高的数据查询和处理效率，或者可以进行抽样调查。 二、什么时候可以使用分桶表 分桶表最主要的使用场景是优化大表和大表的 join，其主要原理如下：（1）如果大表和大表使用 MapReduce 的普通模式在.
Hive map side join入门及测试
鸭梨的博客
12-28 497
什么是MapJoin? MapJoin顾名思义，就是在Map阶段进行表之间的连接。而不需要进入到Reduce阶段才进行连接。这样就节省了在Shuffle阶段时要进行的大量数据传输。从而起到了优化作业的作用。 MapJoin的原理： 即在map 端进行join，其原理是broadcast join，即把小表作为一个完整的驱动表来进行join操作。通常情况下，要连接的各个表里面的数据会分布在不同的Map中进行处理。即同一个Key对应的Value可能存在不同的Map中。这样就必须等到 Reduce中去连接。要使M
Hive on Spark EXPLAIN详解：解析Spark执行计划中的不同join类型
在Hive中，一个Stage可能对应于Spark中的多个步骤，因为Hive的某些操作（如MapJoin）可能在单个Spark任务中完成，从而减少了总阶段数量。而对于包含复杂Join操作（如skew join）的查询，可能会拆分为多个Spark ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

种菜的

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值