hive中的mapjoin

最新推荐文章于 2024-08-01 08:57:56 发布
最新推荐文章于 2024-08-01 08:57:56 发布
阅读量1w 收藏 26
点赞数 7
分类专栏： hive 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yycdaizi/article/details/50158573
版权
本文介绍如何在Hive中通过调整配置参数实现MapJoin优化，针对一张大表关联多张小表的情况，通过设置`hive.auto.convert.join`等参数，自动转换为MapJoin加速查询过程。详细阐述了MapJoin的工作原理及参数作用，包括小表文件大小限制、合并MapJoin的好处和限制条件，以及如何通过`explain`命令验证效果。同时，文章强调了使用MapJoin时关联字段类型的一致性要求，并分享了一个关于字段类型不一致导致性能下降的案例。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在Hive中，common join是很慢的，如果我们是一张大表关联多张小表，可以使用mapjoin加快速度。
mapjoin主要有以下参数：

  • hive.auto.convert.join ： 是否自动转换为mapjoin
  • hive.mapjoin.smalltable.filesize : 小表的最大文件大小，默认为25000000，即25M
  • hive.auto.convert.join.noconditionaltask ： 是否将多个mapjoin合并为一个
  • hive.auto.convert.join.noconditionaltask.size ： 多个mapjoin转换为1个时，所有小表的文件大小总和的最大值。

例如，一个大表顺序关联3个小表a(10M), b(8M),c(12M)，如果hive.auto.convert.join.noconditionaltask.size的值：

1. 小于18M，则无法合并mapjoin，必须执行3个mapjoin；

2. 大于18M小于30M，则可以合并a和b表的mapjoin，所以只需要执行2个mapjoin；
3. 大于30M，则可以将3个mapjoin都合并为1个。

合并mapjoin有啥好处呢？因为每个mapjoin都要执行一次map，需要读写一次数据，所以多个mapjoin就要做多次的数据读写，合并mapjoin后只用读写一次，自然能大大加快速度。但是执行map是内存大小是有限制的，在一次map里对多个小表做mapjoin就必须把多个小表都加入内存，为了防止内存溢出，所以加了hive.auto.convert.join.noconditionaltask.size参数来做限制。不过，这个值只是限制输入的表文件的大小，并不代表实际mapjoin时hashtable的大小。
我们可以通过explain查看执行计划，来看看mapjoin是否生效。

具体示例

set hive.auto.convert.join=true;
set hive.mapjoin.smalltable.filesize=300000000;
set hive.auto.convert.join.noconditionaltask=true;
set hive.auto.convert.join.noconditionaltask.size=300000000;

使用mapjoin时，会先执行一个本地任务(mapreduce local task)将小表转成hashtable并序列化为文件再压缩，随后这些hashtable文件会被上传到hadoop缓存，提供给各个mapjoin使用。这里有三个参数我们需要注意：

  • hive.mapjoin.localtask.max.memory.usage ： 将小表转成hashtable的本地任务的最大内存使用率,默认0.9
  • hive.mapjoin.followby.gby.localtask.max.memory.usage ： 如果mapjoin后面紧跟着一个group by任务，这种情况下 本地任务的最大内存使用率，默认是0.55
  • hive.mapjoin.check.memory.rows ： localtask每处理完多少行，就执行内存检查。默认为100000

如果我们的localtask的内存使用超过阀值，任务会直接失败。

此外，使用mapjoin时还要注意，用作join的关联字段的字段类型最好要一致。
我就碰到一个诡异的问题，执行mapjoin 的local task时一直卡住，40万行的小表处理了好几个小时，正常情况下应该几秒钟就完成了。查了好久原因，结果原来是做join的关联字段的类型不一致，一边是int， 一边是string，hive解释计划里显示它们都会被转成double再来join。我把字段类型改为一致的，瞬间就快了。照理说就算转成double也不该这么慢，不知道是不是hive的bug。

说明：本人使用的是hive 1.2.1

参考文档：
hive配置属性https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+JoinOptimization
https://cwiki.apache.org/confluence/display/Hive/MapJoinOptimization
https://cwiki.apache.org/confluence/display/Hive/MapJoin+and+Partition+Pruning

Hive的mapjoin原理与参数说明
xiaozhaoshigedasb的博客
04-01 6005
一、 Map Join原理 Map Join介绍 MapJoin顾名思义，就是在Map阶段进行表之间的连接，map阶段直接拿另外一个表的数据和内存中表数据做匹配。而不需要进入到Reduce阶段才进行连接。这样就节省了在Shuffle阶段时要进行的大量数据传输。从而起到了优化作业的作用。通常用于一个很小的表和一个大表进行join的场景。 MapJoin的原理及过程 执行过程如上图： 首先是在...
Hive 的 MapJoin 原理及适用场景
最新发布
2401_83088008的博客
03-16 880
MapJoin 是 Hive 中一种非常重要的查询优化策略，它通过将小表数据加载到内存中，在 Map 阶段直接完成 Join 操作，避免了 Shuffle 阶段，从而显著提高了查询性能。在实际应用中，当遇到小表和大表的 Join 场景，或者需要缓解数据倾斜问题、提高查询响应时间时，可以考虑使用 MapJoin。但在使用过程中，需要注意小表数据量限制、内存资源管理和数据一致性问题，以确保查询结果的准确性和系统的稳定性。通过合理使用 MapJoin，可以充分发挥 Hive 的性能优势，提高大数据处理的效率。
hive mapjoin
zhangyanhong198707的博客
07-31 751
hive 版本：1.2.1 在Hive中，common join是很慢的，如果我们是一张大表关联多张小表，可以使用mapjoin加快速度。 mapjoin主要有以下参数：hive.auto.convert.join ： 是否自动转换为mapjoin hive.mapjoin.smalltable.filesize : 小表的最大文件大小，默认为25000000，即25M hive.auto
SQL基础能力：hive之Mapjoin
数据仓库与数据分析
11-28 1271
一、场景 MapJoin是Hive的一种优化操作，其适用于小表JOIN大表的场景，由于表的JOIN操作是在Map端且在内存进行的，所以其并不需要启动Reduce任务也就不需要经过shuffle阶段，从而能在一定程度上节省资源提高JOIN效率。 二、使用 2.1 Hive v0.7 之前通过在查询语句中增加一个标记进行触发： SELECT /*+ MAPJOIN(smalltable)*/ sma...
hive中的map join
H_hanwen的博客
11-18 2114
本文主要讲述一下自己在hive中使用map join遇到的一些问题。语言过于直白，请谅解 1.什么是map join？ map join主要是在关联的时候使用，hive开启map join后可以将关联的小表放入内存中去执行，以此来提高脚本的运行速度   2.map join如何设置？ set hive.auto.convert.join=false; --false表示关闭m...
HIVE调优之MapJoin
weixin_30716725的博客
08-26 232
如果不指定MapJoin或者不符合MapJoin的条件，那么Hive解析器会将Join操作转换成Common Join，即：在Reduce阶段完成join。容易发生数据倾斜。可以用MapJoin把小表全部加载到内存在map端进行join，避免reducer处理 开启MapJoin参数设置 设置自动选择Mapjoin（ 默认为true）：set hive.a...
hive之Map Join使用方法
热门推荐
ImezZ
04-08 1万+
介绍 MAPJION会把小表全部加载到内存中，在map阶段直接拿另外一个表的数据和内存中表数据做匹配，由于在map端是进行了join操作，省去了reduce运行的时间，算是hive中的一种优化。 如上图中的流程，首先Task A在客户端本地执行，负责扫描小表b的数据，将其转换成一个HashTable的数据结构，并写入本地的文件中，之后将该文件加载到DistributeCache中。 接下来的Task B任务是一个没有Reduce的MapReduce，启动MapTasks扫描大表...
hive的map join
MannerXu的博客
08-30 395
Hive的map join 什么是Map Join? MapJoin顾名思义，就是在Map阶段进行表之间的连接。而不需要进入到Reduce阶段才进行连接。这样就节省了在Shuffle阶段时要进行的大量数据传输。从而起到了优化作业的作用。 Map Join的原理？ 即在map 端进行join，其原理是broadcast join，即把小表作为一个完整的驱动表来进行join操作。通常情况下，要连接的各个表里面的数据会分布在不同的Map中进行处理。即同一个Key对应的Value可能存在不同的Map中。这样.
hive的map-join原理
CLKTOY的博客
11-08 1179
目录1- Join如何运行2- 使用分布式缓存3- 根据文件大小将Join转换为MapJoin4- Example 1- Join如何运行 首先，让我们讨论一下 Join 如何在Hive中运行。Common Join 操作如图1所示被编译为 MapReduce 任务。Common Join 任务涉及 Map 阶段和 Reduce 阶段。Mapper 从连接表中读取数据并将连接的 key 和连接的 value 键值对输出到中间文件中。Hadoop 在所谓的 shuffle 阶段对这些键值对进行排序和合并。Re
hive中Common Join 和Map Join的机制（例子详解）
dingchangxiu11的博客
12-25 2414
笼统的说，Hive中的Join可分为Common Join（Reduce阶段完成join）和Map Join（Map阶段完成join）。本文简单介绍一下两种join的原理和机制。 一 .Hive Common Join 如果不指定MapJoin或者不符合MapJoin的条件，那么Hive解析器会将Join操作转换成Common Join,即：在Reduce阶段完成join. 整个过程包含Map、S...
hive sql数据倾斜——大表join小表如何使用map join
qq_41018861的博客
01-05 6428
Map Join是Hive的一种优化操作，其适用于小表JOIN大表的场景，由于表的JOIN操作是在Map端且在内存进行的，所以其并不需要启动Reduce任务也就不需要经过shuffle阶段，从而能在一定程度上节省资源提高JOIN效率 一、mapjoin的使用场景： 关联操作中有一张表非常小 不等值的链接操作 二、具体使用： 方法一： 在Hive0.11前，必须使用MAPJOIN来标记显示地启动该优化操作，由于其需要将小表加载进内存所以要注意小表的大小 SELECT/*+MAPJOIN(smallta.
hive map join
weixin_47699191的博客
07-29 310
hive map join map join 默认开启 不管大小表放左边还是右边,自动将小表放入内存,然后在map端顺序扫描大表跟内存中的数据进行join a 大表 user_id oid 0001,B 0001,A 0002,C 0003,D 0001,E 0001,F 0004,W 0001,Z b 小表 user_id name 0001,王 0002,刘 0003,赵 0004,高 sql select a.user_id, a.oid, b.name from a join b on a.u
【Hive】性能调优 - Map JOIN
qq_40382400的博客
06-03 1013
map-side JOIN可以省掉reduce过程，从而提高Hive效率；Hive 0.11.0版本后，默认开启自动map-side JOIN优化，我们需要合理调整hive.auto.convert.join.noconditionaltask.size参数值。
hive高级查询、Map Join【配案例演示，有图有真相】
lyq7269的博客
07-12 2032
一、hive嵌套查询和CTE CTE嵌套查询演示 CTE跟以前的mysql中的嵌套查询是一样的效果，把查询结果作为另一个查询的表，再对这张表进行查询，这种属于嵌套查询。相比之下，hive的STE显得更有逻辑。 创建两张表，插入数据，演示CTE嵌套查询 #创建表abc > create table abc( > userid int, > username string, > salary int, > position string &g
hive 中的map join 操作（转载）
smile6868的博客
03-14 6614
今天遇到一个Hive的问题，如下hivesql： select f.a,f.b from A t join B f on ( f.a=t.a and f.ftime=20110802) 该语句中B表有30亿行记录，A表只有100行记录，而且B表中数据倾斜特别严重，有一个key上有15亿行记录，在运行过程中特别的慢，而且在reduece的过程中遇有内存不够而报错。 为了解决用户的这个问题，考虑使用mapjoin,mapjoin的原理： MAPJION会把小表全部读入内存中，在map阶段...
什么是 Hive 的 Map Join？
My_wife_QBL的博客
08-01 1536
Map Join 是 Hive 中一种有效的优化 Join 操作的技术，能够显著提高查询性能。在处理小表与大表的 Join 时，Map Join 通过在 Mapper 阶段进行连接，避免了 Shuffle 和 Sort 的开销，从而提升了性能。
hive mapjoin的使用
damon_cc的博客
08-10 319
hive mapjoin使用
Hive的三种Join方式
mojolang
02-09 4117
Hive中就是把Map，Reduce的Join拿过来，通过SQL来表示。 参考链接：LanguageManual Joins - Apache Hive - Apache Software Foundation Common/Shuffle/Reduce Join Reduce Join在Hive中也叫Common Join或Shuffle Join 如果两边数据量都很大，它会进行把相同key的value合在一起，正好符合我们在sql中的join，然后再去组合，如图所示。 Map Join 1）
hive 开启map join
12-06
Hive中的Map Join是一种优化技术，用于在执行连接操作时减少数据倾斜和提高查询性能。Map Join通过在Map阶段完成连接操作，避免了Reducer阶段的处理，从而加快了查询速度。 ### 开启Map Join的方法 1. **自动Map Join**： Hive可以根据查询的实际情况自动选择使用Map Join。可以通过设置以下参数来启用自动Map Join： ```sql set hive.auto.convert.join=true; set hive.auto.convert.join.noconditionaltask=true; set hive.auto.convert.join.noconditionaltask.size=10000000; -- 设置小表的最大字节数 ``` 2. **手动Map Join**： 可以在SQL查询中使用提示（Hint）来手动指定Map Join。语法如下： ```sql SELECT /*+ MAPJOIN(table_name) */ columns FROM table1 JOIN table2 ON table1.column = table2.column; ``` ### 注意事项 - **小表大小**：Map Join适用于小表与大表之间的连接操作。小表的大小应小于`hive.auto.convert.join.noconditionaltask.size`参数设置的值。 - **资源消耗**：Map Join会将小表的数据加载到内存中，因此需要确保集群有足够的内存资源。 ### 示例 假设我们有两个表`orders`和`customers`，其中`customers`表是小表，我们可以使用Map Join来优化连接操作： ```sql set hive.auto.convert.join=true; set hive.auto.convert.join.noconditionaltask=true; set hive.auto.convert.join.noconditionaltask.size=10000000; SELECT /*+ MAPJOIN(customers) */ o.order_id, c.customer_name FROM orders o JOIN customers c ON o.customer_id = c.customer_id; ``` 在上述示例中，`customers`表被标记为Map Join的小表，Hive会在Map阶段完成连接操作。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值