Hive MapJoin原理

最新推荐文章于 2023-06-03 16:20:50 发布
最新推荐文章于 2023-06-03 16:20:50 发布
阅读量1.3k 收藏 3
点赞数
分类专栏： Hadoop 文章标签： hadoop hive mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sakulamartain/article/details/121033473
版权

本文主要想讨论在Hive1.2.2环境中，以下三种情况下，2表做left join的执行原理：

1. 2张相同大小的表做left join；

2. 大表做主表，与临时表做left join；

在进行试验之前，先说下官方对于 Map Join的原理说明：

 

 

Hive MapJoin原理说明：

MapJoin 就是在Map阶段将小表读入内存并生成HashTableFiles，然后顺序扫描大表完成Join。

 

上图是Hive MapJoin的原理图，出自Facebook工程师Liyin Tang的一篇介绍Join优化的slice，从图中可以看出MapJoin分为两个阶段：

1. 通过MapReduce Local Task，将小表读入内存，生成HashTableFiles上传至Distributed Cache中，这里会对HashTableFiles进行压缩;

2. MapReduce Job在Map阶段，每个Mapper从Distributed Cache读取HashTableFiles到内存中，顺序扫描大表，在Map阶段直接进行Join，将数据传递给下一个MapReduce任务;

tips:

如果Join的两张表一张表是临时表，就会生成一个ConditionalTask，在运行期间判断是否使用MapJoin,

这里面涉及到一个概念 就是CommonJoinResolver优化器，

CommonJoinResolver优化器就是将CommonJoin转化为MapJoin，转化过程如下(摘自网上)

1. 深度优先遍历Task Tree

2. 找到JoinOperator，判断左右表数据量大小

3. 对与小表 + 大表 => MapJoinTask，对于小/大表 + 中间表 => ConditionalTask

4. 遍历上一个阶段生成的MapReduce任务，发现

MapReduceTask[Stage-2]

JOIN[8]

中有一张表为临时表，先对Stage-2进行深度拷贝（由于需要保留原始执行计划为Backup

Plan，所以这里将执行计划拷贝了一份），生成一个MapJoinOperator替代JoinOperator，然后生成一个MapReduceLocalWork读取小表生成HashTableFiles上传至DistributedCache中。

在接下来的试验中发现，有些执行细节跟上述原理说明有不太一致的地方，不知道是不是因为一系列的版本的问题导致，还是说explain这个命令对于整个MapJoin过程的显示是有保留的；对于大表小表的判断上，从解析计划里并没有看出程序的判断原理，应该是在编译器与metastore交互过程中，读取到的。

试验一：2张相同大小的表做left join；

hive> explain

    > select a.ip

    >       ,b.req_url

    >   from weblog_b a

    >   left join weblog_d b

    >     on a.ip=b.ip;

OK

STAGE DEPENDENCIES:

  Stage-4 is a root stage

  Stage-3 depends on stages: Stage-4

  Stage-0 depends on stages: Stage-3

STAGE PLANS:

  Stage: Stage-4

    Map Reduce Local Work

      Alias -> Map Local Tables:

        b 

          Fetch Operator

            limit: -1

      Alias -> Map Local Operator Tree:

        b 

          TableScan

            alias: b

            Statistics: Num rows: 3 Data size: 101 Basic stats: COMPLETE Column stats: NONE

            HashTable Sink Operator

              keys:

                0 ip (type: string)

                1 ip (type: string)

  Stage: Stage-3

    Map Reduce

      Map Operator Tree:

          TableScan

            alias: a

            Statistics: Num rows: 1 Data size: 170 Basic stats: COMPLETE Column stats: NONE

            Map Join Operator

              condition map:

                   Left Outer Join0 to 1

              keys:

                0 ip (type: string)

                1 ip (type: string)

              outputColumnNames: _col0, _col10

              Statistics: Num rows: 3 Data size: 111 Basic stats: COMPLETE Column stats: NONE

              Select Operator

                expressions: _col0 (type: string), _col10 (type: string)

                outputColumnNames: _col0, _col1

                Statistics: Num rows: 3 Data size: 111 Basic stats: COMPLETE Column stats: NONE

                File Output Operator

                  compressed: false

                  Statistics: Num rows: 3 Data size: 111 Basic stats: COMPLETE Column stats: NONE

                  table:

                      input format: org.apache.hadoop.mapred.TextInputFormat

                      output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat

                      serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe

      Local Work:

        Map Reduce Local Work

  Stage: Stage-0

    Fetch Operator

      limit: -1

      Processor Tree:

        ListSink

Time taken: 0.168 seconds, Fetched: 56 row(s)

hive>

执行过程简析：

1. 执行各阶段依赖关系

2. Map Reduce Local Work，在刚才的原理说明中这一阶段应该是在与临时表做join时会有，事实表做join的步骤应该是MapReduce Local Task，但是试验发现2张事实表做join，也是生成Map Reduce Local Work，这一步最重要将小表读入内存生成HashTable，在生成HashTable的过程中确实有做压缩的操作；

3. 在Map阶段，Mapper开始顺序扫描大表，并与Hashtable做关联，将关联结果传递给下一个MapReduce任务；

试验二：大表做主表，与临时表做left join；

hive> explain

    > select a.ip

    >       ,b.req_url

    >   from weblog_b a

    >  inner join (select ip,req_url from weblog_c where time in ('600','900','1200')) b

    >     on a.ip=b.ip;

OK

STAGE DEPENDENCIES:

  Stage-4 is a root stage

  Stage-3 depends on stages: Stage-4

  Stage-0 depends on stages: Stage-3

STAGE PLANS:

  Stage: Stage-4

    Map Reduce Local Work

      Alias -> Map Local Tables:

        a 

          Fetch Operator

            limit: -1

      Alias -> Map Local Operator Tree:

        a 

          TableScan

            alias: a

            Statistics: Num rows: 1 Data size: 170 Basic stats: COMPLETE Column stats: NONE

            Filter Operator

              predicate: ip is not null (type: boolean)

              Statistics: Num rows: 1 Data size: 170 Basic stats: COMPLETE Column stats: NONE

              HashTable Sink Operator

                keys:

                  0 ip (type: string)

                  1 _col0 (type: string)

  Stage: Stage-3

    Map Reduce

      Map Operator Tree:

          TableScan

            alias: weblog_c

            Statistics: Num rows: 5 Data size: 165 Basic stats: COMPLETE Column stats: NONE

            Filter Operator

              predicate: ((time) IN ('600', '900', '1200') and ip is not null) (type: boolean)

              Statistics: Num rows: 1 Data size: 33 Basic stats: COMPLETE Column stats: NONE

              Select Operator

                expressions: ip (type: string), req_url (type: string)

                outputColumnNames: _col0, _col1

                Statistics: Num rows: 1 Data size: 33 Basic stats: COMPLETE Column stats: NONE

                Map Join Operator

                  condition map:

                       Inner Join 0 to 1

                  keys:

                    0 ip (type: string)

                    1 _col0 (type: string)

                  outputColumnNames: _col0, _col9

                  Statistics: Num rows: 1 Data size: 187 Basic stats: COMPLETE Column stats: NONE

                  Select Operator

                    expressions: _col0 (type: string), _col9 (type: string)

                    outputColumnNames: _col0, _col1

                    Statistics: Num rows: 1 Data size: 187 Basic stats: COMPLETE Column stats: NONE

                    File Output Operator

                      compressed: false

                      Statistics: Num rows: 1 Data size: 187 Basic stats: COMPLETE Column stats: NONE

                      table:

                          input format: org.apache.hadoop.mapred.TextInputFormat

                          output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat

                          serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe

      Local Work:

        Map Reduce Local Work

  Stage: Stage-0

    Fetch Operator

      limit: -1

      Processor Tree:

        ListSink

Time taken: 0.156 seconds, Fetched: 66 row(s)

hive>

执行过程简析：

1. 执行各阶段依赖关系

2. Map Reduce Local Work，与刚才的原理说明中这一阶段在与临时表做join时会有一致，这一步最重要将小表读入内存生成HashTable，在生成HashTable的过程中确实有做压缩的操作；

3. 在Map阶段，Mapper开始顺序扫描大表，并与Hashtable做关联，将关联结果传递给下一个MapReduce任务；

 

sakulamartain
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hive之Map Join使用方法
ImezZ
04-08 1万+
介绍 MAPJION会把小表全部加载到内存中，在map阶段直接拿另外一个表的数据和内存中表数据做匹配，由于在map端是进行了join操作，省去了reduce运行的时间，算是hive中的一种优化。 如上图中的流程，首先Task A在客户端本地执行，负责扫描小表b的数据，将其转换成一个HashTable的数据结构，并写入本地的文件中，之后将该文件加载到DistributeCache中。 接下来的Task B任务是一个没有Reduce的MapReduce，启动MapTasks扫描大表...
hive的map join原理
窗外的屋檐
03-28 5946
什么是MapJoin? MapJoin顾名思义，就是在Map阶段进行表之间的连接。而不需要进入到Reduce阶段才进行连接。这样就节省了在Shuffle阶段时要进行的大量数据传输。从而起到了优化作业的作用。 MapJoin的原理： 即在map 端进行join，其原理是broadcast join，即把小表作为一个完整的驱动表来进行join操作。通常情况下，要连接的各个表里面的数据会分布...
Hive中的mapjoin
刘瑞东的专栏
09-16 2380
1: 有一个极小的表 2: 需要做不等值join操作（a.x 这种操作如果直接使用join的话语法不支持不等于操作，hive语法解析会直接抛出错误 如果把不等于写到where里会造成笛卡尔积，数据异常增大，速度会很慢。甚至会任务无法跑成功~ 根据mapjoin的计算原理，MAPJION会把小表全部读入内存中，在map阶段直接拿另外一个表的数据和内存中表数据做匹配。这种情况
hive mapjoin使用
热门推荐
xqy1522的专栏
08-18 5万+
今天遇到一个hive的问题，如下hive sql： select f.a,f.b from A t join B f  on ( f.a=t.a and f.ftime=20110802)  该语句中B表有30亿行记录，A表只有100行记录，而且B表中数
hive map join
weixin_47699191的博客
07-29 258
hive map join map join 默认开启 不管大小表放左边还是右边,自动将小表放入内存,然后在map端顺序扫描大表跟内存中的数据进行join a 大表 user_id oid 0001,B 0001,A 0002,C 0003,D 0001,E 0001,F 0004,W 0001,Z b 小表 user_id name 0001,王 0002,刘 0003,赵 0004,高 sql select a.user_id, a.oid, b.name from a join b on a.u
Hive Map Join
lavimer
01-29 2691
Hive中的Map Join即map side join工作原理是在Map端把小表加载到内存中，然后读取大表，和内存中的小表完成连接操作。MapJoin使用了分布式缓存技术。 Map Join的优点： 1.不消耗集群的reduce资源。 2.减少了reduce操作，加快了程序执行。 3.降低网络负载。 Map Join的缺点： 1.占用内存(所以加载到内存中的表不能过大，因为每个计算节
Hive 的 map join
a45691316的博客
07-01 69
Hive 的 map join 学习自http://blog.csdn.net/xqy1522/article/details/6699740 1. Map Join 的使用场景： 关联操作中有一张表非常小 不等值的链接操作 2. 语法： ...
hive-mapJoin
大白
03-25 457
巧用MapJoin解决数据倾斜的问题： Hive的MapJoin理解：    join的操作是在map阶段完成后，如果需要的数据在map的过程中可以访问到则就不再需要reduce了。 例如：  小表关联一个超大表时，容易发生数据倾斜，可以使用Mapjoin把小表全部加载到内存，在map端进行join,避免reduce处理代码：select c.channel_name,count(t.reques...
Hive-mapjoin
weixin_42177380的博客
06-03 252
hive的高级查询 设置mapjoin二种方式 第一种： set hive.auto.convert.join=true; 第二种查询时： select /*+mapjoin(n)*/ age from table1 join on xx=xx; 建表： create table test1(cookieid string,cookietime string,pv int); 测试数据： ...
Hive优化--Map Join
yyGeek的博客
03-09 425
适用场景：大表join小表Map Join算法可以通过两个只有map阶段的Job完成一个join操作。
hive之mapjoin
weixin_36630761的博客
12-11 2480
hive 的mapjoin起作用了我们如何确定？ 只是inner join 的时候 看日志吧，最为直观： 2021-12-10 12:05:41 Starting to launch local task to process map join; maximum memory = 954728448 2021-12-10 12:05:44 Processing rows: 200000 Hashtable size: 199999 Memory usage: 135058920 percentage:
HIVE调优之MapJoin
weixin_30716725的博客
08-26 192
如果不指定MapJoin或者不符合MapJoin的条件，那么Hive解析器会将Join操作转换成Common Join，即：在Reduce阶段完成join。容易发生数据倾斜。可以用MapJoin把小表全部加载到内存在map端进行join，避免reducer处理 开启MapJoin参数设置 设置自动选择Mapjoin（ 默认为true）：set hive.a...
Hive Map Join 原理
hellojoy的博客
01-27 534
https://cloud.tencent.com/developer/article/1481780 1. Join如何运行 首先，让我们讨论一下 Join 如何在Hive中运行。Common Join 操作如图1所示被编译为 MapReduce 任务。Common Join 任务涉及 Map 阶段和 Reduce 阶段。Mapper 从连接表中读取数据并将连接的 key 和连接的 value 键值对输出到中间文件中。Hadoop 在所谓的 shuffle 阶段对这些键值对进行排序和合并。Reduce
Hive中MapJoin的原理和机制
ych0112xzz的博客
07-24 8563
笼统的说，Hive中的Join可分为Common Join（Reduce阶段完成join）和Map Join（Map阶段完成join）。本文简单介绍一下两种join的原理和机制。 1 Hive Common Join 如果不指定MapJoin或者不符合MapJoin的条件，那么Hive解析器会将Join操作转换成Common Join,即：在Reduce阶段完成join. 整个过程包含Ma...
hive的MapJoin机制
Inner Peace
09-12 8903
什么是MapJoin? MapJoin顾名思义，就是在Map阶段进行表之间的连接。而不需要进入到Reduce阶段才进行连接。这样就节省了在Shuffle阶段时要进行的大量数据传输。从而起到了优化作业的作用。 MapJoin的原理： 即在map 端进行join，其原理是broadcast join，即把小表作为一个完整的驱动表来进行join操作。通常情况下，要连接的各个表里面的数据会分布在不同
【Hive】性能调优 - Map JOIN
最新发布
qq_40382400的博客
06-03 720
map-side JOIN可以省掉reduce过程，从而提高Hive效率；Hive 0.11.0版本后，默认开启自动map-side JOIN优化，我们需要合理调整hive.auto.convert.join.noconditionaltask.size参数值。
Hive优化之Mapjoin
异乡流狼
11-28 1034
一、场景 MapJoin是Hive的一种优化操作，其适用于小表JOIN大表的场景，由于表的JOIN操作是在Map端且在内存进行的，所以其并不需要启动Reduce任务也就不需要经过shuffle阶段，从而能在一定程度上节省资源提高JOIN效率。 二、使用 2.1 Hive v0.7 之前通过在查询语句中增加一个标记进行触发： SELECT /*+ MAPJOIN(smalltable)*/ sma...
Hive mapjoin使用
lquarius的博客
07-31 8708
方法一 set hive.auto.convert.join = true; --是否开自动mapjoin set hive.mapjoin.smalltable.filesize;--mapjoin的表size大小 以上两个参数同时使用，在hive.auto.convert.join为true时，只要小表size小于hive.mapjoin.smalltable.filesize的设置值，并且小表不是关联操作的最后一张表，小表就会走mapjoin。 set hive.auto.conve...
Hive 3种map join
炼数成器
09-02 2212
3种map join
说下Hive 中join的运行原理
成功唯有积累，没有奇迹。
02-09 1851
Hive中Join的运行原理、运行过程
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值