Map join和Common join详解

最新推荐文章于 2023-10-16 21:20:26 发布
最新推荐文章于 2023-10-16 21:20:26 发布
阅读量1.4w 收藏 31
点赞数 8
分类专栏： hive 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39216383/article/details/79043299
版权

利用hive进行join连接操作，相较于MR有两种执行方案，一种为common join，另一种为map join ，map join是相对于common join的一种优化，省去shullfe和reduce的过程，大大的降低的作业运行的时间。
一.先决条件

  • emp表
hive> select * from emp;
OK
369 SMITH   CLERK   7902    1980-12-17 00:00:00 800.0   NULL    20
7499    ALLEN   SALESMAN    7698    1981-02-20 00:00:00 1600.0  300.0   30
7521    WARD    SALESMAN    7698    1981-02-22 00:00:00 1250.0  500.0   30
7566    JONES   MANAGER 7839    1981-04-02 00:00:00 2975.0  NULL    20
7654    MARTIN  SALESMAN    7698    1981-09-28 00:00:00 1250.0  1400.0  30
7698    BLAKE   MANAGER 7839    1981-05-01 00:00:00 2850.0  NULL    30
7782    CLARK   MANAGER 7839    1981-06-09 00:00:00 2450.0  NULL    10
7788    SCOTT   ANALYST 7566    1982-12-09 00:00:00 3000.0  NULL    20
7839    KING    PRESIDENT   NULL    1981-11-17 00:00:00 5000.0  NULL    10
7844    TURNER  SALESMAN    7698    1981-09-08 00:00:00 1500.0  0.0 30
7876    ADAMS   CLERK   7788    1983-01-12 00:00:00 1100.0  NULL    20
7900    JAMES   CLERK   7698    1981-12-03 00:00:00 950.0   NULL    30
7902    FORD    ANALYST 7566    1981-12-03 00:00:00 3000.0  NULL    20
7934    MILLER  CLERK   7782    1982-01-23 00:00:00 1300.0  NULL    10
Time taken: 0.161 seconds, Fetched: 14 row(s)

dept表

hive> select * from dept;
OK
10  ACCOUNTING  NEW YORK
20  RESEARCH    DALLAS
30  SALES   CHICAGO
40  OPERATIONS  BOSTON
Time taken: 0.185 seconds, Fetched: 4 row(s)

二.具体实现
1.common join

  • 架构图
    这里写图片描述

两个map作业读取两张表，归并为emp:

deptno, (e.empno, e.ename)
dept: deptno, (d.dname)

的格式，然后经由reducer合并。最后能获取到join的连接结果。

  • 执行计划
STAGE DEPENDENCIES:
  Stage-1 is a root stage
  Stage-0 depends on stages: Stage-1

STAGE PLANS:
  Stage: Stage-1
    Map Reduce
      Map Operator Tree:
          TableScan
            alias: e
            Statistics: Num rows: 7 Data size: 820 Basic stats: COMPLETE Column stats: NONE
            Filter Operator
              predicate: deptno is not null (type: boolean)
              Statistics: Num rows: 4 Data size: 468 Basic stats: COMPLETE Column stats: NONE
              Reduce Output Operator
                key expressions: deptno (type: int)
                sort order: +
                Map-reduce partition columns: deptno (type: int)
                Statistics: Num rows: 4 Data size: 468 Basic stats: COMPLETE Column stats: NONE
                value expressions: empno (type: int), ename (type: string)
          TableScan
            alias: d
            Statistics: Num rows: 1 Data size: 80 Basic stats: COMPLETE Column stats: NONE
            Filter Operator
              predicate: deptno is not null (type: boolean)
              Statistics: Num rows: 1 Data size: 80 Basic stats: COMPLETE Column stats: NONE
              Reduce Output Operator
                key expressions: deptno (type: int)
                sort order: +
                Map-reduce partition columns: deptno (type: int)
                Statistics: Num rows: 1 Data size: 80 Basic stats: COMPLETE Column stats: NONE
                value expressions: dname (type: string)
      Reduce Operator Tree:
        Join Operator
          condition map:
               Inner Join 0 to 1
          keys:
            0 deptno (type: int)
            1 deptno (type: int)
          outputColumnNames: _col0, _col1, _col7, _col12
          Statistics: Num rows: 4 Data size: 514 Basic stats: COMPLETE Column stats: NONE
          Select Operator
            expressions: _col0 (type: int), _col1 (type: string), _col7 (type: int), _col12 (type: string)
            outputColumnNames: _col0, _col1, _col2, _col3
            Statistics: Num rows: 4 Data size: 514 Basic stats: COMPLETE Column stats: NONE
            File Output Operator
              compressed: false
              Statistics: Num rows: 4 Data size: 514 Basic stats: COMPLETE Column stats: NONE
              table:
                  input format: org.apache.hadoop.mapred.TextInputFormat
                  output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
                  serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe

  Stage: Stage-0
    Fetch Operator
      limit: -1
      Processor Tree:
        ListSink
  • 详解
    1. 读取一张emp表的过程，另一张表以此类推
TableScan
            alias: e
            Statistics: Num rows: 7 Data size: 820 Basic stats: COMPLETE Column stats: NONE
            Filter Operator
              predicate: deptno is not null (type: boolean)
              Statistics: Num rows: 4 Data size: 468 Basic stats: COMPLETE Column stats: NONE
              Reduce Output Operator
                key expressions: deptno (type: int)//键值对的键
                sort order: +
                Map-reduce partition columns: deptno (type: int)
                Statistics: Num rows: 4 Data size: 468 Basic stats: COMPLETE Column stats: NONE
                value expressions: empno (type: int), ename (type: string)//键值对中的值

2.reduce端join

 Reduce Operator Tree:
        Join Operator
          condition map:
               Inner Join 0 to 1
          keys:
            0 deptno (type: int)//连接条件，两个字段
            1 deptno (type: int)
          outputColumnNames: _col0, _col1, _col7, _col12//输出位置号
          Statistics: Num rows: 4 Data size: 514 Basic stats: COMPLETE Column stats: NONE
          Select Operator
            expressions: _col0 (type: int), _col1 (type: string), _col7 (type: int), _col12 (type: string)//输出类型
            outputColumnNames: _col0, _col1, _col2, _col3
            Statistics: Num rows: 4 Data size: 514 Basic stats: COMPLETE Column stats: NONE
            File Output Operator
              compressed: false
              Statistics: Num rows: 4 Data size: 514 Basic stats: COMPLETE Column stats: NONE
              table:
                  input format: org.apache.hadoop.mapred.TextInputFormat
                  output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
                  serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe

3.结束

Stage: Stage-0
    Fetch Operator
      limit: -1
      Processor Tree:
        ListSink

2.map join

  • 架构图
    这里写图片描述

首先在本地生成一个local task 读取比较小的表dept，然后将表写入Hash Table Files ，上传到HDFS的缓存中，然后启动一个map作业，每读取一条数据，就与缓存中的小表进行join操作，直至整个大表读取结束。

  • 执行计划
 STAGE DEPENDENCIES:
  Stage-4 is a root stage
  Stage-3 depends on stages: Stage-4
  Stage-0 depends on stages: Stage-3

STAGE PLANS:
  Stage: Stage-4
    Map Reduce Local Work
      Alias -> Map Local Tables:
        d 
          Fetch Operator
            limit: -1
      Alias -> Map Local Operator Tree:
        d 
          TableScan
            alias: d
            Statistics: Num rows: 1 Data size: 80 Basic stats: COMPLETE Column stats: NONE
            Filter Operator
              predicate: deptno is not null (type: boolean)
              Statistics: Num rows: 1 Data size: 80 Basic stats: COMPLETE Column stats: NONE
              HashTable Sink Operator
                keys:
                  0 deptno (type: int)
                  1 deptno (type: int)

  Stage: Stage-3
    Map Reduce
      Map Operator Tree:
          TableScan
            alias: e
            Statistics: Num rows: 7 Data size: 820 Basic stats: COMPLETE Column stats: NONE
            Filter Operator
              predicate: deptno is not null (type: boolean)
              Statistics: Num rows: 4 Data size: 468 Basic stats: COMPLETE Column stats: NONE
              Map Join Operator
                condition map:
                     Inner Join 0 to 1
                keys:
                  0 deptno (type: int)
                  1 deptno (type: int)
                outputColumnNames: _col0, _col1, _col7, _col12
                Statistics: Num rows: 4 Data size: 514 Basic stats: COMPLETE Column stats: NONE
                Select Operator
                  expressions: _col0 (type: int), _col1 (type: string), _col7 (type: int), _col12 (type: string)
                  outputColumnNames: _col0, _col1, _col2, _col3
                  Statistics: Num rows: 4 Data size: 514 Basic stats: COMPLETE Column stats: NONE
                  File Output Operator
                    compressed: false
                    Statistics: Num rows: 4 Data size: 514 Basic stats: COMPLETE Column stats: NONE
                    table:
                        input format: org.apache.hadoop.mapred.TextInputFormat
                        output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
                        serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
      Local Work:
        Map Reduce Local Work

  Stage: Stage-0
    Fetch Operator
      limit: -1
      Processor Tree:
        ListSink

Time taken: 0.191 seconds, Fetched: 62 row(s)
  • 详解
    1.将启用本地MR读取小表
 Map Reduce Local Work
      Alias -> Map Local Tables:
        d 
          Fetch Operator
            limit: -1
      Alias -> Map Local Operator Tree:
        d 
          TableScan
            alias: d
            Statistics: Num rows: 1 Data size: 80 Basic stats: COMPLETE Column stats: NONE
            Filter Operator
              predicate: deptno is not null (type: boolean)
              Statistics: Num rows: 1 Data size: 80 Basic stats: COMPLETE Column stats: NONE

2.写入哈希表文件

 HashTable Sink Operator
                keys:
                  0 deptno (type: int)
                  1 deptno (type: int)

3.上传到Hadoop缓存中（执行计划不可见该步骤，可由日志看见）

 2018-01-11 10:30:28    Uploaded 1 File to: file:/tmp/hadoop/aedaa8e1-17a9-4211-86b1-79debe362aba/hive_2018-01-11_22-30-12_222_6099353227386611286-1/-local-10004/HashTable-Stage-4/MapJoin-mapfile32--.hashtable (373 bytes)

4.执行一个map作业，读取大表，并与缓存中的小表连接操作

 Stage: Stage-3
    Map Reduce
      Map Operator Tree:
          TableScan
            alias: e
            Statistics: Num rows: 7 Data size: 820 Basic stats: COMPLETE Column stats: NONE
            Filter Operator
              predicate: deptno is not null (type: boolean)
              Statistics: Num rows: 4 Data size: 468 Basic stats: COMPLETE Column stats: NONE
              Map Join Operator
                condition map:
                     Inner Join 0 to 1
                keys:
                  0 deptno (type: int)
                  1 deptno (type: int)
                outputColumnNames: _col0, _col1, _col7, _col12
                Statistics: Num rows: 4 Data size: 514 Basic stats: COMPLETE Column stats: NONE
                Select Operator
                  expressions: _col0 (type: int), _col1 (type: string), _col7 (type: int), _col12 (type: string)
                  outputColumnNames: _col0, _col1, _col2, _col3
                  Statistics: Num rows: 4 Data size: 514 Basic stats: COMPLETE Column stats: NONE
                  File Output Operator
                    compressed: false
                    Statistics: Num rows: 4 Data size: 514 Basic stats: COMPLETE Column stats: NONE
                    table:
                        input format: org.apache.hadoop.mapred.TextInputFormat
                        output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
                        serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
      Local Work:
        Map Reduce Local Work

5.结束

Stage: Stage-0
    Fetch Operator
      limit: -1
      Processor Tree:
        ListSink

三.实验结果

hive> select e.empno,e.ename,e.deptno, d.dname
    > from emp e join dept d on e.deptno=d.deptno;
Query ID = hadoop_20180111202424_2a1594f6-ef46-4a99-a85d-4a4cc82e1b9c
Total jobs = 1
18/01/12 00:08:18 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Execution log at: /tmp/hadoop/hadoop_20180111202424_2a1594f6-ef46-4a99-a85d-4a4cc82e1b9c.log
2018-01-12 12:08:21 Starting to launch local task to process map join;  maximum memory = 518979584
2018-01-12 12:08:24 Dump the side-table for tag: 1 with group count: 4 into file: file:/tmp/hadoop/aedaa8e1-17a9-4211-86b1-79debe362aba/hive_2018-01-12_00-08-10_896_8719990077853360918-1/-local-10003/HashTable-Stage-3/MapJoin-mapfile51--.hashtable
2018-01-12 12:08:24 Uploaded 1 File to: file:/tmp/hadoop/aedaa8e1-17a9-4211-86b1-79debe362aba/hive_2018-01-12_00-08-10_896_8719990077853360918-1/-local-10003/HashTable-Stage-3/MapJoin-mapfile51--.hashtable (373 bytes)
2018-01-12 12:08:24 End of local task; Time Taken: 2.59 sec.
Execution completed successfully
MapredLocal task succeeded
Launching Job 1 out of 1
Number of reduce tasks is set to 0 since there's no reduce operator
Starting Job = job_1515720212312_0005, Tracking URL = http://hadoop:8088/proxy/application_1515720212312_0005/
Kill Command = /home/hadoop/app/hadoop-2.6.0-cdh5.7.0/bin/hadoop job  -kill job_1515720212312_0005
Hadoop job information for Stage-3: number of mappers: 1; number of reducers: 0
2018-01-12 00:08:39,954 Stage-3 map = 0%,  reduce = 0%
2018-01-12 00:08:53,406 Stage-3 map = 100%,  reduce = 0%, Cumulative CPU 2.59 sec
MapReduce Total cumulative CPU time: 2 seconds 590 msec
Ended Job = job_1515720212312_0005
MapReduce Jobs Launched: 
Stage-Stage-3: Map: 1   Cumulative CPU: 2.59 sec   HDFS Read: 6800 HDFS Write: 309 SUCCESS
Total MapReduce CPU Time Spent: 2 seconds 590 msec
OK
369 SMITH   20  RESEARCH
7499    ALLEN   30  SALES
7521    WARD    30  SALES
7566    JONES   20  RESEARCH
7654    MARTIN  30  SALES
7698    BLAKE   30  SALES
7782    CLARK   10  ACCOUNTING
7788    SCOTT   20  RESEARCH
7839    KING    10  ACCOUNTING
7844    TURNER  30  SALES
7876    ADAMS   20  RESEARCH
7900    JAMES   30  SALES
7902    FORD    20  RESEARCH
7934    MILLER  10  ACCOUNTING
Time taken: 43.697 seconds, Fetched: 14 row(s)

之所以会出现两种方式，就是一个hive的调优参数

set hive.auto.convert.join = true;
若为false，则为common join
若为true，则为map join

若泽大数据交流群：671914634

逗点儿
关注
  • 8
    点赞
  • 踩
  • 31
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop Join代码（map join 和reduce join）
12-10
展示使用MR方式实现表连接的代码示例。利用HIVE PIG之类的高层工具也可以实现，本代码旨在展示手工连接的流程
joinmap4.0
11-15
遗传连锁数据分析软件，可用于农林牧等领域遗传图谱的构建和分析，好用。
19、Join操作map side join 和 reduce side join
05-29
19、Join操作map side join 和 reduce side join 网址：https://blog.csdn.net/chenwewi520feng/article/details/130455477 本文介绍mapreduce的join操作。 本文前提是hadoop可以正常使用。 本文分为3个部分介绍，即join的介绍、map side join和reduce side join。
hive 中join和Group的优化
01-07
group by 优化 set hive.map.aggr = true; //是否在 Map 端进行聚合，默认为 True ；该设置会消耗更多的内存。 set hive.groupby.mapaggr.checkinterval = 100000000; //在 Map 端进行聚合操作的条目数目 set hive.groupby.skewindata = true; //解决数据倾斜的万能钥匙 当map阶段运行不了的时候，可以设置 set hive.map.aggr = false; 说明 设置hive.map.aggr=true，提高HiveQL聚合的执行性能。 set hive.ma
map构造和赋值map构造和赋值
10-15
map构造和赋值操作
hive中Common Join 和Map Join的机制（例子详解）
dingchangxiu11的博客
12-25 2087
笼统的说，Hive中的Join可分为Common Join（Reduce阶段完成join）和Map Join（Map阶段完成join）。本文简单介绍一下两种join的原理和机制。 一 .Hive Common Join 如果不指定MapJoin或者不符合MapJoin的条件，那么Hive解析器会将Join操作转换成Common Join,即：在Reduce阶段完成join. 整个过程包含Map、S...
hive common join &map join
frash_ka的博客
02-26 544
join的种类 hive的join主要分为两类，一个是在reduce阶段完成的common join，另一个是在map阶段完成的map join。 common join 的简介 使用场景：当未设置map join 或者map join 不满足需求的适合，会自动转为common join 实现过程map阶段： 1：组建关联键组（一个关联键的时候单个key，多个关联键的时候拼成一个组合） 2：列筛选，选择需要的列，并带上表的标签，用以判断字段属于哪张表 3：二次排序，partition排序 决定reduce处
大数据学习(12)-join优化common join
最新发布
weixin_61006262的博客
10-16 220
Hive拥有多种join算法，包括Common Join，Map Join，Bucket Map Join，Sort Merge Buckt Map Join等，下面对每种join算法做简要说明：1）Common JoinCommon Join是Hive中最稳定的join算法，其通过一个MapReduce Job完成一个join操作。Map端负责读取join操作所需表的数据，并按照关联字段进行分区，通过Shuffle，将其发送到Reduce端，相同key的数据在Reduce端完成最终的Join操作。如下图所
hive中的join相关的优化
qq_42456324的博客
04-20 3502
1、mapjoin 顾明思议，mapJoin的意思就是，当链接的两个表是一个比较小的表和一个特别大的表的时候，我们把比较小的table直接放到内存中去，然后再对比较大的表格进行map操作(执行mr过程的map操作)。join就发生在map操作的时候，每当扫描一个大的table中的数据，就要去去查看小表的数据，哪条与之相符，继而进行连接。这里的join会在map阶段完成，仅仅是在内存就进行了两个表的join，并不会涉及reduce操作。map端join的优势就是在于没有shuffle，从而提高效率。在实际的
纯干货！15000 字语法手册分享给你，看完搞懂，再也不担心SQL写不好了
民工哥的博客
08-27 705
点击上方“民工哥技术之路”，选择“设为星标”回复“1024”获取独家整理的学习资料！一、基础1、创建数据库CREATEDATABASEdatabase-name 2、删除数据库dro...
Hive中Join的使用入门 & Common Join与Map Join原理深度剖析
呼呼的小窝
10-14 2494
Hive中Join的使用入门与实际操作；Common Join与Map Join的原理剖析
hive join vs mapjoin 的原理对比
潇洒人生的博客
04-19 1238
hive 中 join mapjoin 结合mr 已及 sql执行计划查看 执行流程
【Hive】Hive中的MapJoin，CommonJoin，SMBJoin详细介绍
一个写湿的程序猿
08-04 2255
Hive-窗口函数，详细分析，案例实践 文章目录Hive-窗口函数，详细分析，案例实践窗口函数介绍窗口函数分析案例实践一案例实践二 窗口函数介绍 LEAD(col,n, default_val)：表示往后第n行数据，col是字段，n表示第几行，default_val 如果没有往后第n行则用默认值代替 LAG(col,n,default_val)：表示往前第n行数据，col是字段，n表示第几行，default_val 如果没有往前第n行则用默认值代替 FIRST_VALUE (col,true/false)：
Map join和reduce join的区别
weixin_50034171的博客
12-08 2388
MapJoin和ReduceJoin区别及优化 1 Map-side Join（Broadcast join） 思想： 小表复制到各个节点上，并加载到内存中；大表分片，与小表完成连接操作。 两份数据中，如果有一份数据比较小，小数据全部加载到内存，按关键字建立索引。大...
access inner join 数据类型不匹配_SQL优化（一）：MySQL多表查询FROM和JOIN的用法与性能优化...
weixin_39664477的博客
11-21 206
一、概述from和join均是用于指定需要从哪些表查询数据，from可以是一个表或多个表，如果是多个表则是生成一个笛卡尔集，会涉及到大量数据。所以通常在涉及到多个表的查询时，通常通过join来拼接多个表。join主要是通过多个表之间的外键关联来进行拼接，注意用于拼接的列需要加上索引，如果没有则MySQL也会默认加上，不过前提是外键列和引用的主键列需要是相同的数据类型，如数字类型需要是相同的长度和均...
【大数据之Hive】二十二、HQL语法优化之Join优化
阿宁的博客
07-13 403
Map Join算法可以通过两个只有map阶段的Job完成一个join操作。适用于大表join小表。第一个Job会读取小表数据，将其制作为hash table，并上传至Hadoop分布式缓存（本质上是上传至HDFS）。第二个Job会先从分布式缓存中读取小表数据，并缓存在Map Task的内存中，然后扫描大表数据，在map端即可完成关联操作。Bucket Map Join是对Map Join算法的改进，其打破了Map Join只适用于大表join小表的限制，可用于大表join大表的场景。
【Hive】Hive的三种Join方式
beautiful_huang的博客
02-03 1425
Hive中的join可分为三种，分别是Map-join、Reduce-join和SMB Join，本文简单介绍这三种join的原理和机制。 1.Map-join MapJoin的主要意思就是，当链接的两个表是一个比较小的表和一个特别大的表的时候，我们把比较小的table直接放到内存中去，然后再对比较大的表格进行map操作。join就发生在map操作的时候，每当扫描一个大的table中的数据...
Hive的mapjoin原理与参数说明
xiaozhaoshigedasb的博客
04-01 5614
一、 Map Join原理 Map Join介绍 MapJoin顾名思义，就是在Map阶段进行表之间的连接，map阶段直接拿另外一个表的数据和内存中表数据做匹配。而不需要进入到Reduce阶段才进行连接。这样就节省了在Shuffle阶段时要进行的大量数据传输。从而起到了优化作业的作用。通常用于一个很小的表和一个大表进行join的场景。 MapJoin的原理及过程 执行过程如上图： 首先是在...
mapjoin和reducejoin和SMBjoin
04-28
MapJoin适用于小表和大表进行Join操作的场景。MapJoin的优点是简单、高效，缺点是当小表太大时，会产生较高的网络开销，而且需要占用大量的内存。 2. ReduceJoin: 又叫作Shuffle Join，是将两个表的数据都发送到...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值