hive之mapjoin

最新推荐文章于 2024-02-20 22:15:00 发布
最新推荐文章于 2024-02-20 22:15:00 发布
阅读量2.4k 收藏 4
点赞数 1
分类专栏： hive 文章标签： hive hadoop 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_36630761/article/details/121853242
版权

一：该如何使其生效：

  • set hive.auto.convert.join = true;  --是否开自动mapjoin
  • set hive.mapjoin.smalltable.filesize;   --mapjoin的表size大小

两个同时设置。具体的 filesize 量力而行，默认我记得好像使25m 很多帖子上的奇怪语法你也不用去看，都是老掉牙的东西了，比如：/*+ mapjoin(A)*/，除非你的hive版本很低，否则根本用不上。

还有一个：set hive.ignore.mapjoin.hint=true; 这个的话我觉得咩有必要。集群本身也是有参数设置的，且运维是有考量的。即使这么干了也不一定就会生效。走常规的方式即可。适当的调整hive.mapjoin.smalltable.filesize 这个值的大小。其实这个本身就是对小表来说的，但是大小是相对的，你如果有一个500g的表和一个50g的小表关联，你放内存真不一定就合适。个人建议1g以下的可以考虑，太大的话就没必要了。

二：hive 的mapjoin起作用了我们如何确定？

  • 只是inner join 的时候

看日志吧，最为直观：

2021-12-10 12:05:41	Starting to launch local task to process map join;	maximum memory = 954728448
2021-12-10 12:05:44	Processing rows:	200000	Hashtable size:	199999	Memory usage:	135058920	percentage:	0.141
2021-12-10 12:05:44	Dump the side-table into file: file:/tmp/hive_2021-12-10_11-47-34_913_2061727660300134431-1/-local-10007/HashTable-Stage-13/MapJoin-mapfile10--.hashtable
2021-12-10 12:05:44	Uploaded 1 File to: file:/tmp/hive_2021-12-10_11-47-34_913_2061727660300134431-1/-local-10007/HashTable-Stage-13/MapJoin-mapfile10--.hashtable (3517 bytes)
2021-12-10 12:05:44	Dump the side-table into file: file:/tmp/hive_2021-12-10_11-47-34_913_2061727660300134431-1/-local-10007/HashTable-Stage-13/MapJoin-mapfile12--.hashtable
2021-12-10 12:05:44	Uploaded 1 File to: file:/tmp/hive_2021-12-10_11-47-34_913_2061727660300134431-1/-local-10007/HashTable-Stage-13/MapJoin-mapfile12--.hashtable (8683158 bytes)
2021-12-10 12:05:44	End of local task; Time Taken: 3.034 sec.
Execution completed successfully

 关键点：

  1. Starting to launch local task to process map join; 这个说的够直白了吧
  2. Uploaded 1 File to: file:/tmp/hive_2021-12-10_11-47-34_913_2061727660300134431-1/-local-10007/HashTable-Stage-13/MapJoin-mapfile10--.hashtable    hashtable 
  3. end of local task  
  4. 起一个local task 映射成一个hashtable 

补充一下：

我发现其实left join 在满足条件的时候也是会走mapjoin的。

STAGE DEPENDENCIES:
  Stage-9 is a root stage , consists of Stage-11, Stage-1
  Stage-11 has a backup stage: Stage-1
  Stage-8 depends on stages: Stage-11
  Stage-7 depends on stages: Stage-1, Stage-8 , consists of Stage-10, Stage-2
  Stage-10 has a backup stage: Stage-2
  Stage-6 depends on stages: Stage-10
  Stage-3 depends on stages: Stage-2, Stage-6
  Stage-2
  Stage-1
  Stage-0 is a root stage

STAGE PLANS:
  Stage: Stage-9
    Conditional Operator

  Stage: Stage-11
    Map Reduce Local Work
      Alias -> Map Local Tables:
        t_2:temp_sjs_interact_cf_top10_t1 --21.3m
          Fetch Operator
            limit: -1
      Alias -> Map Local Operator Tree:
        t_2:temp_sjs_interact_cf_top10_t1
          TableScan
            alias: temp_sjs_interact_cf_top10_t1
            Filter Operator
              predicate: sjs_r is not null (type: boolean)
              Select Operator
                expressions: uid (type: string), inter_type (type: string), sjs_r (type: string), level_cf (type: string)
                outputColumnNames: _col0, _col1, _col2, _col3
                HashTable Sink Operator
                  condition expressions:
                    0 {_col0} {_col1} {_col2} {_col3}
                    1 {_col2}
                  keys:
                    0 _col0 (type: string), _col2 (type: string), _col1 (type: string)
                    1 _col0 (type: string), _col3 (type: string), _col1 (type: string)

  Stage: Stage-8
    Map Reduce
      Map Operator Tree:
          TableScan
            alias: temp_sjs_interact_cf_top10_t2
            Select Operator
              expressions: uid (type: string), inter_type (type: string), level_cf (type: string), cnt (type: string)
              outputColumnNames: _col0, _col1, _col2, _col3
              Map Join Operator
                condition map:
                     Left Outer Join0 to 1
                condition expressions:
                  0 {_col0} {_col1} {_col2} {_col3}
                  1 {_col2}
                keys:
                  0 _col0 (type: string), _col2 (type: string), _col1 (type: string)
                  1 _col0 (type: string), _col3 (type: string), _col1 (type: string)
                outputColumnNames: _col0, _col1, _col2, _col3, _col6
                File Output Operator
                  compressed: false
                  table:
                      input format: org.apache.hadoop.mapred.SequenceFileInputFormat
                      output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
                      serde: org.apache.hadoop.hive.serde2.lazybinary.LazyBinarySerDe
      Local Work:
        Map Reduce Local Work

  Stage: Stage-7
    Conditional Operator

  Stage: Stage-10
    Map Reduce Local Work
      Alias -> Map Local Tables:
        t_3:ods_user_base_info
          Fetch Operator
            limit: -1
      Alias -> Map Local Operator Tree:
        t_3:ods_user_base_info
          TableScan
            alias: ods_user_base_info
            Select Operator
              expressions: uid (type: string), nick (type: string)
              outputColumnNames: _col0, _col1
              HashTable Sink Operator
                condition expressions:
                  0 {_col6} {_col0} {_col1} {_col2} {_col3}
                  1 {_col1}
                keys:
                  0 _col0 (type: string)
                  1 _col0 (type: string)

  Stage: Stage-6
    Map Reduce
      Map Operator Tree:
          TableScan
            Map Join Operator
              condition map:
                   Left Outer Join0 to 1
              condition expressions:
                0 {_col6} {_col0} {_col1} {_col2} {_col3}
                1 {_col1}
              keys:
                0 _col0 (type: string)
                1 _col0 (type: string)
              outputColumnNames: _col2, _col4, _col5, _col6, _col7, _col9
              Select Operator
                expressions: _col4 (type: string), _col9 (type: string), _col5 (type: string), _col6 (type: string), _col7 (type: string), _col2 (type: string)
                outputColumnNames: _col4, _col9, _col5, _col6, _col7, _col2
                Group By Operator
                  keys: _col4 (type: string), _col9 (type: string), _col5 (type: string), _col6 (type: string), _col7 (type: string), _col2 (type: string)
                  mode: hash
                  outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5
                  File Output Operator
                    compressed: false
                    table:
                        input format: org.apache.hadoop.mapred.SequenceFileInputFormat
                        output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
                        serde: org.apache.hadoop.hive.serde2.lazybinary.LazyBinarySerDe
      Local Work:
        Map Reduce Local Work

  Stage: Stage-3
    Map Reduce
      Map Operator Tree:
          TableScan
            Reduce Output Operator
              key expressions: _col0 (type: string), _col1 (type: string), _col2 (type: string), _col3 (type: string), _col4 (type: string), _col5 (type: string)
              sort order: ++++++
              Map-reduce partition columns: _col0 (type: string), _col1 (type: string), _col2 (type: string), _col3 (type: string), _col4 (type: string), _col5 (type: string)
              Statistics: Num rows: 1598946560 Data size: 319789301760 Basic stats: COMPLETE Column stats: NONE
      Reduce Operator Tree:
        Group By Operator
          keys: KEY._col0 (type: string), KEY._col1 (type: string), KEY._col2 (type: string), KEY._col3 (type: string), KEY._col4 (type: string), KEY._col5 (type: string)
          mode: mergepartial
          outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5
          Statistics: Num rows: 799473280 Data size: 159894650880 Basic stats: COMPLETE Column stats: NONE
          Select Operator
            expressions: _col0 (type: string), _col1 (type: string), _col2 (type: string), _col3 (type: string), _col4 (type: string), _col5 (type: string)
            outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5
            Statistics: Num rows: 799473280 Data size: 159894650880 Basic stats: COMPLETE Column stats: NONE
            File Output Operator
              compressed: false
              Statistics: Num rows: 799473280 Data size: 159894650880 Basic stats: COMPLETE Column stats: NONE
              table:
                  input format: org.apache.hadoop.mapred.TextInputFormat
                  output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
                  serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe

  Stage: Stage-2
    Map Reduce
      Map Operator Tree:
          TableScan
            Reduce Output Operator
              key expressions: _col0 (type: string)
              sort order: +
              Map-reduce partition columns: _col0 (type: string)
              Statistics: Num rows: 30685 Data size: 12274456 Basic stats: COMPLETE Column stats: NONE
              value expressions: _col6 (type: string), _col0 (type: string), _col1 (type: string), _col2 (type: string), _col3 (type: string)
          TableScan
            alias: ods_user_base_info
            Statistics: Num rows: 1453587694 Data size: 290717538880 Basic stats: COMPLETE Column stats: NONE
            Select Operator
              expressions: uid (type: string), nick (type: string)
              outputColumnNames: _col0, _col1
              Statistics: Num rows: 1453587694 Data size: 290717538880 Basic stats: COMPLETE Column stats: NONE
              Reduce Output Operator
                key expressions: _col0 (type: string)
                sort order: +
                Map-reduce partition columns: _col0 (type: string)
                Statistics: Num rows: 1453587694 Data size: 290717538880 Basic stats: COMPLETE Column stats: NONE
                value expressions: _col1 (type: string)
      Reduce Operator Tree:
        Join Operator
          condition map:
               Left Outer Join0 to 1
          condition expressions:
            0 {VALUE._col2} {VALUE._col4} {VALUE._col5} {VALUE._col6} {VALUE._col7}
            1 {VALUE._col1}
          outputColumnNames: _col2, _col4, _col5, _col6, _col7, _col9
          Statistics: Num rows: 1598946560 Data size: 319789301760 Basic stats: COMPLETE Column stats: NONE
          Select Operator
            expressions: _col4 (type: string), _col9 (type: string), _col5 (type: string), _col6 (type: string), _col7 (type: string), _col2 (type: string)
            outputColumnNames: _col4, _col9, _col5, _col6, _col7, _col2
            Statistics: Num rows: 1598946560 Data size: 319789301760 Basic stats: COMPLETE Column stats: NONE
            Group By Operator
              keys: _col4 (type: string), _col9 (type: string), _col5 (type: string), _col6 (type: string), _col7 (type: string), _col2 (type: string)
              mode: hash
              outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5
              Statistics: Num rows: 1598946560 Data size: 319789301760 Basic stats: COMPLETE Column stats: NONE
              File Output Operator
                compressed: false
                table:
                    input format: org.apache.hadoop.mapred.SequenceFileInputFormat
                    output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
                    serde: org.apache.hadoop.hive.serde2.lazybinary.LazyBinarySerDe

  Stage: Stage-1
    Map Reduce
      Map Operator Tree:
          TableScan
            alias: temp_sjs_interact_cf_top10_t2
            Statistics: Num rows: 5 Data size: 2336 Basic stats: COMPLETE Column stats: NONE
            Select Operator
              expressions: uid (type: string), inter_type (type: string), level_cf (type: string), cnt (type: string)
              outputColumnNames: _col0, _col1, _col2, _col3
              Statistics: Num rows: 5 Data size: 2336 Basic stats: COMPLETE Column stats: NONE
              Reduce Output Operator
                key expressions: _col0 (type: string), _col2 (type: string), _col1 (type: string)
                sort order: +++
                Map-reduce partition columns: _col0 (type: string), _col2 (type: string), _col1 (type: string)
                Statistics: Num rows: 5 Data size: 2336 Basic stats: COMPLETE Column stats: NONE
                value expressions: _col0 (type: string), _col1 (type: string), _col2 (type: string), _col3 (type: string)
          TableScan
            alias: temp_sjs_interact_cf_top10_t1
            Statistics: Num rows: 55792 Data size: 22317192 Basic stats: COMPLETE Column stats: NONE
            Filter Operator
              predicate: sjs_r is not null (type: boolean)
              Statistics: Num rows: 27896 Data size: 11158596 Basic stats: COMPLETE Column stats: NONE
              Select Operator
                expressions: uid (type: string), inter_type (type: string), sjs_r (type: string), level_cf (type: string)
                outputColumnNames: _col0, _col1, _col2, _col3
                Statistics: Num rows: 27896 Data size: 11158596 Basic stats: COMPLETE Column stats: NONE
                Reduce Output Operator
                  key expressions: _col0 (type: string), _col3 (type: string), _col1 (type: string)
                  sort order: +++
                  Map-reduce partition columns: _col0 (type: string), _col3 (type: string), _col1 (type: string)
                  Statistics: Num rows: 27896 Data size: 11158596 Basic stats: COMPLETE Column stats: NONE
                  value expressions: _col2 (type: string)
      Reduce Operator Tree:
        Join Operator
          condition map:
               Left Outer Join0 to 1
          condition expressions:
            0 {VALUE._col0} {VALUE._col1} {VALUE._col2} {VALUE._col3}
            1 {VALUE._col2}
          outputColumnNames: _col0, _col1, _col2, _col3, _col6
          Statistics: Num rows: 30685 Data size: 12274456 Basic stats: COMPLETE Column stats: NONE
          File Output Operator
            compressed: false
            table:
                input format: org.apache.hadoop.mapred.SequenceFileInputFormat
                output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
                serde: org.apache.hadoop.hive.serde2.lazybinary.LazyBinarySerDe

  Stage: Stage-0
    Fetch Operator
      limit: -1

执行计划已经很好的说明了问题。

hankl1990
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hive 中join和Group的优化
01-07
group by 优化 set hive.map.aggr = true; //是否在 Map 端进行聚合，默认为 True ；该设置会消耗更多的内存。 set hive.groupby.mapaggr.checkinterval = 100000000; //在 Map 端进行聚合操作的条目数目 set hive.groupby.skewindata = true; //解决数据倾斜的万能钥匙 当map阶段运行不了的时候，可以设置 set hive.map.aggr = false; 说明 设置hive.map.aggr=true，提高HiveQL聚合的执行性能。 set hive.ma
hive sql数据倾斜——大表join小表如何使用map join
qq_41018861的博客
01-05 4086
Map Join是Hive的一种优化操作，其适用于小表JOIN大表的场景，由于表的JOIN操作是在Map端且在内存进行的，所以其并不需要启动Reduce任务也就不需要经过shuffle阶段，从而能在一定程度上节省资源提高JOIN效率 一、mapjoin的使用场景： 关联操作中有一张表非常小 不等值的链接操作 二、具体使用： 方法一： 在Hive0.11前，必须使用MAPJOIN来标记显示地启动该优化操作，由于其需要将小表加载进内存所以要注意小表的大小 SELECT/*+MAPJOIN(smallta.
【Hive】Hive的三种Join方式
beautiful_huang的博客
02-03 1416
Hive中的join可分为三种，分别是Map-join、Reduce-join和SMB Join，本文简单介绍这三种join的原理和机制。 1.Map-join MapJoin的主要意思就是，当链接的两个表是一个比较小的表和一个特别大的表的时候，我们把比较小的table直接放到内存中去，然后再对比较大的表格进行map操作。join就发生在map操作的时候，每当扫描一个大的table中的数据...
Hive：调优
程序猿启程
08-24 145
Hive 优化 核心思想：把 Hive SQL 当做 Mapreduce 程序去优化 以下 SQL 不会转为 Mapreduce 来执行 select 仅查询本表字段 where 仅对本表字段做条件过滤 Explain 显示执行计划 explain extended SQL语句 Hive 抓取策略 Hive 中对某些情况的查询不需要使用 MapReduce 计算 抓取策略 Set hive.fetch.task.conversion=...
Hive Mapjoin相关学习
weixin_42285610的博客
04-28 119
笼统的说，Hive中的Join可分为Common Join（Reduce阶段完成join）和Map Join（Map阶段完成join）。 一、Hive Common Join 如果不指定MapJoin或者不符合MapJoin的条件，那么Hive解析器会将Join操作转换成Common Join,即：在Reduce阶段完成join. 整个过程包含Map、Shuffle、Reduce阶段。 Map阶段 读取源表的数据，Map输出时候以Join on条件中的列为key，如果Join有多个关联键，则以
hive 中的map join 操作（转载）
smile6868的博客
03-14 6333
今天遇到一个Hive的问题，如下hivesql： select f.a,f.b from A t join B f on ( f.a=t.a and f.ftime=20110802) 该语句中B表有30亿行记录，A表只有100行记录，而且B表中数据倾斜特别严重，有一个key上有15亿行记录，在运行过程中特别的慢，而且在reduece的过程中遇有内存不够而报错。 为了解决用户的这个问题，考虑使用mapjoin,mapjoin的原理： MAPJION会把小表全部读入内存中，在map阶段...
Hive mapjoin使用
lquarius的博客
07-31 8622
方法一 set hive.auto.convert.join = true; --是否开自动mapjoin set hive.mapjoin.smalltable.filesize;--mapjoin的表size大小 以上两个参数同时使用，在hive.auto.convert.join为true时，只要小表size小于hive.mapjoin.smalltable.filesize的设置值，并且小表不是关联操作的最后一张表，小表就会走mapjoin。 set hive.auto.conve...
hive中的mapjoin
热门推荐
yycdaizi的专栏
12-03 1万+
在Hive中，common join是很慢的，如果我们是一张大表关联多张小表，可以使用mapjoin加快速度。 mapjoin主要有以下参数： hive.auto.convert.join ： 是否自动转换为mapjoin hive.mapjoin.smalltable.filesize : 小表的最大文件大小，默认为25000000，即25M hive.auto.convert.join.noc
hive之Map Join使用方法
ImezZ
04-08 1万+
介绍 MAPJION会把小表全部加载到内存中，在map阶段直接拿另外一个表的数据和内存中表数据做匹配，由于在map端是进行了join操作，省去了reduce运行的时间，算是hive中的一种优化。 如上图中的流程，首先Task A在客户端本地执行，负责扫描小表b的数据，将其转换成一个HashTable的数据结构，并写入本地的文件中，之后将该文件加载到DistributeCache中。 接下来的Task B任务是一个没有Reduce的MapReduce，启动MapTasks扫描大表...
Hive on Spark EXPLAIN statement
03-27
Hive on Spark EXPLAIN statement : 讲述了 Common Join / Map join / Bucket Map Join / Sorted Merge Bucket Map Join / skew join 在explain 中的 树结构 。In Hive, command EXPLAIN can be used to show the ...
Hive性能优化
01-27
本文来自于cnblogs,赘述了在工作中总结Hive的常用优化手段和在工作中使用Hive出现的问题。下面开始本篇文章的优化介绍:继续《那些年使用Hive踩过的坑》一文中的剩余部分.首先，我们来看看Hadoop的计算框架特性，在此...
hadoop Join代码（map join 和reduce join）
12-10
展示使用MR方式实现表连接的代码示例。利用HIVE PIG之类的高层工具也可以实现，本代码旨在展示手工连接的流程
分布式数据仓库Hive大全
11-08
7. HIVE 的MAP/REDUCE 41 7.1 JOIN 41 7.2 GROUP BY 42 7.3 DISTINCT 42 8. 使用HIVE注意点 43 8.1 字符集 43 8.2 压缩 43 8.3 count(distinct) 43 8.4 JOIN 43 8.5 DML操作 44 8.6 HAVING 44 8.7 子查询 44 8.8 ...
hive 之 in 能否使用子查询的疑惑
weixin_36630761的博客
08-16 6915
hkl曰：从网上找了很多帖子，关于in是否可以跟子查询的问题各种说法，主要还是版本的问题。 我们目前的版本是：1.2.1000 支持子查询是没问题的：select did from edw.edw_player where mac in(select distinct(mac) from edw.etl_video_center_mac  where day='2017-06-08'
hive - last_modified_time&transient_lastDdlTime
weixin_36630761的博客
12-04 2513
hive 表的属性
hive里如何高效生成唯一ID
weixin_36630761的博客
11-29 982
常见的方式： hive里最常用的方式生成唯一id，就是直接使用 row_number() 来进行，这个对于小数据量是ok的，但是当数据量大的时候会导致，数据倾斜，因为最后生成全局唯一id的时候，这个任务是放在一个reduce里进行的，数据量过大会有很大的瓶颈。 优化的方式： 主体的思想就是先分再合，参考下一个思路： 这个思路是借鉴了一篇文章的思路：附上链接：bitmap用户分群方法在贝壳DMP的实践和应用_架构_侯学博_InfoQ精选文章 我是只想用sql来做具体的实现，如何实现最好
Hive 窗口函数札记
最新发布
weixin_36630761的博客
02-20 861
hive 窗口函数
hive 关闭mapjoin
03-28
要关闭 Hive 中的 mapjoin，您可以使用以下两种方法之一： 1. 设置 Hive 的属性： ``` set hive.auto.convert.join=false; ``` 这将禁用自动转换为 mapjoin。请注意，这将影响所有连接操作。 2. 在查询中使用 hint： ``` SELECT /*+ MAPJOIN(b) */ a.col1, b.col2 FROM table_a a JOIN table_b b ON a.id = b.id; ``` 在连接子句中使用 `/*+ MAPJOIN(b) */` 提示将仅对该连接操作使用 mapjoin。请注意，这仅适用于 Hive 版本 0.13 或更高版本。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值