Hive中简介及使用MAP JOIN
一、MAP JOIN图
Hive中的Join可分为Common Join(Reduce阶段完成join)和Map Join(Map阶段完成join)。本文简单介绍一下mapjoin的原理和机制。
![](http://img.blog.itpub.net/blog/attachment/201801/11/31511218_1515654342b2Bc.png?x-oss-process=style/bb)
二、概述
MapJoin通常用于一个很小的表和一个大表进行join的场景,具体小表有多小,由参数 hive.mapjoin.smalltable.filesize 来决定,该参数表示小表的总大小,默认值为25000000字节,即25M。
Hive0.7之前,需要使用hint提示 /*+ mapjoin(table) */才会执行MapJoin,否则执行Common Join,但在0.7版本之后,默认自动会转换Map Join,由参数 hive.auto.convert.join 来控制,默认为true.
假设a表为一张大表,b为小表,并且hive.auto.convert.join=true,那么Hive在执行时候会自动转化为MapJoin。
三、测试
1、两表关联:
点击(此处)折叠或打开
- select e.empno,e.ename,e.deptno,d.deptno,d.dname from emp e join dept d on e.deptno = d.deptno;
说明:执行时间mapjoin会通过元数据(metadata)进行查找,发现是否存在小表(根据hive.mpajoin.samlltable.filesize参数设置,判断是否为小表。此参数默认25M)。
存在小表时将先行进行小表加载到内存中,即dept表,如上HQL语句将dept表加载至内存中,最后再用emp表中数据一条一条与内存中数据进行关联查询。
2、多表关联
条件:emp表数据为1000条,dept表数据为100条,emp_partition表数据为500条;
点击(此处)折叠或打开
- select e.empno,e.ename,e.deptno,d.deptno,d.dname from emp e join dept d join emp_partition c on e.deptno = d.deptno and e.empno = c.empno;
存在小表时将先行进行小表加载到内存中,即dept、emp_partition表,如上HQL语句将dept表加载至内存中,最后再用emp表中数据一条一条与内存中数据进行关联查询。
注:以上可以对照SQL的执行计划或执行日志更详细,后续补充相关截图及说明
四、使用MAPJOIN可解决以下实际问题:
1、有一个极小的表<100行(d表是部门)
2、需要做不等值join操作(a.x<b.y或者a.x like="" b.y等)。普通join语法不支持不等于操作,hive语法解析会直接抛出错误。="" 五、相关参数
点击(此处)折叠或打开
- 1、小表自动选择Mapjoin
- set hive.auto.convert.join=true;
- 默认值:false。该参数为true时,Hive自动对左边的表统计量,若是小表就加入内存,即对小表使用Map join
- 2、小表阀值
- set hive.mapjoin.smalltable.filesize=25000000;
- 默认值:25M
- hive.smalltable.filesize (replaced by hive.mapjoin.smalltable.filesize in Hive 0.8.1)
- 3、map join做group by操作时,可使用多大的内存来存储数据。若数据太大则不会保存在内存里
- set hive.mapjoin.followby.gby.localtask.max.memory.usage;
- 默认值:0.55
- 4、本地任务可以使用内存的百分比
- set hive.mapjoin.localtask.max.memory.usage;
- 默认值:0.90
若泽大数据交流群:671914634
来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/31511218/viewspace-2150053/,如需转载,请注明出处,否则将追究法律责任。
转载于:http://blog.itpub.net/31511218/viewspace-2150053/