Hive优化之MapJoin

Hive—mapjoin

说明

hive用的默认计算引擎是mapreduce，且使用的是类SQL查询语言，hive对将SQL语句解析为mapreduce程序运行，简化了开发。
我的hadoop版本是2.9.0，hive版本是1.2.1

原理

hive语句执行顺序：
from … where … select … group by … having … order by … limit …

MapJoin：

MapJoin的原理：
通常情况下，要连接的各个表里面的数据会分布在不同的Map中进行处理。
即同一个Key对应的Value可能存在不同的Map中。这样就必须等到Reduce中去连接。
要使MapJoin能够顺利进行，那就必须满足这样的条件：除了一份表的数据分布在不同的Map中外，
其他连接的表的数据必须在每个Map中有完整的拷贝。

MapJoin适用的场景：
可以解决数据倾斜
通过上面分析你会发现，并不是所有的场景都适合用MapJoin.
它通常会用在如下的一些情景：在二个要连接的表中，有一个很大，有一个很小，这个小表可以存放在内存中而不影响性能。
这样我们就把小表文件复制到每一个Map任务的本地，再让Map把文件读到内存中待用。
所以一般把小表放在左边！

创建表及数据

表anhui_air2