MapJoin是一种在Hive中提高查询效率的技术，它通过将小表分发到Map端进行JOIN操作，避免了在Reduce阶段处理，从而减少了数据倾斜的问题。这种技术适用于左连接，并且有小表大小的限制（默认25MB）。但要注意，小表不能在左连接中做为主表，否则会导致结果重复。
MapJoin
将join双方比较小的表直接分发到各个的Map端进程中,再Map进程中进行Join操作，这样就不用再Reduce进行处理，提高了速度；如果不进行MapJoin或者不符合MapJoin，则会把数据弄到Reduce中处理，这样会造成数据倾斜现象
/*
默认开启 set hive.auto.concert.join
小表定义：set hive.mapjoin.smalltable.filesize 25M 25_000_000
select
big.id
from big
left join small
on big.id=small.id
注意：left join 的时候小表不能在做,会出现重复
扫一扫
651
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
