Hive中的Join可分为两种情况
Common Join(Reduce阶段完成join)
Map Join(Map阶段完成join)
Common Join
如果没开启hive.auto.convert.join=true或者不符合MapJoin的条件,那么Hive解析器会将Join操作转换成Common Join,在Reduce阶段完成join。并且整个过程包含Map、Shuffle、Reduce阶段。1 Map阶段 读取表的数据,Map输出时候以 Join on 条件中的列为key,如果Join有多个关联键,则以这些关联键的组合作为key;
Map输出的 value 为 join 之后需要输出或者作为条件的列;同时在value中还会包含表的 Tag 信息,用于标明此value对应的表;按照key进行排序
根据key取哈希值,并将key/value按照哈希值分发到不同的reduce中
3 Reduce阶段根据key的值完成join操作,并且通过Tag来识别不同表中的数据。在合并过程中,把表编号扔掉