Hive的mapjoin原理与参数说明

一、 Map Join原理

1. Map Join介绍
   MapJoin顾名思义，就是在Map阶段进行表之间的连接，map阶段直接拿另外一个表的数据和内存中表数据做匹配。而不需要进入到Reduce阶段才进行连接。这样就节省了在Shuffle阶段时要进行的大量数据传输。从而起到了优化作业的作用。通常用于一个很小的表和一个大表进行join的场景。

2. MapJoin的原理及过程
   
   执行过程如上图：

1. 首先是在本地客户端生成的Task A，是一个MapReduce Local Task，负责把小表数据从HDFS读取到内存哈希表。读取后，它会将内存中的哈希表序列化为磁盘上的文件，并将哈希表文件压缩为tar文件
2. 接下来是Task B，该任务是一个没有Reduce的MapReduce任务，启动的时候，上一步骤的tar文件会被放到Hadoop分布式缓存中，Hadoop分布式缓存将把tar文件填充到每个Mapper的本地磁盘并解压缩该文件。然后mapper可以将哈希表文件反序列化回内存，并像以前一样执行join工作，也就是根据大表中的每一条记录去和DistributeCache中小表对应的HashTable关联，并直接输出结果。

        关于自动优化：对于MapJoin，查询处理器应该知道大表是哪个输入表。在执行阶段，其他输入表将被识别为小表，这些表需要保存在内存中。但是，一般来说，查询处理器在编译期间不知道输入文件的大小（即使有统计数据），因为某些表可能是由子查询生