MapReduce-做jion操作时出现数据倾斜时的处理方案

MR框架的话，我们可以利用DistributedCache（Hadoop内置的分布式缓存机制）来实现。

 

DistributedCache 是一个提供给Map/Reduce框架的工具，用来缓存指定的文件。当我们使用了这个机制后，MR框架底层会将指定的文件拷贝到slave节点上的缓存中。

 

使用DistributedCache机制，尤其在做join操作时，可以大大的提高作业的运行效率，并且可以额避免产生数据倾斜。实现思路是：

将Join操作中的小表进行缓存，这样每个Map Task在执行时，都是可以在Map Task运行所在的节点的缓冲区拿到小表数据，从而在Map阶段就可以完成Join操作。这样一来，就不需要引入Reducer组件，也就不会产生数据倾斜的问题。