一种基于有序序列mapjoin的方法

在解决数据倾斜问题时，我们经常会采用一种方式：mapjoin，按照hive的实现，mapjoin是将其中一张表在map的过程中加载到内存中，但是如果在join的表中，最小的表的数据量也不小的情况下。我们该怎么办呢？其中一种解决的方式是：将两张表需要实现排序(直接用hadoop解决)，如下，两张表都是有序的。

接下来，我们将其中一张较大的表（比如说表1），输入到一个job中的mapper中，同时我们以文件的方式读取另外一张表（比如说表2），我们不会将表2加入到内存中，因为表2也是比较大的，那么怎么去join两张表呢？

我们以以上两个表为例，以上两个表都是有序的，那么我们在遍历的时候，会首先从表1中抽取一个key，与表2中的key进行对比，如果找到相应的key，我们就会将两个表的指针下移，如下图：

在下次查找的时候，表2将从指针处进行查找，因为两个表都是有序的，所以我们不会遗漏掉key。同时，如果我们发现，当在表1中的key在表2中找到一个比自身大的key，这个时候都没有找到和自身相同的key，那说明在表2中根本不存在相同的key，这个规则也是由两个表都是有序保证的。至此，就可以实现在两个表都比较大的情况下，也可以实现mapjoin了。