MapReduce使用DistributedCache

会有这样一种场景：有个非常大的文件需要和一个很小的文件去关联，即：一张大表去关联一张小表。

如果是在Hive里可以用MapJoin的方式，但是这种方式不是很灵活虽然也支持不等值连接，例如：有这样一个需求，有一个很大的日志文件，这个文件中有个字段是用户的IP（这里的IP是长整形），有一个很小的文件记录了IP范围对应的地域信息，我需要知道这些用户的地域分布信息，如果用MapJoin的话需要用大于和小于去比较，这种方式经测试发现效率极低。

于是想到了DistributedCache的方式，DistributedCache翻译过来就是分布式缓存，把小文件载入到内存中，在MapReduce的时候直接和内存中的小文件进行关联即可。实现思路：

1、使用DistributedCache将保存IP地域信息的文件加载至内存；

2、在map里每处理一条日志就在内存中查找符合这个用户IP的地域（这里使用二分查找，效率还不错）。

Map类的代码如下：

public static class ConfigStatistic2Mapper extends
		Mapper<LongWritable, Text, Text, IntWritable> {

	ArrayList<String> ipLocationLi