.带索引的mapReduce

 

 

带索引的mapReduce

        之前我们跑mapreduce，对某些维度进行统计，都是暴利方式的遍历，有些时候，我们仅仅想扫描原始数据的一部分，或者仅仅是其中的一列，这些数据可能仅仅是原始数据的十分之一，百分之一，那么暴利扫描太不可取了。
        回想下我们之前使用数据库的场景，数据库在扫描的时候通常是利用一些索引， 而并非全表扫描，故mapReduce 程序也可以借助这一特点，先创建索引，然后在索引上的进一步分析，防止扫描全部的原始数据-这将节省很多的IO资源。
        目前对我们来说最容易使用的文件索引无外乎就是lucene了，而且非常成熟和可靠，但是索引并非splitable，这样对于mapreduce的处理不是很方便,且大索引频繁的合并开销很大，故我们将索引拆分成一小块一小块的（比如说128M),但是hadoop又不擅长处理特别多的小文件,故我们又将这些索引合并在了一个统一的大文件里，非常类似hadoop内置的SequenceFile文件的结构，Key为Text格式的文本，用于我们做一些标记，Value就是真实的索引了。故我们给其起名叫sequenceIndex.
       后续我们又在此基础上，添加了SequenceIndexOutputFormat和SequenceIndexInputFormat 两个类，用于通过Mapreduce创建索引，以及在mapreduce中通过索引来进行检索，而不是进行暴力的遍历数据。

本文源码，请访问