用hadoop实现倒排索引简单实例

用hadoop实现倒排索引简单实例

倒排索引是文档搜索系统中常用的数据结构，即根据内容进行文档的搜索，本次我们利用mapReduce来分析和统计单词在每个文档中的权重，输入2个单词的txt文本，经过mapreduce的处理，将结果以{单词 1.txt:权重，2.txt:权重}逐行输出到output目录下。切记单个文件不要超过HDFS单个块的大小，保证一个文件一个split.否则会出现词频统计不完全。也可以重新实现一个inputFomart类。将每一个文件划分成一个split。
下面简单的讲解下这个程序，InvertedMapper类继承自Mapper类，重写了它的map方法，也可以实现Mapper接口，这个我们以后再说。map方法以{key:value}={单词:文档,1}的形式存于输出到context中。在InvertedCombine中把中间结果进行合并，减少网络传输，加快执行速度。
这里combine还完成了一个操作，就是将key，value的形式，变为了{单词，文档：权重}，由于这里采用的是mapreduce默认的Hashpartitioner处理的，因此也保证了单词名相同的记录会被分配到同一个reducer中进行处理。后期可以重新指定partitionerClass，即使key不同，也可同样合并到一个reduce中处理。
具体代码如下
“`package com.ly.study.hadoop;

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop