hadoop倒排索引

倒排索引

“ 倒排索引”是文档检索系统中最常用的数据结构，被广泛地应用于全文搜索引擎。 它主要是用来存储某个单词（或词组） 在一个文档或一组文档中的存储位置的映射，即提 供了一种根据内容来查找文档的方式。由于不是根据文档来确定文档所包含的内容，而是进 行相反的操作，因而称为倒排索引（ Inverted Index）。

1 实例描述

通常情况下，倒排索引由一个单词（或词组）以及相关的文档列表组成，文档列表中的 文档或者是标识文档的 ID 号，或者是指文档所在位置的 URL，如图 6.1-1 所示。

[外链图片转存失败(img-a6OHY0ai-1567902000353)(assets/1566473796048.png)]

从图 6.1-1 可以看出，单词 1 出现在{文档 1，文档 4，文档 13， ……}中，单词 2 出现 在{文档 3，文档 5，文档 15， ……}中，而单词 3 出现在{文档 1，文档 8，文档 20， ……} 中。在实际应用中， 还需要给每个文档添加一个权值，用来指出每个文档与搜索内容的相 关度，如图 6.1-2 所示。

最常用的是使用词频作为权重，即记录单词在文档中出现的次数。以英文为例，如图 6.1-3 所示，索引文件中的“ MapReduce”一行表示：“ MapReduce”这个单词在文本 T0 中 出现过 1 次，T1 中出现过 1 次，T2 中出现过 2 次。当搜索条件为“ MapReduce”、“ is”、“ Simple” 时，对应的集合为： {T0， T1， T2}∩{T0， T1}∩{T0， T1}={T0， T1}，即文档 T0 和 T1 包 含了所要索引的单词，而且只有 T0 是连续的。

更复杂的权重还可能要记录单词在多少个文档中出现过，以实现 TF-IDF（ Term Frequency-Inverse Document Frequency）算法，或者考虑单词在文档中的位置信息（单词是 否出现在标题中，反映了单词在文档中的重要性）等。

样例输入如下所示。

file1：

MapReduce is simple

• 1

file2：

MapReduce is powerful is simple

• 1

file3：

Hello MapReduce bye MapReduce

• 1

样例输出如下所示：

MapReduce file1.txt:1;file2.txt:1;file3.txt:2;
is file1.txt:1;file2.txt:2;
simple file1.txt:1;file2.txt:1;
powerful file2.txt:1;
Hello file3.txt:1;
bye file3.txt:1;

2 设计思路

实现“ 倒排索引”只要关注的信息为： 单词、 文档 URL 及词频，如图 3-11 所示。但是 在实现过程中，索引文件的格式与图 6.1-3 会略有所不同，以避免重写 OutPutFormat 类。下 面根据 MapReduce 的处理过程给出倒排索引的设计思路。

1）Map过程

首先使用默认的 TextInputFormat 类对输入文件进行处理，得到文本中每行的偏移量及 其内容。显然， Map 过程首先必须分析输入的<key,value>对，得到倒排索引中需要的三个信 息：单词、文档 URL 和词频，如图 6.2-1 所示。

这里存在两个问题： 第一， <key,value>对只能有两个值，在不使用 Hadoop 自定义数据 类型的情况下，需要根据情况将其中两个值合并成一个值，作为 key 或 value 值； 第二，通 过一个 Reduce 过程无法同时完成词频统计和生成文档列表，所以必须增加一个 Combine 过程完成词频统计。

这里讲单词和 URL 组成 key 值（如“ MapReduce： file1.txt”），将词频作为 value，这样 做的好处是可以利用 MapReduce 框架自带的 Map 端排序，将同一文档的相同单词的词频组 成列表，传递给 Combine 过程，实现类似于 WordCount 的功能。

2）Combine过程

经过 map 方法处理后， Combine 过程将 key 值相同的 value 值累加，得到一个单词在文 档在文档中的词频，如图 6.2-2 所示。 如果直接将图 6.2-2 所示的输出作为 Reduce 过程的输 入，在 Shuffle 过程时将面临一个问题：所有具有相同单词的记录（由单词、 URL 和词频组 成） 应该交由同一个 Reducer 处理，但当前的 key 值无法保证这一点，所以必须修改 key 值 和 value 值。这次将单词作为 key 值， URL 和词频组成 value 值（如“ file1.txt： 1”）。这样 做的好处是可以利用 MapReduce 框架默认的 HashPartitioner 类完成 Shuffle 过程，将相同单 词的所有记录发送给同一个 Reducer 进行处理。

3）Reduce过程

经过上述两个过程后， Reduce 过程只需将相同 key 值的 value 值组合成倒排索引文件所 需的格式即可，剩下的事情就可以直接交给 MapReduce 框架进行处理了。如图 6.2-3 所示。 索引文件的内容除分隔符外与图 6.1-3 解释相同。

4）需要解决的问题

本实例设计的倒排索引在文件数目上没有限制，但是单词文件不宜过大（具体值与默 认 HDFS 块大小及相关配置有关），要保证每个文件对应一个 split。否则，由于 Reduce 过 程没有进一步统计词频，最终结果可能会出现词频未统计完全的单词。可以通过重写 InputFormat 类将每个文件为一个 split，避免上述情况。或者执行两次 MapReduce， 第一次 MapReduce 用于统计词频， 第二次 MapReduce 用于生成倒排索引。除此之外，还可以利用 复合键值对等实现包含更多信息的倒排索引。

3 程序代码

InvertedIndexMapper：

import java.io.IOException;

import org.apache.commons.lang.StringUtils;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileSplit;
 
public class InvertedIndexMapper extends Mapper<LongWritable, Text, Text, Text> {
 
    private static Text keyInfo = new Text();// 存储单词和 URL 组合
    private static final Text valueInfo = new Text("1");// 存储词频,初始化为1
 
    @Override
    protected void map(LongWritable key, Text value, Context context)
            throws IOException, InterruptedException {
 
        String line = value.toString();
        String[] fields = StringUtils.split(line, " ");// 得到字段数组
 
        FileSplit fileSplit = (FileSplit) context.getInputSplit();// 得到这行数据所在的文件切片
        String fileName = fileSplit.getPath().getName();// 根据文件切片得到文件名
 
        for (String field : fields) {
            // key值由单词和URL组成，如“MapReduce:file1”
            keyInfo.set(field + ":" + fileName);
            context.write(keyInfo, valueInfo);
        }
    }
}

InvertedIndexCombiner：

import java.io.IOException;

import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
 
public class InvertedIndexCombiner extends Reducer<Text, Text, Text, Text> {
 
    private static Text info = new Text();
 
    // 输入： <MapReduce:file3 {1,1,...}>
    // 输出：<MapReduce file3:2>
    @Override
    protected void reduce(Text key, Iterable<Text> values, Context context)
            throws IOException, InterruptedException {
        int sum = 0;// 统计词频
        for (Text value : values) {
            sum += Integer.parseInt(value.toString());
        }
 
        int splitIndex = key.toString().indexOf(":");
        // 重新设置 value 值由 URL 和词频组成
        info.set(key.toString().substring(splitIndex + 1) + ":" + sum);
        // 重新设置 key 值为单词
        key.set(key.toString().substring(0, splitIndex));
        
        context.write(key, info);
    }
}

InvertedIndexReducer：

import java.io.IOException;

import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
 
public class InvertedIndexReducer extends Reducer<Text, Text, Text, Text> {
 
    private static Text result = new Text();
 
    // 输入：<MapReduce file3:2>
    // 输出：<MapReduce file1:1;file2:1;file3:2;>
    @Override
    protected void reduce(Text key, Iterable<Text> values, Context context)
            throws IOException, InterruptedException {
        // 生成文档列表
        String fileList = new String();
        for (Text value : values) {
            fileList += value.toString() + ";";
        }
 
        result.set(fileList);
        context.write(key, result);
    }
}

 InvertedIndexDriver：

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
 
public class InvertedIndexDriver {
    public static void main(String[] args) throws IOException,
            ClassNotFoundException, InterruptedException {
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf);
 
        job.setJarByClass(InvertedIndexDriver.class);
 
        job.setMapperClass(InvertedIndexMapper.class);
        job.setCombinerClass(InvertedIndexCombiner.class);
        job.setReducerClass(InvertedIndexReducer.class);
 
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);
 
        FileInputFormat.setInputPaths(job, new Path("E:\\hadoop-eclipse\\input"));
        FileOutputFormat.setOutputPath(job,new Path("E:\\hadoop-eclipse\\output"));
        boolean res=job.waitForCompletion(true);
        System.exit(res ? 0:1);
    }
}