java map 倒序索引_MapReduce 案例之倒排索引

1. 倒排索引

倒排索引是文档检索系统中最常用的数据结构，被广泛地应用于全文搜索引擎。 它主要是用来存储某个单词(或词组) 在一个文档或一组文档中的存储位置的映射，即提供了一种根据内容来查找文档的方式。由于不是根据文档来确定文档所包含的内容，而是进行相反的操作，因而称为倒排索引( Inverted Index)。

2. 实例描述

通常情况下，倒排索引由一个单词(或词组)以及相关的文档列表组成，文档列表中的文档或者是标识文档的 ID 号，或者是指文档所在位置的 URL。如下图所示：

image.png

从上图可以看出，单词 1 出现在{文档 1，文档 5，文档 13， ……}中，单词 2 出现在{文档 2，文档 3，文档 5， ……}中，而单词 3 出现在{文档 2，文档 10，文档 16， ……}中。在实际应用中，还需要给每个文档添加一个权值，用来指出每个文档与搜索内容的相关度，如下图所示：

image.png

最常用的是使用词频作为权重，即记录单词在文档中出现的次数。以英文为例，如下图所示，索引文件中的“ MapReduce”一行表示：“ MapReduce”这个单词在文本 T0 中 出现过 1 次，T1 中出现过 1 次，T2 中出现过 2 次。

image.png

3. 设计思路

3.1 Map过程

首先使用默认的 TextInputFormat 类对输入文件进行处理，得到文本中每行的偏移量及其内容。显然， Map 过程首先必须分析输入的key/value对，得到倒排索引中需要的三个信息：单词、文档 URL 和词频，如下图所示。

image.png

这里存在两个问题：第一， key/value对只能有两个值，需要根据情况将其中两个值合并成一个值，作为 key 或 value 值；

第二，通过一个 Reduce 过程无法同时完成词频统计和生成文档列表，所以必须增加一个 Combine 过程完成词频统计。

这里将单词和 URL 组成 key 值(如“ MapReduce： file1.txt”)，将词频作为value，这样做的好处是可以利用 MapReduce 框架自带的Map 端排序，将同一文档的相同单词的词频组成列表，传递给 Combine 过程，实现类似于 WordCount 的功能。

3.2 Combine 过程

经过 map 方法处理后， Comb