5.5 MR案例——倒排索引

目录

零、学习目标

一、导入新课

二、新课讲解

（一）案例分析

1、倒排索引介绍 

2、案例需求及分析

（二）案例实现

1、准备数据文件

2、Map阶段实现 

3、Combine阶段实现

4、Reduce阶段实现 

5、Driver主类实现 

6、运行倒排索引驱动器类，查看结果

---

零、学习目标

1. 理解倒排索引
2. 实现倒排索引

一、导入新课

• 通过上节课的学习，我们对MapReduce运行模式和性能优化策略有了一定的认识。本节课将针对MapReduce经典案例——倒排索引进行详细讲解。

二、新课讲解

（一）案例分析

1、倒排索引介绍 

倒排索引是文档检索系统中最常用的数据结构，被广泛应用于全文搜索引擎。倒排索引主要用来存储某个单词（或词组）在一组文档中的存储位置的映射，提供了可以根据内容来查找文档的方式，而不是根据文档来确定内容，因此称为倒排索引（Inverted Index）。带有倒排索引的文件我们称为倒排索引文件，简称倒排文件(Inverted File)。

2、案例需求及分析

• 现假设有三个源文件file1.txt、file2.txt和file3.txt，需要使用倒排索引的方式对这三个源文件内容实现倒排索引，并将最后的倒排索引文件输出。

 

首先，使用默认的TextInputFormat类对每个输入文件进行处理，得到文本中每行的偏移量及其内容。Map过程首先分析输入的<key，value>键值对，经过处理可以得到倒排索引中需要的三个信息：单词、文档名称和词频。

 

经过Map阶段数据转换后，同一个文档中相同的单词会出现多个的情况，而单纯依靠后续Reduce阶段无法同时完成词频统计和生成文档列表，所以必须增加一个Combine阶段，先完成每一个文档的词频统计。

 

经过上述两个阶段的处理后，Reduce阶段只需将所有文件中相同key值的value值进行统计，并组合成倒排索引文件所需的格式即可。