hadoop经典案例，倒排索引，数据去重，Topn

一、实验目的与要求

MapReduce是Hadoop系统核心组件之一，它是一种可用于大数据并行处理的计算模型、框架和平台，主要解决海量数据的计算。通过对MapReduce编程模型及实际案例进行深入实践。理解MapReduce的核心思想，掌握MapReduce的编程模型，掌握MapReduce的工作原理，掌握MapReduce常见编程组件的使用。

要求：1、认真理解MapReduce的编程模型以及工作原理，通过实践完成MapReduce相关编程操作。

2、结合实践内容和教材的相关章节完成实验报告。

二、实验内容

案例一 倒排索引

1、Map阶段实现：InvertedIndexMapper.Java将文本中单词按照空格进行切割。

2、Combine阶段实现：InvertedIndexCombiner.java对每个文档单词进行词频统计。

3、Reduce阶段实现：InvertedIndexReducer.java接收上阶段输出，单词作为key，文档名称及词频作为value。

4、Driver程序主类实现：InvertedIndexRunner.java设置相应目录实现倒排索引。

案例二 数据去重

1、Map阶段实现：DedupMapper.java读取数据集文件形成key-value。

2、Reduce阶段实现：DedupReducer.java接收上阶段输出，合并相同key。

3、Driver程序主类实现：DedupRunner.java设置相应目录实现数据去重。

案例三 TopN

1、Map阶段实现：TopNMapper.java读取数据集文件进行切割提取。

2、Reduce阶段实现：TopNReducer.java接收上阶段输出，取最大值，满足倒序。

3、Driver程序主类实现：TopNRunner.java设置相应目录实现TopN，其中N被设置为5。

三、实验环境

虚拟机软件：VMware Workstation 14

操作系统：Center OS 6.9

终端仿真程序：SecureCRT 8.3

Java版本：jdk 1.8.0_161

Hadoop版本：Hadoop 2.7.4

开发工具：Eclipse

四、实验过程记录

案例一 倒排索引

1、Map阶段实现：InvertedIndexMapper.Java将文本中单词按照空格进行切割。

2、Combine阶段实现：InvertedIndexCombiner.java对每个文档单词进行词频统计。

3、Reduce阶段实现：InvertedIndexReducer.java接收上阶段输出，单词作为key，文档名称及词频作为value。

4、Driver程序主类实现：InvertedIndexRunner.java设置相应目录实现倒排索引。

案例二 数据去重

1、Map阶段实现：DedupMapper.java读取数据集文件形成key-value。

2、Reduce阶段实现：DedupReducer.java接收上阶段输出，合并相同key。

3、Driver程序主类实现：DedupRunner.java设置相应目录实现数据去重。

案例三 TopN

1、Map阶段实现：TopNMapper.java读取数据集文件进行切割提取。

2、Reduce阶段实现：TopNReducer.java接收上阶段输出，取最大值，满足倒序。

3、Driver程序主类实现：TopNRunner.java设置相应目录实现TopN，其中N被设置为5。