Mapreduce实例（八）：倒排索引

系统环境

Linux Ubuntu 16.04

jdk-7u75-linux-x64

hadoop-2.6.0-cdh5.4.5

hadoop-2.6.0-eclipse-cdh5.4.5.jar

eclipse-java-juno-SR2-linux-gtk-x86_64

相关知识

"倒排索引"是文档检索系统中最常用的数据结构，被广泛地应用于全文搜索引擎。它主要是用来存储某个单词（或词组）在一个文档或一组文档中的存储位置的映射，即提供了一种根据内容来查找文档的方式。由于不是根据文档来确定文档所包含的内容，而是进行相反的操作，因而称为倒排索引（Inverted Index）。

实现"倒排索引"主要关注的信息为：单词、文档URL及词频。

下面以本实验goods3、goods_visit3、order_items3三张表的数据为例，根据MapReduce的处理过程给出倒排索引的设计思路：

（1）Map过程

首先使用默认的TextInputFormat类对输入文件进行处理，得到文本中每行的偏移量及其内容。显然，Map过程首先必须分析输入的<key,value>对，得到倒排索引中需要的三个信息：单词、文档URL和词频，接着我们对读入的数据利用Map操作进行预处理，如下图所示：

这里存在两个问题：第一，<key,value>对只能有两个值，在不使用Hadoop自定义数据类型的情况下，需要根据情况将其中两个值合并成一个值，作为key或value值。第二，通过一个Reduce过程无法同时完成词频统计和生成文档列表，所以必须增加一个Combine过程完成词频统计。

这里将商品ID和URL组成key值（如"1024600：goods3"），将词频（商品ID出现次数）作为value，这样做的好处是可以利用MapReduce框架自带的Map端排序，将同一文档的相同单词的词频组成列表，传递给Combine过程，实现类似于WordCount的功能。

（2）Combine过程

经过map方法处理后，Combine过程将key值相同的value值累加，得到一个单词在文档中的词频，如下图所示。如果直接将下图所示的输出作为Reduce过程的输入，在Shuffle过程时将面临一个问题：所有具有相同单词的记录（由单词、URL和词频组成）应该交由同一个Reducer处理，但当前的key值无法保证这一点，所以必须修改key值和value值。这次将单词（商品ID）作为key值，URL和词频组成value值（如"goods3：1"）。这样做的好处是可以利用MapReduce框架默认的HashPartitioner类完成Shuffle过程，将相同单词的所有记录发送给同一个Reducer进行处理。

（3）Reduce过程

经过上述两个过程后，Reduce过程只需将相同key值的所有value值组合成倒排索引文件所需的格式即可，剩下的事情就可以直接交给MapReduce框架进行处理了。如下图所示

任务内容

现有某电商网站的3张信息数据表，分别为商品库表goods3，商品访问情况表goods_visit3，订单明细表order_items3，goods表记录了商品的状态数据，goods_visit3记录了商品的点击情况，order_items3记录了用户购买的商品的信息数据，它们的表结构及内容如下：

goods3(goods_id,goods_status,cat_id,goods_score)

商品ID 商品状态 分类ID 评分
1024600	6	52006	0
1024593	1	52121	0
1024592	1	52121	0
1024590	1	52119	0
1024589	1	52119	0
1024588	1	52030	0
1024587	1	52021	0
1024586	1	52029	0
1024585	1	52014	0
1024584	1	52029	0

goods_visit3(goods_id,click_num)

商品ID 商品点击次数
1024600	2
1024593	0
1024592	0
1024590	0
1024589	0
1024588	0
1024587	0
1024586	0
1024585	0
1024584	0

order_items3(item_id,order_id,goods_id,goods_number,shop_price,goods_price,goods_amount)

明细ID 订单ID 商品ID 购买数据 商品销售价格 商品最终单价 商品金额
251688	52107	1024600	1	31.6	31.6	15.8
252165	52209	1024600	1	31.6	31.6	15.8
251870	52146	1024481	1	15.6	15.6	7.8
251935	52158	1024481	1	15.6	15.6	7.8
252415	52264	1024480	1	69.0	69.0	69.0
250983	51937	1024480	1	69.0	69.0	69.0
252609	52299	1024480	1	69.0	69.0	69.0
251689	52107	1024440	1	31.6	31.6	15.8
239369	49183	1024256	1	759.0	759.0	759.0
249222	51513	1024140	1	198.0	198.0	198.0

我们想要查询goods_id相同的商品都在哪几张表并统计出现了多少次。

实验结果如下：

商品id 所在表名称：出现次数
1024140 order_items3:1;
1024256 order_items3:1;
1024440 order_items3:1;
1024480 order_items3:3;
1024481 order_items3:2;
1024584	goods3:1;goods_visit3:1;
1024585	goods_visit3:1;goods3:1;
1024586	goods3:1;goods_visit3:1;
1024587	goods_visit3:1;goods3:1;
1024588	goods3:1;goods_visit3:1;
1024589	goods_visit3:1;goods3:1;
1024590	goods3:1;goods_visit3:1;
1024592	goods_visit3:1;goods3:1;
1024593	goods3:1;goods_visit3:1;
1024600	goods_visit3:1;goods3:1;order_items3:2;

任务步骤

1.切换到/apps/hadoop/sbin目录下，开启Hadoop。

cd /apps/hadoop/sbin  
./start-all.sh  

2.在Linux本地新建/data/mapreduce9目录。

mkdir -p /data/mapreduce9  

3.在Linux中切换到/data/mapreduce9目录下，用wget命令从http://192.168.1.100:60000/allfiles/mapreduce9/goods3、http://192.168.1.100:60000/allfiles/mapreduce9/goods_visit3和http://192.168.1.100:60000/allfiles/mapreduce9/order_items3网址上下载文本文件goods3，goods_visit3，order_items3。

cd /data/mapreduce9
wget http://192.168.1.100:60000/allfiles/mapreduce9/goods3
wget http://192.168.1.100:60000/allfiles/mapreduce9/goods_visit3
wget http://192.168.1.100:60000/allfiles/mapreduce9/order_items3

然后在当前目录下用wget命令从http://192.168.1.100:60000/allfiles/mapreduce9/hadoop2lib.tar.gz网址上下载项目用到的依赖包。

 wget http://192.168.1.100:60000/allfiles/mapreduce9/hadoop2lib.tar.gz

将hadoop2lib.tar.gz解压到当前目录下。

tar zxvf hadoop2lib.tar.gz

4.首先在HDFS上新建/mymapreduce9/in目录，然后将Linux本地/data/mapreduce9目录下的goods3，goods_visit3和order_items3文件导入到HDFS的/mymapreduce9/in目录中。

hadoop fs -mkdir -p /mymapreduce9/in
hadoop fs -put /data/mapreduce9/goods3 /mymapreduce9/in
hadoop fs -put /data/mapreduce9/goods_visit3 /mymapreduce9/in
hadoop fs -put /data/mapreduce9/order_items3 /mymapreduce9/in

5.新建Java Project项目，项目名为mapreduce9。

在mapreduce9项目下新建包，包名为mapreduce，在mapreduce包下新建类，类名为MyIndex。

6.添加项目所需的jar包，右键单击项目名，新建一个文件夹，名为hadoop2lib，用于存放项目所需的jar包。

将/data/mapreduce9目录下，hadoop2lib目录中的jar包，拷贝到eclipse中mapreduce9项目的hadoop2lib目录下,选中所有项目hadoop2lib目录下所有jar包，单击右键选择Build Path=>Add to Build Path。

7.编写Java代码，并描述其设计思路

Map代码

首先使用默认的TextInputFormat类对输入文件进行处理，得到文本中每行的偏移量及其内容。显然，Map过程首先必须分析输入的<key,value>对，得到倒排索引中需要的三个信息：单词、文档URL和词频，这里存在两个问题：第一，<key,value>对只能有两个值，在不使用Hadoop自定义数据类型的情况下，需要根据情况将其中两个值合并成一个值，作为key或value值。第二，通过一个Reduce过程无法同时完成词频统计和生成文档列表，所以必须增加一个Combine过程完成词频统计。

public static class doMapper extends Mapper<Object, Text, Text, Text>{
   
		public static Text myKey = new Text();   // 存储单词和URL组合
		public static Text myValue = new Text();  // 存储词频
		//private FileSplit filePath;     // 存储Split对象

		@Override   // 实现map函数
		protected void map