Hadoop下进行反向索引(Inverted Index)操作

原创 2011年01月07日 19:26:00

参考资料:
代码参考1:http://www.pudn.com/downloads212/sourcecode/unix_linux/detail999273.html
理论参考2:http://zhangyu8374.javaeye.com/blog/86307,http://nything.javaeye.com/blog/411787

在eclipse下创建map/reduce项目InvertedIndex,然后将参考1中的src目录拷贝到项目目录下替换原有src目录。

在本地创建文件夹IndexTest并在里面创建3个文件,每个文件中的内容如下。
    * T0 = "it is what it is"
    * T1 = "what is it"
    * T2 = "it is a banana"
其中T0,T1,T2分别是文件名,后面为文件内容。将IndexTest文件夹上传到DFS中。然后运行反向索引程序。

最后输出结果为:
a     (T2, 3)
banana     (T2, 4)
is     (T2, 2) (T0, 2) (T0, 5) (T1, 2)
it     (T1, 3) (T2, 1) (T0, 1) (T0, 4)
what     (T0, 3) (T1, 1)

 

代码清单:
InvertedIndex.java

 

TokenInputFormat.java

 

ValuePair.java

 

 

Hadoop学习笔记(8)

倒排索引是文档检索系统中最常用数据结构。根据单词反过来查在文档中出现的频率,而不是根据文档来,所以称倒排索引(Inverted Index)。结构如下: 这张索引表中, 每个单词都对应着...

MapReduce 编程之 倒排索引

本文调试环境: ubuntu 10.04 , hadoop-1.0.2 hadoop装的是伪分布模式,就是只有一个节点,集namenode, datanode, jobtracker, taskt...

mapreduce——invertedindex

三个输入文件分别时3/2/2行: hadoop@ubuntu:/usr/local/hadoop$ hdfs dfs -cat input/* hadoop mapreduce spark ...
  • mmc2015
  • mmc2015
  • 2015年09月20日 20:32
  • 1087

Inverted Index(倒排索引)

传统的正排索引指的是doc->word的映射,然而在实际工作中,仅仅只有正排索引是远远不够的,比如我想知道某个word出现在那些doc当中,就需要遍历所有的doc,这在实时性要求比较严的系统中是不能接...

spark【例子】倒排索引(InvertedIndex)

例子描述: 【倒排索引(InvertedIndex)】 这个例子是在一本讲Spark书中看到的,但是样例代码写的太Java化,没有函数式编程风格,于是问了些高手,教我写了份函数式的倒排索引...

MapReduce功能实现十---倒排索引(Inverted Index)

前言:"倒排索引"是文档检索系统中最常用的数据结构,被广泛地应用于全文搜索引擎。它主要是用来存储某个单词(或词组)在一个文档或一组文档中的存储位置的映射,即提供了一种根据内容来查找文档的方式。由于不是...

正排索引(forward index)与倒排索引(inverted index)

一、正排索引(前向索引) 正排索引也称为"前向索引"。它是创建倒排索引的基础,具有以下字段。 (1)LocalId字段(表中简称"Lid"):表示一个文档的局部编号。 (2)WordId字段:表...

hadoop 初记-试用

Hadoop Learning My DemoStatistic.java1. 初始化配置文件,临时文件存放目录,还有具体的Job。        Configuration defaults = ...
  • kauu
  • kauu
  • 2006年12月10日 13:58
  • 2925

Hadoop实例WordCount程序修改--词频降序

修改wordcount实例,改为: 1、 对词频按降序排列 2、 输出排序为前三,和后三的数据首先是第一项: 对词频排序,主要针对的是最后输出的部分。**分析程序内容:** WordCou...

Hadoop下进行反向索引(Inverted Index)操作

今天上网无意中看到了这篇文章,里面的效果不错,但是代码自己还没有验证过。想先留下来。这篇为转载,等自己调试代码通过后再发表个原创版的!   原版地址:http://blog.csdn.net/xw...
  • xhyzfl
  • xhyzfl
  • 2011年09月08日 15:56
  • 1175
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Hadoop下进行反向索引(Inverted Index)操作
举报原因:
原因补充:

(最多只允许输入30个字)