参考资料:
代码参考1:http://www.pudn.com/downloads212/sourcecode/unix_linux/detail999273.html
理论参考2:http://zhangyu8374.javaeye.com/blog/86307,http://nything.javaeye.com/blog/411787
在eclipse下创建map/reduce项目InvertedIndex,然后将参考1中的src目录拷贝到项目目录下替换原有src目录。
在本地创建文件夹IndexTest并在里面创建3个文件,每个文件中的内容如下。
* T0 = "it is what it is"
* T1 = "what is it"
* T2 = "it is a banana"
其中T0,T1,T2分别是文件名,后面为文件内容。将IndexTest文件夹上传到DFS中。然后运行反向索引程序。
最后输出结果为:
a (T2, 3)
banana (T2, 4)
is (T2, 2) (T0, 2) (T0, 5) (T1, 2)
it (T1, 3) (T2, 1) (T0, 1) (T0, 4)
what (T0, 3) (T1, 1)
代码清单:
InvertedIndex.java
TokenInputFormat.java
ValuePair.java