大数据开发技术之倒排索引案例分析

1．需求

有大量的文本（文档、网页），需要建立搜索索引，如图4-31所示。

（1）数据输入

（2）期望输出数据

atguigu   c.txt–>2 b.txt–>2 a.txt–>3

pingping c.txt–>1 b.txt–>3 a.txt–>1

ss    c.txt–>1 b.txt–>1 a.txt–>2

2．需求分析

3．第一次处理

（1）第一次处理，编写OneIndexMapper类

（2）第一次处理，编写OneIndexReducer类

（3）第一次处理，编写OneIndexDriver类

（4）查看第一次输出结果

4．第二次处理

（1）第二次处理，编写TwoIndexMapper类

（2）第二次处理，编写TwoIndexReducer类

（3）第二次处理，编写TwoIndexDriver类

（4）第二次查看最终结果

atguigu c.txt–>2 b.txt–>2 a.txt–>3

pingping   c.txt–>1 b.txt–>3 a.txt–>1

ss  c.txt–>1 b.txt–>1 a.txt–>2

转载原文链接：http://www.atguigu.com/jsfx/12597.html