ADS3 Inverted File Index

Term-Document Incidence Matrix

行代表关键词，列代表了第几个文档。如果关键词存在这个文档，则为1，否则为0.形成一个矩阵。

Inverted File Index

Index is a mechanism for locating a given term in a text.

Inverted file contains a list of pointers (e.g. the number of a page) to all occurrences of that term in the text.

inverted file的每一行是一个关键词，列中描述了出现的次数和出现的位置。比如

No.	Term	Times;Docs
1	a	<2;(1,2),(3,4)>
2	arrive	<1;(5,6)>

表示a出现了两次，分别在第一个document的第二个词和第三篇文章的第四个词。

Word Stemming

Process a word so that only its stem or root form is left.

不同时态单词仅记录词根

Stop Words

使用较为频繁的词，例如a,it,the不会被加入索引

Distributed indexing

硬盘中分区存储

Each node contains index of a subset of collection

每个节点存放一部分索引

Dynamic indexing

Thresholding

document:

返回前Top x的文档，通过权值排序

qury

对frequency进行升序排序，然后对原始qury中频率低的部分先搜索。

比如搜索彭于晏和王宝强，先搜索频率低的，也就是先搜索王宝强，然后在有关王宝强的结果里搜索彭于晏。

Measure

对于搜索引擎的评价：

Data Retrivel

1.correctness

2.Response time

3.Index space

Information Retrivel

relevant of answer set

注意区分data和information