搜索引擎————倒排索引

1.倒排索引基本概念

• 文档(Document)：一般搜索引擎的处理对象是互联网网页，而文档代表以文本形式存在的存储对象，比网页来说更加广泛，比如Word，PDF，html，XML等不同格式的文件都可以称之为文档。再比如一封邮件，一条短信，一条微博也可以称之为文档。

• 文档集合(Document Collection)：由若干文档构成的集合称之为文档集合。

• 文档编号(Document ID)：在搜索引擎内部，会将文档集合内每个文档赋予一个唯一的内部编号，以此编号来作为这个文档的唯一标识，这样方便内部处理，每个文档的内部编号即称之为“文档编号”。

• 单词编号(Word ID)：搜索引擎内部以唯一的编号来表征某个单词，单词编号可以作为某个单词的唯一表征。

• 倒排索引(Inverted Index)：倒排索引是实现“单词-文档矩阵”的一种具体存储形式，通过倒排索引，可以根据单词快速获取包含这个单词的文档列表。倒排索引主要由两个部分组成：“单词词典”和“倒排文件”。

•  单词词典(Lexicon)：搜索引擎的通常索引单位是单词，单词词典是由文档集合中出现过的所有单词构成的字符串集合，单词词典内每条索引项记载单词本身的一些信息以及指向“倒排列表”的指针。

• 倒排列表(PostingList)：倒排列表记载了出现过某个单词的所有文档的文档列表及单词在该文档中出现的位置信息，每条记录称为一个倒排项(Posting)。根据倒排列表，即可获知哪些文档包含某个单词。

• 倒排文件(Inverted File)：所有单词的倒排列表往往顺序地存储在磁盘的某个文件里，这个文件即被称之为倒排文件，倒排文件是存储倒排索引的物理文件。

1. 倒排索引基本概念示意图：

2.倒排索引简单实例

     假设文档集合包含五个文档，每个文档内容如图3-3所示，在图中最左端一栏是每个文档对应的文档编号。我们的任务就是对这个文档集合建立倒排索引。

文档集合

       需要对每个单词赋予唯一的单词编号，同时记录哪些文当包含这些单词，如下就是一个简单的索引，单词ID记录了每个单词的单词编号，第二栏是对应的单词第三栏即每个单词对应的倒排列表。

简单的倒排索引

    比如单词“网站"，其单词编号为16，倒排列表为{5}，说明文档集合中就5号文档包含了这个单词。

到排列表还可以采用（1:1）,（2;1）,(3;2) 其中第一项代表文档的ID，第二项代表在文档中出现的次数即单词频率信息。

   复杂的还具有单词在文档中出现的相对位置。

3. 单词词典

      单词词典是倒排索引中非常重要的组成部分，它用来维护文档集合中出现过的所有单词的相关信息，同时用来记载某个单词对应的倒排列表在倒排文件中的位置信息。在支持搜索时，根据用户的查询词，去单词词典里查询，就能够获得相应的倒排列表，并以此作为后续排序的基础。

例如：哈希加链表

      主体部分是哈希表，每个哈希表项保存一个指针，指针指向冲突链表，在冲突链表里，相同哈希值的单词形成链表结构。之所以会有冲突链表，是因为两个不同单词获得相同的哈希值，如果是这样，在哈希方法里被称做是一次冲突，可以将相同哈希值的单词存储在链表里，以供后续查找。

   假设用户输入的查询请求为单词3，对这个单词进行哈希，定位到哈希表内的2号槽，从其保留的指针可以获得冲突链表，依次将单词3和冲突链表内的单词比较，发现单词3在冲突链表内，于是找到这个单词，之后可以读出这个单词对应的倒排列表来进行后续的工作，如果没有找到这个单词，说明文档集合内没有任何文档包含单词，则搜索结果为空。