全文检索的基本原理

 

全文检索的确加快了搜索的速度，但是多了索引的过程，两者加起来不一定比顺序扫描快多少。的确，加上索引的过程，全文检索不一定比顺序扫描快，尤其是在数据量小的时候更是如此。而对一个很大量的数据创建索引也是一个很慢的过程。然而两者还是有区别的，顺序扫描是每次都要扫描，而创建索引的过程仅仅需要一次，以后便是一劳永逸的了，每次搜索，创建索引的过程不必经过，仅仅搜索创建好的索引就可以了。这也是全文搜索相对于顺序扫描的优势之一：一次索引，多次使用。

 

 

一.如何创建索引

第一步：一些要索引的原文档(Document)。

第二步：将原文档传给分次组件(Tokenizer)。 分词组件(Tokenizer)会做以下几件事情(此过程称为Tokenize)：

1. 将文档分成一个一个单独的单词。

2. 去除标点符号。

3. 去除停词(Stop word)。 所谓停词(Stop word)就是一种语言中最普通的一些单词，由于没有特别的意义，因而大多数 情况下不能成为搜索的关键词，因而创建索引时，这种词会被去掉而减少索引的大小。英语中挺词(Stop word)如：“the”,“a”，“this”等。对于每一种语言的分词组件(Tokenizer)，都有一个停词(stop word)集合。

经过分词(Tokenizer)后得到的结果称为词元(Token)。

第三步：将得到的词元(Token)传给语言处理组件(Linguistic Processor)。

 

语言处理组件(linguistic processor)主要是对得到的词元(Token)做一些同语言相关的处理。

对于英语，语言处理组件(Linguistic Processor)一般做以下几点：

1. 变为小写(Lowercase)。

2. 将单词缩减为词根形式，如“cars”到“car”等。这种操作称为：stemming。

3. 将单词转变为词根形式，如“drove”到“drive”等。这种操作称为：lemmatization

 

第四步：将得到的词(Term)传给索引组件(Indexer)。

1. 利用得到的词(Term)创建一个字典。

2. 对字典按字母顺序进行排序。

3. 合并相同的词(Term)成为文档倒排(Posting List)链表。

 

二.如何对索引进行搜索？

第一步：用户输入查询语句。

查询语句同我们普通的语言一样，也是有一定语法的。 不同的查询语句有不同的语法，如SQL 语句就有一定的语法。 查询语句的语法根据全文检索系统的实现而不同。最基本的有比如：AND, OR, NOT 等。 举个例子，用户输入语句：lucene AND learned NOT hadoop。 说明用户想找一个包含lucene 和learned 然而不包括hadoop 的文档。

 

第二步：对查询语句进行词法分析，语法分析，及语言处理

1. 词法分析主要用来识别单词和关键字。

2. 语法分析主要是根据查询语句的语法规则来形成一棵语 法树。

3. 语言处理同索引过程中的语言处理几乎相同。

第三步：搜索索引，得到符合语法树的文档。

1. 首先，在反向索引表中，分别找出包含lucene，learn，hadoop 的文档链表。

2. 其次，对包含lucene，learn 的链表进行合并操作，得到既包含lucene 又包含learn 的文档链表。

3. 然后，将此链表与hadoop 的文档链表进行差操作，去除包含hadoop 的文档，从而得到既包含lucene 又包含learn 而且不包含hadoop 的文档链表。

4. 此文档链表就是我们要找的文档。

第四步：根据得到的文档和查询语句的相关性，对结果进行排序。