全文检索篇——Lucene

全文检查篇——Lucene

Lucene核心原理图解

收集数据、写入索引、用户输入关键字、对索引进行查询、返回查询结果.

全文检索引擎就是一个搜索引擎，要进行搜索必须有一个数据源。在①处可以看到，我们的数据源可以来自下面四个地方：

文件系统：我们的操作系统搜索是通过顺序搜索速度相当的慢，在这也可以通过全文检索来提高搜索速度；
数据库：数据库对于文本字段的内容不能建立索引，在以后应用中也会在数据库基础上集成全文检索来提高检索速度；
互联网：目前网络中的数据量已经达到百亿单位，在搜索时能够为所有的网页建立目录也是可以提高搜索速度。
其他输入：可以直接对直接输入的内容建立索引和储存。

有了数据，目的就是为了给用户提供搜索服务。在②处用户界面主要有两个功能：

获取用户输入的搜索关键字，发送请求到后台进行处理；
响应查询，展示搜索结果。

不同搜索引擎的技术主要体现在③处，我们可以看到对于索引库操作主要分为两步：

对外部数据的索引建立，必要时索引库也可以储存数据；
响应用户的搜索请求，检索结果，进行相关排序后返回到前台。

全文索引核心

全文检索主要就分为索引的建立和索引的搜索

索引创建

将现实世界中所有的结构化和非结构化数据提取信息，创建索引的过程。那么索引里面究竟存的什么，以及如何创建索引呢？在这通过下面的例子来解答这个问题。

首先构造三个不同的句子，有长有短：

在①处分别为3个句子加上编号，然后进行分词，把被一个单词分解出来与编号对应放在②处；在搜索的过程总，对于搜索的过程中大写和小写指的都是同一个单词，在这就没有区分的必要，按规则统一变为小写放在③处；要加快搜索速度，就必须保证这些单词的排列时有一定规则，这里按照字母顺序排列后放在④处；最后再简化索引，合并相同的单词，就得到如下结果：

通常在数据库中我们都是根据文档找到内容，而这里是通过词，能够快速找到包含他的文档，这就是文档倒排链表。

索引搜索

就是得到用户的查询请求，搜索创建的索引，然后返回结果的过程。

比如我们要搜索java world两个关键词，符合java的有1,2两个文档，符合world的有1,3两个文档，在搜索引擎中直接这样排列两个词他们之间是OR的关系，出现其中一个都可以被找到，所以这里3个都会出来。全文检索中是有相关性排序的，那么结果在是怎么排列的呢？hello java world中包含两个关键字排在第一，另两个都包含一个关键字，得到结果，hello lucene world排在第二，java在最长的句子中占的权重最低排在结果集的第三。从这里可以看出相关度排序还是有一定规则的。