Lucene 基础

一、需求分析

1.1、数据分类

    结构化数据和非结构化数据

    结构化数据：指具有固定格式或有限长度的数据，如数据库、元数据等。

    非结构化数据：指不定长或无固定格式的数据，如邮件、word文档等磁盘上文件。

1.2、非结构化数据查询方法

（1）顺序扫描法

    就是要一个文档一个文档的看，相当的慢。

（2）全文检索

    将非结构化数据的一部分信息提取出来，重新组织，使其变得有一定结构，然后对有一定结构的数据进行搜索，从而达到搜索相对较快的目的。这部分从非结构化数据中提取出来然后重新组织的信息，称之为索引。例如：字典。

    全文检索：非结构数据，先创建索引，再对索引进行检索的过程叫全文检索

    虽然创建索引的过程非常耗时，但是索引一旦创建就可以多次使用，全文检索主要处理的是查询，所以耗时间创建索引是值得的。

1.3、如何实现全文检索

    可以使用Lucene实现全文检索。Lucene是apache下的一个开源的全文搜索引擎工具。

1.4、应用场景

    对于数据量大、数据结构不固定的数据可采用全文检索方式搜索，比如百度、google等搜索引擎、论坛站内搜索、电商网站站内搜索等。

 

二、Lucene实现全文检索的流程

2.1、实现全文检索的流程

创建索引 -> 原始文档 获取文档 创建文档对象 分析文档 创建索引（写入索引库）

查询索引 -> 创建索引接口 创建查询索引的对象 执行查询 渲染结果

2.2、创建索引

2.2.1、获取原始文档

    从互联网、数据库、文件系统中等获取需要搜索的原始信息，这个过程就是信息采集，信息采集的目的是为了对原始内容进行索引。

2.2.2、创建文档对象

    获取原始内容的目的是为了索引，在索引前需要将原始内容创建成文档（Document），文档中包括一个一个的域（Field），域中存储内容。

每个Document可以有多个Field，不同的Document可以有不同的Field，同一个Document可以有相同的Field（域名和域值都相同），每个文档都有一个唯一的编号，就是文档id。

2.2.3、分析文档

    将原始内容创建为包含域的文档，需要再对域中的内容进行分析，分析的过程是经过对原始文档提取单词、将字母转为小写、去除标点符号、去除停用词等过程生成最终的语汇单元，可以将语汇单元理解成一个一个的单词。

    Lucene is a Java full-text search engine.

    分析后得到的语汇单元：

    lucene、java、full、search、engine

    每个单词叫做一个Term，不同的域中拆分除出来的相同的单词是不同的term。term中包含两部分一部分是文档的域名，宁一部分是单词的内容。Term k(fileName) v(hello)。

2.2.4、创建索引

创建索引是对语汇单元索引，通过词语找到文档，这种索引的结构叫倒排索引结构。

传统方法是根据文件找到该文件的内容，在文件内容中匹配搜索关键字，这种方法是顺序扫描方法，数据量大，搜索慢。

倒排索引结构是根据内容找文档，如下图：

倒排索引结构也叫反向索引结构，包括索引和文档两部分，索引即词汇表，它的规模较小，而文档集合较大。

2.3、查询索引

2.3.1、创建查询

    用户输入查询关键字执行搜索之前需要先构建一个查询对象，查询对象中可以指定查询要搜索的Field文档域、查询关键字等，查询对象会生成具体的查询语法，例如：语法 “fileName:lucene” 表示要搜索Field域的内容为“lucene”的文档

2.3.2、执行查询

    搜索索引过程，根据查询语法在倒排索引词典表中分别找出对应搜索词的索引，从而找到索引所链接的文档链表。比如搜索语法为“fileName:lucene”表示搜索出fileName域中包含lucene的文档。搜索过程就是在索引上查找域为fileName，并且关键字为Lucene的term，并根据term找到文档id列表

2.3.3、渲染结果

    比如关键字高亮、百度提供的快照等。