Lucene全文检索入门

Lucene (全文检索技术)

一.什么是全文检索

• 数据的分类
  • 结构化数据：
    • 格式固定、长度固定、数据类型固定（例如数据库中的数据）
  • 非结构化数据
    • 格式不固定、长度不固定、数据类型不固定（word文档、PDF文档、邮件、html）
• 数据的查询
  • 结构化数据：
    • SQL语句
  • 非结构化数据：
    • 顺序扫描
    • 全文检索
      • 先创建索引然后查询索引的过程叫做全文索引
      • 索引一次创建可以多次使用

二、全文搜索的应用场景

• 搜索引擎：百度、Google
• 站内搜索：文章搜索、商品搜索
• 只要有搜索的地方，就可以用全文检索技术

三、什么是Lucene

Lucene是apache下的一个开放源代码的全文检索引擎工具包。提供了完整的查询引擎和索引引擎，部分文本分析引擎。Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能。

四、Luence实现全文检索的流程

1、绿色表示索引创建过程，对要搜索的原始内容进行索引构建一个索引库，索引创建过程包括：

确定原始内容 （即要搜索的内容）→ 采集文档 → 创建文档 → 分析文档 → 索引文档

​

2、红色表示搜索过程，从索引库中搜索内容，搜索过程包括：

用户通过搜索界面 → 创建查询 → 执行搜索，从索引库搜索 → 渲染搜索结果

1. 创建索引

• 获得原始文档

  • 原始文档是指要索引和搜索的内容。原始内容包括互联网上的网页、数据库中的数据、磁盘上的文件等

• 创建文档对象

  • 将原始文档创建成文档对象（Document），文档对象中包括多个域（Filed，可以理解为字段），在域中存储内容

  

  注意：每个Document可以有多个Field，同一个Document可以有相同的Field（域名和域值都相同）

  每个文档都有一个唯一的编号，就是文档id。

• 分析文档

  将原始内容创建为包含域（Field）的文档（document），需要再对域中的内容进行分析，分析的过程是经过对原始文档提取单词、将字母转为小写、去除标点符号、去除停用词等过程生成最终的语汇单元，可以将语汇单元理解为一个一个的单词。

  比如下边的文档经过分析如下：

  原文档内容：

  Lucene is a Java full-text search engine. Lucene is not a complete
  
  application, but rather a code library and API that can easily be used
  
  to add search capabilities to applications.
  

  分析后得到的语汇单元：

  lucene、java、full、search、engine。。。。
  

  每个单词叫做一个Term，不同的域中拆分出来的相同的单词是不同的term。

  term中包含两部分一部分是文档的域名，另一部分是单词的内容。

  例如：文件名中包含apache和文件内容中包含的apache是不同的term。

• 创建索引

  • 对所有文档分析得出的语汇单元进行索引，索引的目的是为了搜索，最终要实现只搜索被索引的语汇单元从而找到Document（文档）

  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gEjdEHIe-1576921865343)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20191221173841806.png)]

注意：创建索引是对语汇单元索引，通过词语找文档，这种索引的结构叫倒排索引结构。

传统方法是根据文件找到该文件的内容，在文件内容中匹配搜索关键字，这种方法是顺序扫描方法，数据量大、搜索慢。（说人话：传统方法是通过找每个文件里的指定关键字，而倒排索引是通过关键字找到它所在的文件）

倒排索引结构也叫反向索引结构，包括索引和文档两部分，索引即词汇表，它的规模较小，而文档集合较大。

2. 查询索引

查询索引也是搜索的过程。搜索就是用户输入关键字，从索引（index）中进行搜索的过程。根据关键字搜索索引，根据索引找到对应的文档，从而找到要搜索的内容（这里指磁盘上的文件）。

3. 执行查询

搜索索引过程：

根据查询语法在倒排索引词典表中分别找出对应搜索词的索引，从而找到索引所链接的文档链表。

比如搜索语法为“fileName:lucene”表示搜索出fileName域中包含Lucene的文档。

搜索过程就是在索引上查找 域 为fileName，并且 关键字 为Lucene的term，并根据term找到文档id列表。