Lucene全文检索入门
Lucene (全文检索技术)
一.什么是全文检索
- 数据的分类
- 结构化数据:
- 格式固定、长度固定、数据类型固定(例如数据库中的数据)
- 非结构化数据
- 格式不固定、长度不固定、数据类型不固定(word文档、PDF文档、邮件、html)
- 结构化数据:
- 数据的查询
- 结构化数据:
- SQL语句
- 非结构化数据:
- 顺序扫描
- 全文检索
- 先创建索引然后查询索引的过程叫做全文索引
- 索引一次创建可以多次使用
- 结构化数据:
二、全文搜索的应用场景
- 搜索引擎:百度、Google
- 站内搜索:文章搜索、商品搜索
- 只要有搜索的地方,就可以用全文检索技术
三、什么是Lucene
Lucene是apache下的一个开放源代码的全文检索引擎工具包。提供了完整的查询引擎和索引引擎,部分文本分析引擎。Lucene的目的是为软件开发人员提供一个简单易用的工具包,以方便的在目标系统中实现全文检索的功能。
四、Luence实现全文检索的流程
1、绿色表示索引创建过程,对要搜索的原始内容进行索引构建一个索引库,索引创建过程包括:
确定原始内容 (即要搜索的内容)→ 采集文档 → 创建文档 → 分析文档 → 索引文档
2、红色表示搜索过程,从索引库中搜索内容,搜索过程包括:
用户通过搜索界面 → 创建查询 → 执行搜索,从索引库搜索 → 渲染搜索结果
1. 创建索引
-
获得原始文档
- 原始文档是指要索引和搜索的内容。原始内容包括互联网上的网页、数据库中的数据、磁盘上的文件等
-
创建文档对象
- 将原始文档创建成文档对象(Document),文档对象中包括多个域(Filed,可以理解为字段),在域中存储内容
注意:每个Document可以有多个Field,同一个Document可以有相同的Field(域名和域值都相同)
每个文档都有一个唯一的编号,就是文档id。
-
分析文档
将原始内容创建为包含域(Field)的文档(document),需要再对域中的内容进行分析,分析的过程是经过对原始文档提取单词、将字母转为小写、去除标点符号、去除停用词等过程生成最终的语汇单元,可以将语汇单元理解为一个一个的单词。
比如下边的文档经过分析如下:
原文档内容:
Lucene is a Java full-text search engine. Lucene is not a complete application, but rather a code library and API that can easily be used to add search capabilities to applications.
分析后得到的语汇单元:
lucene、java、full、search、engine。。。。
每个单词叫做一个Term,不同的域中拆分出来的相同的单词是不同的term。
term中包含两部分一部分是文档的域名,另一部分是单词的内容。
例如:文件名中包含apache和文件内容中包含的apache是不同的term。
-
创建索引
- 对所有文档分析得出的语汇单元进行索引,索引的目的是为了搜索,最终要实现只搜索被索引的语汇单元从而找到Document(文档)
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gEjdEHIe-1576921865343)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20191221173841806.png)]
注意:创建索引是对语汇单元索引,通过词语找文档,这种索引的结构叫倒排索引结构。
传统方法是根据文件找到该文件的内容,在文件内容中匹配搜索关键字,这种方法是顺序扫描方法,数据量大、搜索慢。(说人话:传统方法是通过找每个文件里的指定关键字,而倒排索引是通过关键字找到它所在的文件)
倒排索引结构也叫反向索引结构,包括索引和文档两部分,索引即词汇表,它的规模较小,而文档集合较大。
2. 查询索引
查询索引也是搜索的过程。搜索就是用户输入关键字,从索引(index)中进行搜索的过程。根据关键字搜索索引,根据索引找到对应的文档,从而找到要搜索的内容(这里指磁盘上的文件)。
3. 执行查询
搜索索引过程:
根据查询语法在倒排索引词典表中分别找出对应搜索词的索引,从而找到索引所链接的文档链表。
比如搜索语法为“fileName:lucene”表示搜索出fileName域中包含Lucene的文档。
搜索过程就是在索引上查找 域 为fileName,并且 关键字 为Lucene的term,并根据term找到文档id列表。