一、需求分析
1.1、数据分类
结构化数据和非结构化数据
结构化数据:指具有固定格式或有限长度的数据,如数据库、元数据等。
非结构化数据:指不定长或无固定格式的数据,如邮件、word文档等磁盘上文件。
1.2、非结构化数据查询方法
(1)顺序扫描法
就是要一个文档一个文档的看,相当的慢。
(2)全文检索
将非结构化数据的一部分信息提取出来,重新组织,使其变得有一定结构,然后对有一定结构的数据进行搜索,从而达到搜索相对较快的目的。这部分从非结构化数据中提取出来然后重新组织的信息,称之为索引。例如:字典。
全文检索:非结构数据,先创建索引,再对索引进行检索的过程叫全文检索
虽然创建索引的过程非常耗时,但是索引一旦创建就可以多次使用,全文检索主要处理的是查询,所以耗时间创建索引是值得的。
1.3、如何实现全文检索
可以使用Lucene实现全文检索。Lucene是apache下的一个开源的全文搜索引擎工具。
1.4、应用场景
对于数据量大、数据结构不固定的数据可采用全文检索方式搜索,比如百度、google等搜索引擎、论坛站内搜索、电商网站站内搜索等。
二、Lucene实现全文检索的流程
2.1、实现全文检索的流程
创建索引 -> 原始文档 获取文档 创建文档对象 分析文档 创建索引(写入索引库)
查询索引 -> 创建索引接口 创建查询索引的对象 执行查询 渲染结果
2.2、创建索引
2.2.1、获取原始文档
从互联网、数据库、文件系统中等获取需要搜索的原始信息,这个过程就是信息采集,信息采集的目的是为了对原始内容进行索引。
2.2.2、创建文档对象
获取原始内容的目的是为了索引,在索引前需要将原始内容创建成文档(Document),文档中包括一个一个的域(Field),域中存储内容。
每个Document可以有多个Field,不同的Document可以有不同的Field,同一个Document可以有相同的Field(域名和域值都相同),每个文档都有一个唯一的编号,就是文档id。
2.2.3、分析文档
将原始内容创建为包含域的文档,需要再对域中的内容进行分析,分析的过程是经过对原始文档提取单词、将字母转为小写、去除标点符号、去除停用词等过程生成最终的语汇单元,可以将语汇单元理解成一个一个的单词。
Lucene is a Java full-text search engine.
分析后得到的语汇单元:
lucene、java、full、search、engine
每个单词叫做一个Term,不同的域中拆分除出来的相同的单词是不同的term。term中包含两部分一部分是文档的域名,宁一部分是单词的内容。Term k(fileName) v(hello)。
2.2.4、创建索引
创建索引是对语汇单元索引,通过词语找到文档,这种索引的结构叫倒排索引结构。
传统方法是根据文件找到该文件的内容,在文件内容中匹配搜索关键字,这种方法是顺序扫描方法,数据量大,搜索慢。
倒排索引结构是根据内容找文档,如下图:
倒排索引结构也叫反向索引结构,包括索引和文档两部分,索引即词汇表,它的规模较小,而文档集合较大。
2.3、查询索引
2.3.1、创建查询
用户输入查询关键字执行搜索之前需要先构建一个查询对象,查询对象中可以指定查询要搜索的Field文档域、查询关键字等,查询对象会生成具体的查询语法,例如:语法 “fileName:lucene” 表示要搜索Field域的内容为“lucene”的文档
2.3.2、执行查询
搜索索引过程,根据查询语法在倒排索引词典表中分别找出对应搜索词的索引,从而找到索引所链接的文档链表。比如搜索语法为“fileName:lucene”表示搜索出fileName域中包含lucene的文档。搜索过程就是在索引上查找域为fileName,并且关键字为Lucene的term,并根据term找到文档id列表
2.3.3、渲染结果
比如关键字高亮、百度提供的快照等。