Lucene01--倒排索引思想
1、 倒排索引的概念:
首先对数据按列拆分存储,然后对文档中的数据分词,对词条进行索引,并记录词条在文档中出现的位置。这样查找时只要找到了词条,就找到了对应的文档。概括来讲是先找到词条,然后看看哪些文档包含这些词条。
1.1 文档(Document):
索引库中的每一条原始数据,例如一个网页信息,一件商品信息。
1.2 词条:
原始数据按照算法进行分词,得到的每一个词。
2、 创建倒排索引流程
2.1 获得文档:比如要存储文章
2.2 创建文档列表
首先将数据按列进行拆分存储,类似于mysql的表存储,每一条数据,就是一个文档,形成文档列表。
假设文章有编号(docId)、标题(title)、内容(content)、评分(score)。每一条数据就是一篇文章。
2.3 创建倒排索引列表
然后对文档中的数据根据分词规则经常分词,得到词条。对词条进行编号,并以词条创建索引。然后记录下包含该词条的所有文档编号(以及其它信息)。
比如按照title字段进行分词
词ID 词典 词所对应的文档id 词所对应的字段(域)
1 我的 1,2,3 title
2 祖国 1 title
3 家乡 2 title
4 女友 3 title
整体流程如下
3、 搜索流程
3.1 当用户输入任意的搜索关键词时,首先对用户输入的内容进行词拆分,得到要搜索的所有词条,比如用户根据标题搜索“我的老友”,拆分后就是“我的”、“老友”
3.2 然后拿着这些拆分后的词去倒排索引列表中进行匹配。找到这些词对应的所有文档编号。
3.3 最后根据这些编号去文档列表中找到文档
4、 索引库
一个索引:一张文档列表 + 一张倒排索引表。
创建索引的流程也就是创建倒排索引的流程。
5、 什么是Lucene?
如果理解了倒排索引思想,我们再来看看到底什么是Lucene?
Lucene是一个基于java开发全文检索工具包。
5.1 全文检索
5.1.1 定义1:全文检索是利用倒排索引技术对需要搜索的数据进行处理,然后提供快速匹配的技术。
5.1.2 定义2:先创建索引然后对索引进行搜索的过程,就是全文检索。
欢迎评论!