什么是全文检索
全文检索是利用倒排索引技术对需要搜索的数据进行处理,然后提供快速匹配的技术。其实全文检索还有另外一种专业定义,先创建索引然后对索引进行搜索的过程,就是全文检索。
1:倒排索引
倒排索引是一种存储数据的方式,与传统查找有很大区别:
传统查找:采用数据按行存储,查找时逐行扫描,或者根据索引查找,然后匹配搜索条件,效率较差。概括来讲是先找到文档,然后看是否匹配。查找一个10MB的word文档,大概需要3秒
倒排索引:首先对数据按列拆分存储,然后对文档中的数据分词,对词条进行索引,并记录词条在文档中出现的位置。这样查找时只要找到了词条,就找到了对应的文档。概括来讲是先找到词条,然后看看哪些文档包含这些词条。
2:创建倒排索引流程
当我们需要把这些数据创建倒排索引时,会分为两步:
1:创建文档列表
首先将数据按列进行拆分存储,类型于mysql的表存储,每一条数据,就是一个文档,形成文档列表:
2:创建倒排索引列表
然后对文档中的数据进行分词,得到词条。对词条进行编号,并以词条创建索引。然后记录下包含该词条的所有文档编号(及其它信息)。
流程如下:
3:搜索流程
搜索的基本流程:
当用户输入任意的搜索关键词时,首先对用户输入的内容进行词拆分,得到要搜索的所有词条,如用户搜索“java培训”,拆分后就是“java 、培训”,
然后拿着这些拆分后的词去倒排索引列表中进行匹配。找到这些词对应的所有文档编号
然后根据这些编号去文档列表中找到文档。
4:什么是ElasticSearch
开源的高扩展的分布式全文检索引擎
近乎实时的检索数据;
本身扩展性很好,可以扩展到上百台服务器,处理PB级别的数据。
ES使用Java开发【早期是用Maven构建,后期Gradle】
核心是Lucene
如果您觉得文章好看,欢迎点赞收藏加关注,一连三击呀,感谢!!☺☻