全文搜索-综述

最新推荐文章于 2024-10-08 00:24:56 发布

Ryon_zhan

最新推荐文章于 2024-10-08 00:24:56 发布

阅读量80

点赞数

分类专栏：全文检索文章标签：全文检索 elasticsearch sql ai

本文链接：https://blog.csdn.net/Ryon_zhan/article/details/131554771

版权

全文检索专栏收录该内容

5 篇文章 0 订阅

订阅专栏

全文搜索涉及检索和排序两个关键阶段。检索阶段常用方法包括字符串顺序匹配、倒排索引（如ElasticSearch的Lucene基础）和向量比较；排序阶段则有词频统计（如TF-IDF、BM25）和神经网络模型（如Cross-Encoder）。优化搜索引擎要考虑数据源、索引策略、查询解析和性能提升。

摘要由CSDN通过智能技术生成

步骤

全文匹配其实大致上分为两个阶段：
第一个阶段是检索，在检索阶段，系统会根据用户输入的关键词或者搜索条件从倒排索引等数据结构中检索出匹配的文档，这个过程也被称为“召回”；
第二个阶段是排序，在排序阶段，系统会根据一些排序算法和策略，对召回的文档进行打分，然后按照得分进行排序，将排名靠前的文档返回给用户，这个过程也被称为“排序”；

检索阶段和排序阶段都是全文搜索过程中非常重要的阶段。在检索阶段，系统需要快速地从庞大的文档集合中找到与用户需求相匹配的文档，这个过程涉及到分词、建立索引、倒排索引等技术。在排序阶段，系统需要对召回的文档进行评分和排序，这个过程涉及到排序算法、文档评分模型等技术。

检索

当涉及到全文搜索的检索阶段时，以下是几种常用的实现方法：

字符串顺序匹配：最简单的匹配模式，比如KMP算法（适用于文本较长，目标字符串较短）、Boyer-Moore算法（适用文本较长，目标字符串较长）、使用Regex等
倒排索引：倒排索引是一种数据结构，用于快速地定位包含特定单词或短语的文档。倒排索引维护了每个单词或短语在哪些文档中出现的信息，这些信息被组织成一个索引表，用户查询时，系统可以在索引表中快速地找到匹配的文档。具体实现方式为Lucene，也是包括ElasticSearch和Solr等的基底索引方式
向量比较：向量空间模型是一种基于数学向量的检索模型，将文档和查询都表示为向量，然后计算它们之间的余弦相似度。向量空间模型不需要预先建立索引，因此适用于处理大规模的数据集。比如Word2Vec、Dual-Encoder等

排序

对于检索完后的排序，同样有不同的实现方式

词频统计：在排序阶段，词频统计是一种常见的评分算法，可以用来计算文档与查询之间的相关性，从而对搜索结果进行排序。比如TF-IDF、BM25算法等。ElasticSearch在排序阶段就是基于Okapi BM25算法
神经模型：如Cross-Encoder模型是在Dual-Encoder的基础上进一步增加了一个交叉编码的阶段，将两个输入文本同时输入给一个编码器进行处理，然后将处理后的向量用于匹配计算。这种方法可以捕获更多的语义信息

实现思路

确定搜索引擎的数据源和文档类型：要搜索什么类型的文档？搜索引擎需要从哪些数据源获取数据，例如数据库、文本文件、HTML 文件、PDF 文件、电子邮件等？
确定搜索引擎的索引策略：为了加速搜索，搜索引擎通常需要先创建一个索引，将数据源中的文档内容、标题、摘要等信息提取出来，并建立一个索引库。索引库应该如何建立，包括哪些字段需要被索引，如何对不同的字段进行分词、过滤和归一化等操作？
设计查询解析器：当用户输入查询关键词时，搜索引擎需要对用户输入的文本进行解析和归一化处理。查询解析器应该如何处理查询语法、拼写错误、同义词、近义词、词形变化等问题，以及如何按照相关度排序结果？
优化搜索引擎的性能：搜索引擎的性能优化是一个复杂的过程，涉及到索引库的设计、查询解析器的算法、搜索结果的缓存和分页等方面。优化搜索引擎的性能可以提高用户的搜索体验，并减少服务器的负载。
收集用户反馈和数据分析：通过收集用户反馈和数据分析，可以了解用户的搜索习惯、热门搜索关键词、搜索结果的相关度、性能瓶颈等问题，进一步优化搜索引擎的策略。

总的来说，全文搜索策略设计需要考虑多方面的问题，包括搜索引擎的数据源和文档类型、索引策略、查询解析器、性能优化和数据分析等方面。