全面理解搜索Query：当你在搜索引擎中敲下回车后，发生了什么？

最新推荐文章于 2024-04-20 09:51:19 发布

AI算法攻城狮

最新推荐文章于 2024-04-20 09:51:19 发布

阅读量2.6k

点赞数 1

分类专栏： AI人工智能算法落地与实践

本文链接：https://blog.csdn.net/jxq0816/article/details/105126826

版权

AI人工智能算法落地与实践专栏收录该内容

92 篇文章 240 订阅 ¥99.90 ¥299.90

订阅专栏

本文介绍了搜索引擎中Query理解的重要性，包括预处理、分词、新词发现、紧密度分析、Term重要性、意图识别等关键步骤。Query理解直接影响检索和排序的质量，对提升搜索体验至关重要。当前技术主要基于pipeline流程，未来可能朝着端到端理解发展，以更好地应对多模态搜索和用户多样化需求。

摘要由CSDN通过智能技术生成

1. 前言

Query理解（QU，Query Understanding），简单来说就是从词法、句法、语义三个层面对query进行结构化解析。这里query从广义上来说涉及的任务比较多，最常见的就是我们在搜索系统中输入的查询词，也可以是FAQ问答或阅读理解中的问句，又或者可以是人机对话中用户的聊天输入。本文主要介绍在搜索中的query理解，会相对系统性地介绍query理解中各个重要模块以及它们之间如何work起来共同为搜索召回及排序模块服务，同时简单总结个人目前了解到业界在各个模块中的一些实现方法。

2. 相关概念

2.1 NLP

自然语言处理（NLP，Natural Language Processing）是集语言学、统计学、计算机科学，人工智能等学科于一体的交叉领域，目标是让计算机能在处理理解人类自然语言的基础上进一步执行结构化输出或语言生成等其他任务，其涉及的基础技术主要有：词法分析、句法分析、语义分析、语用分析、生成模型等。诸如语音识别、机器翻译、QA问答、对话机器人、阅读理解、文本分类聚类等任务都属于NLP的范畴。

这些任务从变换方向上来看，主要可以分为自然语言理解（NLU，Natural Language Understanding）和自然语言生成（NLG，Natural Language Generation）两个方面，其中NLU是指

了解本专栏