搜索Query理解

已于 2024-05-27 13:20:24 修改
阅读量154 收藏
点赞数 1
分类专栏： 搜推广 文章标签： 自然语言处理
于 2024-05-27 13:20:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40566713/article/details/139235602
版权

1、query预处理：大小写、全半角、简繁、长度截断
2、query分词：领域词库、新词发现、粗/细粒度分词
3、query改写：纠错、归一、扩展
4、Term分析：分词、重要性&紧密度
5、意图识别

Sophie'sCookingLab
关注
专栏目录
深入理解搜索引擎——详解query理解
我是药老的博客
04-23 3246
【导语】当你在搜索框输入一串简短的文本后，搜索引擎立马会返回成千上万条结果，整个搜索过程看似简单，其实底层引擎大有文章。每一个简短的搜索词背后都隐藏着用户最真实的查询意图，需要搜索引擎使用很多不同策略去挖掘用户背后的需求，这就涉及到“搜索query理解”。 我们此前讲过《初识query理解》，再来复习一下总体流程： 当用户输入query：“P i g n g u o 的生產地。”在以上每个模块具体是怎么处理的？ 01 文本预处理 大小写转换：query会转为“p i g n g u o 的生產地。” 全半
天池比赛【NLP】医学搜索Query相关性判断 第三名方案.zip
08-24
在“天池比赛【NLP】医学搜索Query相关性判断 第三名方案.zip”这个压缩包中，我们主要关注的是一个自然语言处理（NLP）的竞赛项目，它聚焦于医学搜索查询的相关性评估。这类问题在实际应用中至关重要，因为搜索引擎...
科普帖：什么是Query？关于数据库查询的解释
WPHunter的编程技术资料库！
01-03 4017
本文将解释查询的工作原理、查询示例，并介绍将它们写入数据库的步骤。
搜索中的 Query 理解及应用
SeaSky_Steven的博客
05-08 6903
文章作者：Joelchen 腾讯 研究员 编辑整理：Hoh 内容来源：腾讯技术工程 出品平台：DataFunTalk 注：转载请联系原作者。 导读：Query 理解 ( QU，Query Understanding )，简单来说就是从词法、句法、语义三个层面对 query 进行结构化解析。这里 query 从广义上来说涉及的任务比较多，最常见的就是我们在搜索系统中输入的查询词，也可以是 FAQ 问答或阅读理解中的问句，又或者可以是人机对话中用户的聊天输入。本文主要介绍在搜索中的 query .
搜索-Query理解(全)
01-06 7026
Query 模块： 纠错 分词 紧密度 同义词 词权重 实体词识别 意图识别 长尾 query 的多样性对于搜索系统来说是一个很大的挑战，原因有： ❶存在输入错误。例如上图中的错误 query "塞尔维雅" ( 塞尔维亚 )，对于这种错误我们希望系统能够自动的纠错； ❷存在表达冗余。例如输入 "孙子兵法智慧的现代意义"，在这个语境下，"智慧" 是一个无关紧要的词。如果强制去匹...
深入搜索引擎--查询（Query）
东拉西扯到天明
03-12 674
[b]1.Query的数据分析[/b] Query即用户在搜索引擎输入查询条件。在通用搜索引擎中，一般是指输入的关键词。而在各类行业或者垂直搜索引擎，还可以输入类目，如优酷网站中可以选择“电影”、“电视剧”这样的类目。在电子商务网站中，各种产品品牌、型号、款式、价格等也是常见的查询条件。 要分析query中每个term的内容，分词是必不可少的工具。分词算法从最简单的最大正向、最大...
Query理解
03-23 327
文章目录全面理解搜索Query1. 前言2. 相关概念2.1 NLP2.2 搜索引擎2.2.1 离线挖掘2.2.2 在线检索2.2.3 多模语义搜索3.Query理解3.1 Pipeline流程3.2 Query预处理3.3 Query分词3.3.1 分词技术3.3.2 新词发现3.4 紧密度分析3.5 Term重要性分析3.6 搜索引导3.6.1 Query改写3.6.1.1 Query纠错3.6.1.2 Query扩展3.6.1.3 Query归一3.6.2搜索联想词3.7 意图识别3.7.1 精准意图
搜索引擎算法工程师，在query理解方面，都有哪些方面的工作
Angus
07-11 1445
通俗来讲，就是query整形。又可以理解为是一个转接头，把用户送来过来的奇奇怪怪的query（或者说是在搜索引擎看来是奇奇怪怪的query）转换为搜索引擎最想看到的query的。在LLM当前能力的帮助下，实际上query理解的工作好做多了。即使没有太多基础的玩家，实际上完全可以依赖LLM来做这件事。对于任何一个环节，就是一个prompt的事情。这绝对是会有收益的。问题是成本，以及性能。一个检索需求的时延要求多数是3s内，如果只靠LLM是很难控制在3s内的。
知乎搜索框背后的Query理解和语义召回技术
夕小瑶科技说
04-14 8798
一只小狐狸带你解锁 炼丹术&NLP秘籍前言随着用户规模和产品的发展， 知乎搜索面临着越来越大的 query 长尾化挑战，query 理解是提升搜索召回质量的关键。本次分享将介...
3-1+Query+理解和语义召回在知乎搜索中的应用.pdf
03-18
Query 理解和语义召回在知乎搜索中的应用 Query 理解和语义召回是自然语言处理和信息检索领域的重要研究方向。在知乎搜索中，Query 理解和语义召回技术被广泛应用于搜索引擎的优化，以提高搜索结果的相关性和准确性...
搜索中的Query理解及应用.rar
10-18
在搜索引擎的世界里，Query理解是至关重要的一环，它关乎到用户能否快速准确地找到所需信息。"搜索中的Query理解及应用"这个主题涉及到人工智能（AI）、自然语言处理（NLP）以及知识图谱（KG）等多个领域的重要知识...
搜索中的Query理解及应用.pdf
08-12
Query理解在搜索引擎中扮演着至关重要的角色，它涉及到自然语言处理（NLP）技术，旨在解析用户输入的查询，从而更好地理解和满足用户的搜索需求。在搜索系统中，query理解不仅包括对用户输入的查询词进行词法、句法...
NLP任务之预测最后一个词
Hiweir的博客
09-29 1129
针对这个vocab_size=50257的问题，分类类别就是50257个类别。#预测下一个词，只需要数据集中的sentence, 不需要label和idx。#使用map函数做映射。处理只剩下sentence。#预测最后一个词：是一个多分类问题。
论文翻译 | ReWOO: 高效增强语言模型的解耦推理
m0_49651195的博客
10-02 1492
增强语言模型(ALMs)将大型语言模型(LLMs)的推理能力与允许知识检索和操作执行的工具混合在一起。现有ALM系统触发LLM思维过程，同时以交错的方式从这些工具中提取观察结果。具体来说，LLM调用外部工具的原因，暂停以获取工具的响应，然后根据前面的所有响应令牌决定下一个操作。这种范例虽然简单且易于实现，但由于冗余提示和重复执行，通常会导致巨大的计算复杂性。本研究首次解决了这些挑战，提出了一种模块化范式ReWOO(无观察推理)，将推理过程与外部观察分离，从而显着减少了令牌消耗。
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-01
10-01 1178
本研究使用主题建模方法，映射了教育中多模态和生成式人工智能（GenAI）的研究现状。通过Dimensions.ai进行广泛的文献搜索，得到4175篇文章。采用主题建模方法提取潜在主题，得出38个可解释的主题，组织成14个主题区域。研究发现在教育背景下，文本到文本模型的研究占主导地位，而其他模态的研究相对较少，忽视了多模态方法的更广泛潜力。研究结果表明存在研究空白，强调了在不同AI模态和教育层次上给予更平衡关注的重要性。药品错误显著威胁患者安全，导致不良药物事件（ADEs）和医疗系统的巨大经济负担。
什么是大语言模型?
学习与分享人工智能技术
09-29 887
本文介绍了语言模型的发展历程以及大语言模型的基本概念。
CNN+Transformer在自然语言处理中的具体应用
owolai的博客
10-01 400
Transformer模型可以用于生成文本摘要，通过编码输入文本的全局信息，并生成连贯、准确的摘要。3.
BERT论文解读及情感分类实战（论文复现）
最新发布
wei_shuo的博客
10-05 388
BERT论文解读及情感分类实战（论文复现）
全面理解搜索query
01-25
全面理解搜索query包括以下几个方面。 首先，搜索query是用户表达信息需求的方式。当用户需要获取某种信息时，他们会通过搜索query告诉搜索引擎他们想要找到什么内容。用户需要清晰明确地输入关键词或者短语，以便...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值