信息检索时多义词、近义词对查准率、查全率的影响

最新推荐文章于 2021-11-19 00:13:38 发布
最新推荐文章于 2021-11-19 00:13:38 发布
阅读量1k 收藏
点赞数 1
分类专栏： 机器学习与数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44997802/article/details/116211279
版权
本文探讨了多义词如何导致查准率下降，近义词如何影响查全率，并分析了在人工智能算法中处理这类问题的重要性。通过对文本理解的深入研究，提出了解决方案，以提高算法的准确性和召回率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

首先我们知道查全率公式
R=TP/(TP+FN)
查准率公式
P=TP/(TP+FP)

多义词的存在会使得FP(错的被捧上来)上升，因而查准率下降
近义词的存在会使得FN(实际算法识别不出来近义词，而近义词应该被分为一类，对的被误杀)上升，因而查全率下降

NLP学习—16.对话系统及信息检索技术
柳杰的博客
08-30 1783
文章目录一、对话系统概述二、对话系统的分类及其对应得解决方案三、检索及倒排索引四、召回及重排五、倒排索引的空间优化方法—Variable Byte Compression六、倒排索引搜索算法—Weak and（WAND）七、检索系统的评价指标 一、对话系统概述   对话系统在电商、银行等业务场景中应用很广。从框架方面，对话系统可以分为问答系统与多轮对话系统。 二、对话系统的分类及其对应得解决方案   对话系统的分类如下： 闲聊式对话系统 目前，市面上闲聊机器人的解决方案baseline是基于seq2s
终于有人把搜索引擎讲明白了
大数据
03-21 4538
导读：我们现在正处在一个信息过载的时代。全世界每年产生1EB到2EB (1EB≈1018B)信息，相当于地球上每个人每年大概产生250MB信息。其中，纸质信息仅占所有信息的0.03%。静态...
如何运用计算机检索方法,在计算机检索中可采取怎样的方法来提高查全率及查准率...
weixin_29369363的博客
06-21 2722
所谓的信息检索语言就是信息组织与信息检索时所用的语言，也称文献检索语言、情报语言等。信息资源在存储过程中，其内容特征(分类、主题)和外部特征(如书名、刊名、题名、著者等)按照一定的语言来加以表达，检索文献信息的提问也按照一定的语言来表达，为了使检索过程快速、准确，检索用户与检索系统需要统一的标识系统，这种在文献信息的存储与检索过程中，共同使用、共同理解的统一的标识就是检索语言。信息检索语言主要有两...
同义词 - 搜索引擎
06-10 1199
同义词分类：索引同义词和搜索同义词。 索引同义词和搜索同义词的关系：时间和空间互换，任何词都可以放在搜索同义词中也可以放在索引同义词中，
信息检索(IR)—信息检索模型(一)
hei653779919的博客
05-07 9646
信息检索(IR)—信息检索模型(一) 1. 信息检索模型的概念和分类 1.1 信息检索模型的概念 信息检索模型是一个四元组[D,Q,F,R(qi,dj)][D,Q,F,R(q_i,d_j)][D,Q,F,R(qi​,dj​)]所组成，其中D：表示文档集，Q表示用户的查询集合，F为文档表示，查询表示和它们之间关系的模型框架。R(qi,dj)R(q_i,d_j)R(qi​,dj​)表示排序函数，给定q...
影响数据检索效率的几个因素
weixin_34256074的博客
06-07 860
数据检索有两种主要形态。第一种是纯数据库型的。典型的结构是一个关系型数据，比如 mysql。用户通过 SQL 表达出所需要的数据，mysql 把 SQL 翻译成物理的数据检索动作返回结果。第二种形态是现在越来越流行的大数据玩家的玩法。典型的结构是有一个分区的数据存储，最初这种存储就是原始的 HDFS，后来开逐步有人在 HDFS 上加上索引...
【贪玩巴斯】一文学会检索三要素：检索字段、检索词、检索算法检索（二）——「一文学会检索三要素：检索字段、检索词、检索算法」 2021-09-18
D16100的博客
09-22 1万+
检索式三要素 检索字段、检索词、检索算法 三要素 1.检索词 理解课题基础上，揭示用户表达的目标。必须是名词，名词性词组、符号。 抓住研究实质，从概念入手，采用名词，名词性词组。 例子： 维生素C在坏血病中的应用研究 注意找出隐形检索词。（需要自己思考，难度高） 例子：高温下使用的不锈钢 主体概念：显性：不锈钢 注：高强度、高效率不能为检索词 隐形检索词：耐热钢 从抽象主题中提炼具体的检索词。 例子：生活污水的处理 抽象主题：处理 具体主题：“净化”、“回收”、“再生”、.
影响网络信息检索效率的因素
05-03
例如，提供更丰富的检索语法可以帮助用户精确表达需求，从而提高查全率和查准率。 #### 二、用户网络信息检索技巧 除了网络检索工具本身的影响因素外，用户在使用这些工具时所采取的方法和策略也会显著影响检索...
信息检索技术综述_梁鸿雁
04-09
查全率低意味着可能遗漏用户所需的信息，而查准率低则会导致检索出大量不相关的信息。此外，该方法还难以处理同义词和近义词的问题，对于用户查询与信息内容不匹配的情况也束手无策。例如，用户查询“计算机”，而...
几种信息检索模型比较.pdf
最新发布
10-20
1. **通用的信息检索模型**：这种模型旨在满足大多数用户的查询需求，通过优化匹配算法来提升查询速度、查全率和查准率。通用模型通常基于数学和统计方法，例如TF-IDF（词频-逆文档频率）和余弦相似度，以确定文档和...
信息检索(IR)—评价指标(二)
hei653779919的博客
05-05 3971
信息检索(IR)—评价指标(二) 接上一篇文章： 信息检索(IR)—评价指标(一)
信息检索(IR)——索引与检索
hei653779919的博客
05-07 4192
信息检索(IR)——索引与检索 1. 索引 在介绍这部分内容之前，我们先来回顾一下信息检索系统的基本架构： 1.1 索引的作用 首先，当用户提交一个query的时候，我们考虑一下，应该如何生成结果？如果直接对文档库中的每一篇文档进行扫描，当文档库特别大或者文档本身就特别大的时候，这种扫描的过程本身就是费时费力的，为了提高检索速度，我们肯定是需要对文档库中的文档进行预处理，这个时候就需要索引结构。...
考研英语单词-近义词分类-Second Day
love_wfy的博客
09-18 686
2/30 三十天的第二天，单词这种东西，循序渐进，你敢说中国汉字都认识？ 认为，看作 含义 consider 认为，考虑，体谅 suppose 根据所知认为，推断 deem 正式视为，相信 regard 以某种方式注视 reckon 非正式地想，认为 考虑，细想 含义 contemplate 打算，深思熟虑 mediate 沉思，深思 p...
QA中的信息检索技术（IR）整理
qq_43183860的博客
11-19 4554
从广义上讲，目前的 Retriever 方法可以分为三类，即 Sparse Retriever、Dense Retriever 和 Iterative Retriever，下面将详细介绍。
LSI/LSA算法原理与实践Demo
Magician的博客
06-05 2万+
1、使用场景 文本挖掘中，主题模型。聚类算法关注于从样本特征的相似度方面将数据聚类。比如通过数据样本之间的欧式距离，曼哈顿距离的大小聚类等。而主题模型，顾名思义，就是对文字中隐含主题的一种建模方法。比如从“人民的名义”和“达康书记”这两个词我们很容易发现对应的文本有很大的主题相关度，但是如果通过词特征来聚类的话则很难找出，因为聚类方法不能考虑到到隐含的主题这一块。 那么如何找到隐含的主题呢？这...
关于信息检索（IR）、搜索引擎的学与思
Shingle_的博客
10-10 2718
平台建设（工程、数据、算法） 面对大数据业务挑战，AI·OS至多能起到30%的作用，随后是算法解决30%+，其余的靠产品和机缘，只不过AI·OS的30%是个前提条件，AI·OS发展的核心线索是优化算法迭代效率。 TPP推荐业务平台、RTP深度学习预测引擎、HA3搜索召回引擎、DII推荐召回引擎、iGraph图查询引擎 集群物理资源的调度任务：中台容器和隔离技术与搜索工程交汇之地，更是模型训练P...
信息检索（IR）的评价指标介绍 - 准确率、召回率、F1、mAP、ROC、AUC
热门推荐
架构和代码
07-06 5万+
在信息检索、分类体系中，有一系列的指标，搞清楚这些指标对于评价检索和分类性能非常重要，因此最近根据网友的博客做了一个汇总。准确率、召回率、F1信息检索、分类、识别、翻译等领域两个最基本指标是召回率(Recall Rate)和准确率(Precision Rate)，召回率也叫查全率，准确率也叫查准率，概念公式:             召回率(Recall)      =  系统检索到的相关文件 /
信息检索中的正确率和召回率
wang19890326的专栏
03-14 1934
今天上课老师讲了，在信息检索中，评价检索结果的好坏的标准简单的是正确类和召回率   relevant documents 是一个已经确定好的值 retrieved relevant documents retrieved documents 是逐渐变大的值 这就是为什么召回率越大，正确率越小的原因
搜索引擎的缺陷分析与未来估计：关键词检索的挑战
查全率是指检索系统找到的相关文档数占实际相关文档总数的比例，查准率则是检索结果中相关文档数占返回文档总数的比例。这两个指标是衡量搜索引擎性能的重要标准。主要影响因素包括关键词匹配策略、停用词处理、同义...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

CSU迦叶

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值