6.2排序式检索 词项频率

最新推荐文章于 2024-05-16 17:02:47 发布
最新推荐文章于 2024-05-16 17:02:47 发布
阅读量4.2k 收藏 3
点赞数 2
分类专栏： 信息检索 文章标签： 信息检索 程序人生 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45783383/article/details/121583665
版权

提示：
信息检索：文档评分-词项权重计算-向量空间模型
 第二部分：词项频率

文章目录

词项频率

回顾词项文档关联矩阵
在这里插入图片描述

词袋模型

不考虑词项在文档中出现的顺序。如“A is bigger than B”和“B is bigger than A”在词袋模型中是一样的。
显然，这相对于位置索引呢是一种退步。

词项文档计数矩阵

考虑的是词项在文档中出现的次数，区别词项文档关联矩阵(只显示词项在文档中是否存在)。
在这里插入图片描述

词项频率tf

词项t在文档d中出现的次数记作：tft,d
那么如何使用tf来计算评分呢？

采用原始的tf值
但是并不是很合适，如果词项A在文档1中出现10次，而在文档2中只出现一次，文档1比文档2更相关，但是相关度不可能是10倍关系。
相关性不随词项频率成比例增加。

采用tf对数表示
在这里插入图片描述
文档-词项的匹配得分是所有查询和文档中同时出现的词项对数词频之和
在这里插入图片描述

心灵排骨汤
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
Managing Gigabytes: Compressing and Indexing Documents and Images
02-16
In this fully updated second edition of the highly acclaimed Managing Gigabytes, authors Witten, Moffat, and Bell continue to provide unparalleled coverage of state-of-the-art techniques for compressing and indexing data. Whatever your field, if you work with large quantities of information, this book is essential reading--an authoritative theoretical resource and a practical guide to meeting the toughest storage and access challenges. It covers the latest developments in compression and indexing and their application on the Web and in digital libraries. It also details dozens of powerful techniques supported by mg, the authors' own system for compressing, storing, and retrieving text, images, and textual images. mg's source code is freely available on the Web. * Up-to-date coverage of new text compression algorithms such as block sorting, approximate arithmetic coding, and fat Huffman coding * New sections on content-based index compression and distributed querying, with 2 new data structures for fast indexing * New coverage of image coding, including descriptions of de facto standards in use on the Web (GIF and PNG), information on CALIC, the new proposed JPEG Lossless standard, and JBIG2 * New information on the Internet and WWW, digital libraries, web search engines, and agent-based retrieval * Accompanied by a public domain system called MG which is a fully worked-out operational example of the advanced techniques developed and explained in the book * New appendix on an existing digital library system that uses the MG software Editorial Reviews Amazon.com Review Of all the tasks programmers are asked to perform, storing, compressing, and retrieving information are some of the most challenging--and critical to many applications. Managing Gigabytes: Compressing and Indexing Documents and Images is a treasure trove of theory, practical illustration, and general discussion in this fascinating technical subject. Ian Witten, Alistair Moffat, and Timothy Bell have
信息检索导论学习笔记(6)-文档评分,词项权重计算及向量空间模型
jishublog
08-20 765
参数化索引及域索引 迄今为止,我们都将文档看成一系列词项的序列.实际上,大多数文档都具有额外的结构信息.数字文档通常会把与之相关的元数据(metadata)以机读的方式一起编码.所谓元数据,指的是和文档相关的一些特定形式的数据,比如文档的作者,标题以及出版日期等等. 问题:考虑查询"寻找由William Shakespeare 于 1961年撰写,其中包含短语alas poor Yoric...
自然语言处理--计算tf并进一步得到归一化的词项频率
糯米君的博客
12-27 687
某个词在给定文档中出现的次数称为词项频率，通常简写为 TF。在某些例子中，可以将某个词的出现频率除以文档中的词项总数从而得到归一化的词项频率结果。 为什么要归一化tf？举个例子： 假如词“dog”在文档 A 中出现 3 次，在文档 B 中出现 100 次。显然，“dog”似乎对文档 B 更重要，但是这里的文档 A 只是一封30 个词的电子邮件，而文档 B 却是包含大约 580 000 个词的长篇巨著。因此，分析结果应该正好反过来，即“dog”对文档 A 更重要。 from nltk.tokenize imp
信息检索导论第六章- 第六章 文档评分、词项权重计算及向量空间模型
EverlightGe
01-01 4561
第六章 文档评分、词项权重计算及向量空间模型 在文档集规模很大时，满足布尔查询结果的文档数量可能非常多，往往会大大超过用户能够浏览的文档的数目。对于给定的查询，搜索引擎会计算每个匹配文档的得分并排序。 6.1.参数化索引及域索引 之前，我们都是将文档看成一系列词项的序列。但实际上，文档除了文本外还有元数据，比如创建时间、文档标题，作者信息等，因此我们也可以对他进行限制；比如限制查询文档结...
智能信息处理5——文档评分、词项权重计算及向量空间模型
weixin_43723655的博客
11-18 834
文档评分 第一种方法: Jaccard系数 计算两个集合重合度的常用方法 令 A 和 B 为两个集合 Jaccard系数的计算方法: JACCARD (A, A) = 1 JACCARD (A, B) = 0 如果 A ∩ B = 0 A 和 B 不一定要同样大小 Jaccard 系数会给出一个0到1之间的值 不足 不考虑词项频率 ，即词项在文档中的出现次数 罕见词比高频词的信息量更大，Jaccard系数没有考虑这个信息 没有仔细考虑文档的长度因素 词项频率 词项t的词项频率 tft,d 是指t 在d中出
TF-IDF词项权重计算
1.02^365=1377.41
03-23 5238
一、TF-IDF词项频率: df:term frequency。 term在文档中出现的频率.tf越大,词元越重要. 文档频率: tf:document frequecy。有多少文档包含此term，df越大词元越不重要. 词元权重计算公式： tf-idf=tf(t,d)*log(N/df(t)) W(t,d):the weight of the term in document d tf
perl编程24学时教程.rar
08-18
17.1.1 检索一个静态Web页 196 17.1.2 动态Web页—使用CGI 197 17.2 不要跳过这一节内容 198 17.3 编写你的第一个CGI程序 199 17.3.1 在服务器上安装CGI程序 200 17.3.2 运行你的CGI程序 201 17.4 CGI程序无法...
词频和逆文档频率算法 TF-IDF
Chatopera
10-11 2673
词频和逆文档频率算法简单快速，结果处理符合实际情况，可以用在关键词提取，信息检索等很多地方。 如果我们有一篇很长的文章，如何获得关键词呢？ 根据信息熵理论，一个词出现的次数越多，这个词包含的信息量就越小。可以说，TF-IDF算法就是基于这一理论的。 这篇文章我们称之为Document, 这篇文章属于一个 Collection(集合)。 TF, Term Frequency, 词频 IDF, Inverse Document Frequency, 逆文档频率 处理 将Document进行分词，去停留词。 计
信息检索之文档评分、词项权重计算及向量空间模型
a123456ei的专栏
12-12 4781
1、主要内容：     在文档规模很大的情况下，满足布尔查询的结果文档数量可能非常多，往往会大大超过用户能够浏览的文档的数目。需要对搜索出来的文档进行评分和排序。     ①、参数化索引及域索引的概念；目的：1、可以通过元数据（文档的作者、标题、出版日期等）来对文档进行索引和检索；2、上述索引能够提供一个简单的文档评分；     ②、词项字在文档中的权重的概念，并通过期出现的统计信息进行权重
java tf-idf_TF-IDF词项权重计算
weixin_39685697的博客
02-21 210
一、TF-IDF词项频率:df:term frequency。 term在文档中出现的频率.tf越大,词项越重要.文档频率:tf:document frequecy。有多少文档包含此term，df越大词项越不重要.词项权重计算公式：tf-idf=tf(t,d)*log(N/df(t))11W(t,d):the weight of the term in document dtf(t,d):the ...
5.1索引压缩-词项的统计特性(Heaps定律、Zipf定律)
qq_45783383的博客
11-22 988
提示： 信息检索：索引压缩文章目录回顾Heaps定律Zipf定律 回顾 Heaps定律 一种对词项数目M进行估计的方法是采用Heaps定律： M=kT^b。  对RCV1文档集来说，虚线log10M = 0.49log10T + 1.64 是基于最小二乘法的最佳拟合，则M= 101.64 * T0.49, 所以k =101.64≈44, b=0.49对RCV1是一个很好的经验拟合.  对于前1,000,020个词条,Heaps定律会估计得到大约38,323个词项;而实际数目是38365,和估计值非常
信息检索笔记-文档平分，词项权重计算
继续微笑lsj
10-03 3951
给定一个布尔查询，返回的结果要么满足条件，要么不满足条件，结果很多的时候就不太对了，应该按照文档的重要性排序后呈现给用户。     本文引入简单的几种权重计算。 域索引权重计算      我们知道一篇文章除了内容外，还有作者、题目，写作时间等，这就是域。我们可以对文档建立域索引。      建立好域索引后，我们就可以通过域加权。考虑这样的例子，一个文档集包含3个域-auth
程序人生——Java使用关于性能和效率的建议
Perley620的博客，专注后端领域
03-18 1895
程序人生——Java使用关于性能和效率的建议
预训练BERT
最新发布
m0_72232218的博客
05-16 27
预训练BERT1.使用字典和分词工具2.数据集操作 1.使用字典和分词工具 2.数据集操作
spacy微调BERT-NER模型
颹蕭蕭
05-13 311
spacy 微调 bert ner 模型，使用 gpu
pagreen 6.2
09-03
Pagreen 6.2 是一种大气净化设备。它利用先进的技术，能够有效去除空气中的污染物，提供一个更加健康和清洁的室内空气环境。 Pagreen 6.2 的工作原理是通过多层过滤系统去除空气中的尘埃、细菌、病毒、有害气体等...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

心灵排骨汤

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值