TF-IDF 详解

最新推荐文章于 2024-06-13 23:22:01 发布
最新推荐文章于 2024-06-13 23:22:01 发布
阅读量2.3k 收藏 2
点赞数
分类专栏： NLP 文章标签： TF-IDF TF IDF
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaoQL520/article/details/102771171
版权
TF-IDF是一种统计方法，用于评估词在文件集中的重要性。TF(词频)表示词在文件中出现的频率，IDF(逆向文件频率)衡量词语的普遍重要性。TF-IDF是两者的乘积，用于筛选具有高区分能力的关键词。常用于关键词提取和文档分类。
摘要由CSDN通过智能技术生成

TF-IDF(Term Frequency–Inverse Document Frequency)是一种统计方法，用以评估一个“词”对于一个文件集或一个语料库中的其中一份文件的重要程度。“词”的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。其中，TF是词频(Term Frequency)，IDF是逆向文件频率(Inverse Document Frequency)。

 

1.TF(词频)

在一份给定的文件里，词频（Term Frequency）是指某一个给定的词语在该文件中出现的频率。这个数字通常是对词数(词在文件中的出现的次数)的归一化会处理，以防止它偏向长的文件，因为同一个词语在长文件里会比在短文件里可能有更高的词频，而不管该词语重要与否。

具体公式：

（1）没有归一化处理

TF(x)=N_{x,j} 表示词x在第j个文件中出现的次数

（2）归一化处理方式一

TF(x)=\frac{^{n_{x,j}}}{^{\sum_{k}n_{k,j}}}

其中分子表示词x在第j个文件中出现的次数，分母表示在第j个文件中的总词数。

（3）归一化处理方式二

最低0.47元/天 解锁文章
清萝卜头
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
TF-IDF
BVL的博客
12-21 1338
1.TF-IDF是什么？TF-IDF ：term frequency-inverse document frequency 1.tf-idf 作为一种权重经常被用作信息检索和文本挖掘领域 2.这样一种权重时通过统计计算得出的。来衡量 在一个语料库或者文本集中， 一个term 或者 word对于一个文档的重要性。(比如，有k个文档，其中一个文档d种有一个词w，衡量 w对于k中的d的重要性
TF-IDF算法
zhangvalue的博客
01-02 1345
TF-IDF算法 TF-IDF（term frequency–inverse document frequency，词频-逆向文件频率）是一种用于信息检索（information retrieval）与文本挖掘（text mining）的常用加权技术。 TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增...
TF-IDF算法详解
最新发布
考研小钻风
06-13 1456
TF-IDF是一种经典且常用的文本特征提取方法，能够有效地衡量词语在文档中的重要性。虽然它存在一定的局限性，但在许多实际应用中依然表现出色。通过合理地结合TF和IDF，TF-IDF能够帮助我们从大量文本数据中提取有价值的信息。无论是在搜索引擎、推荐系统还是文本分类中，TF-IDF都扮演着重要的角色。
详解TF-IDF
热门推荐
real_ilin的博客
01-12 1万+
IF-IDF概念 TF-IDF是NLP中常用的方法，也比较经典。IF-IDF的思想：如果一个词在文档中出现了很多次，但是这个词在其它文档中出现的次数很少，则这个词对这篇文档很重要，在一定程度上可以代表这个文档的关键信息。所以在网页搜索、关键词提取中常用到IF-IDF。 TF-IDF就是tf−idf(t,d)=tf(t,d)×idf(t)tf-idf(t,d)=tf(t,d) \times idf(...
TF-IDF详解
szn1043862535的博客
10-23 1476
TF-IDF=TF*IDF TF: Term Frequency 词频 IDF: Inverse Document Frequency 逆文本频率指数 (1) 假如一片文章有 1000 个词， "中国” 这个词出现了 20 次， "梦想" 这个词出现了 10 次， "我" 这个词出现了 50次 那么： TF(“中国”)=20/1000=0.02 TF(“梦想”)=10/1000=0.01 TF(“我”)=50/1000=0.05 (2) 有一个文件库，它是用来求IDF用的，文件库包含了5000个文档 在
tf-idf
lzj0470的专栏
12-28 135
TF-IDF（term frequency–inverse document frequency）是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随著它在文件中出现的次数成正比增加，但同时会随著它在语料库中出现的频率成反比下降。TF-IDF加权的各种形式常被搜寻引擎应用，作为文件与用户查询之间相...
TF-IDF与余弦相似性的应用（一）：自动提取关键词 （转）
llystar的专栏
07-10 128
原文： http://www.ruanyifeng.com/blog/2013/03/tf-idf.html   这个标题看上去好像很复杂，其实我要谈的是一个很简单的问题。 有一篇很长的文章，我要用计算机提取它的关键词（Automatic Keyphrase extraction），完全不加以人工干预，请问怎样才能正确做到？ 这个问题涉及到数据挖掘、文本处理、信息检索等很多计算机前沿...
TF-IDF介绍
KeepUP
12-09 797
TF-IDF是什么 TF-IDF是一种统计方法，用以评估一个词对于一篇文章或语料库中一篇文章的重要性。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。 TF-IDF的使用场景 TF-IDF加权的各种形式常被搜索引擎应用，作为文件与用户查询之间相关程度的度量或评级。除了TF-IDF以外，因特网上的搜索引擎还会使用基于链接分析的评级方法，以确定文件在搜寻结...
TF-IDF的公式详解
04-26
TF-IDF是一种常见的文本特征提取方法，它能够帮助我们识别文本中重要的关键词。下面是TF-IDF的公式详解： 1. 首先，我们需要计算文档中每个词的词频(TF)，即某个词在文档中出现的次数除以文档中所有词的总数。 TF = (某个词在文档中出现的次数) / (文档中所有词的总数) 2. 接下来，我们需要计算逆文档频率(IDF)，它指的是某个词在整个语料库中出现的频率的倒数。这个值越大，表示该词在整个语料库中越少出现，所以越有可能是该文档的重要特征词。 IDF = log (语料库中文档总数 / (包含该词的文档数 + 1)) 其中，"+1"是为了避免分母为0的情况。 3. 最后，我们把TF和IDF相乘，就可以得到每个词的TF-IDF值。TF-IDF值越大，表示该词越重要。 TF-IDF = TF * IDF 总的来说，TF-IDF的公式就是： TF-IDF = (某个词在文档中出现的次数) / (文档中所有词的总数) * log (语料库中文档总数 / (包含该词的文档数 + 1)) 希望这个回答能够解答你的问题，如果有需要，也可以和我继续交流。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值