简单说说TF-IDF

最新推荐文章于 2023-01-01 22:41:07 发布
最新推荐文章于 2023-01-01 22:41:07 发布
阅读量282 收藏
点赞数
文章标签： 自然语言处理 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45854080/article/details/102975774
版权
英文名

term frequency–inverse document frequency

举个栗子来计算

现在有一篇文章，里面 100个字儿，其中“派大星”出现了5次，则“派大星”这个词在这篇文章中的TF(词频)值就是5/100=0.05
（TF=0.05）
接下来是逆向文件频率 (IDF) 。如果有10份儿这样的文章里面包含了“派大星”，而文章的总份数是10000，则IDF的值是lg(10000/10）= 3
(IDF=3)

俩值一相乘就是 TF x IDF = 0.05 x 3 = 0.15

TF-IDF的值越大，说明这个词越重要。
但是像the，this，“的”这样的词，哪儿都有，不想让他们重要。它们的量上去了，其IDF的值就会变小，总的TF-IDF值就会变小，于是就不重要了。

公式长这样

在这里插入图片描述 在这里插入图片描述

TF-IDF存在的问题是没有把上下文文字背后的语义关联考虑进去
======== 欢迎大家指正 ========

秦老司
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
TF-IDF及其算法
weixin_34290000的博客
07-17 3563
概念 TF-IDF（term frequency–inverse document frequency）是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TF-IDF加权的各种形式常被搜寻引擎应用，作为文...
TF-IDF
hellocsz的博客
10-10 319
TF-IDF算是nlp工程师必须掌握的入门级别的算法。作为兴趣爱好，之前曾阅读过几篇介绍该算法的博客，对其只是知道个大概。最近在看吴军老师的《数学之美》，里面对TF-IDF的介绍使得我对该算法有了更深刻的认识。现将个人对该算法的理解整理如下： TF-IDF是一种统计方法，用来评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它①在文件中出现的次数成正比增加，但...
TF-IDF的理解
seasongirl的博客
04-21 6309
一直对TF-IDF的概念理解的不太清楚，所以写篇博客来理一理。1.定义（概括）      在信息检索中，tf-idf（词频-逆文档频率）是一种统计方法，用以评估一个单词在一个文档集合或语料库中的重要程度。经常被用作信息检索、文本挖掘以及用户模型的权重因素。tf-idf的值会随着单词在文档中出现的次数的增加而增大，也会随着单词在语料库中出现的次数的增多而减小。tf-idf是如今最流行的词频加权方案之...
TF-IDF计算
weixin_44023658的博客
08-05 947
TF-IDF（term frequency–inverse document frequency）是一种用于资讯检索与文本挖掘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TF-IDF加权的各种形式常被搜索引擎应用，作为文件与用户查询之间相关程度的度量或评级。除了TF-IDF以外，互联网上的搜寻引擎还会使用基于连结分析的评级方法，以确定文件在搜寻结果
TF-IDF详解
szn1043862535的博客
10-23 1465
TF-IDF=TF*IDF TF: Term Frequency 词频 IDF: Inverse Document Frequency 逆文本频率指数 (1) 假如一片文章有 1000 个词， "中国” 这个词出现了 20 次， "梦想" 这个词出现了 10 次， "我" 这个词出现了 50次 那么： TF(“中国”)=20/1000=0.02 TF(“梦想”)=10/1000=0.01 TF(“我”)=50/1000=0.05 (2) 有一个文件库，它是用来求IDF用的，文件库包含了5000个文档 在
tf-idf_tf-idf_
10-01
TF-IDF（Term Frequency-Inverse Document Frequency）是一种在信息检索和文本挖掘领域广泛使用的权重计算方法，用于评估一个词在文档中的重要性。这个概念基于两个主要因素：词频（Term Frequency, TF）和逆文档...
TF-IDF：NLP中的TF_IDF的公式，并与Sklearn中的结果进行比较
02-26
TF-IDF（Term Frequency-Inverse Document Frequency）是自然语言处理（NLP）中一个重要的文本表示方法，用于评估一个词在文档集中的重要性。它综合考虑了词频（Term Frequency, TF）和逆文档频率（Inverse Document...
Python爬取十篇新闻统计TF-IDF
12-25
统计十篇新闻TF-IDF 统计TF-IDF词频，每篇文章的 top10 的高频词存储为 json 文件 TF-IDF TF-IDF（term frequency–inverse document frequency）是一种用于资讯检索与文本挖掘的常用加权技术。TF-IDF是一种统计方法...
python TF-IDF算法实现文本关键词提取
12-31
TF（Term Frequency）词频，在文章中出现次数最多的词，然而文章中出现次数较多的词并不一定就是关键词，比如常见的对文章本身并没有...TF-IDF算法的优点是简单快速，结果比较符合实际情况，但是单纯以“词频”衡量一个
TF-IDF.rar_TF-IDF algorithm
09-23
TF-IDF算法是一种在信息检索和自然语言处理领域广泛应用的文本表示方法，它能够量化一个词在文档中的重要性。TF-IDF代表“词频-逆文档频率”(Term Frequency-Inverse Document Frequency)，该方法结合了词频(Term ...
Kiwee的NLP学习笔记——TF-IDF算法
tjliqy的博客
12-23 209
什么是TF-IDF TF-IDF是一种用于信息检索与数据挖掘的常用加权技术，常用于挖掘关键词。TF-IDF值表示一个关键词在一篇文章中的关键程度。 TF-IDF的特点 假设我们现在有一片长文叫做《量化系统架构设计》词频高在文章中往往是停用词，“的”，“是”，“了”等，这些在文档中最常见但对结果毫无帮助、需要过滤掉的词，用TF可以统计到这些停用词并把它们过滤。当高频词过滤后就只需考虑剩下的有实际意义...
TF-IDF? 这一篇就够了
Miracle8070
02-11 2623
今天用朴素贝叶斯做文本分类的时候，需要把普通的文本转成计算机可以识别的特征向量， 这里用到了一种TF-IDF的统计方法，所以先解释一下这个： 什么是TF-IDF值呢？ TF-IDF 是一个统计方法，用来评估某个词语对于一个文件集或文档库中的其中一份文件的重要程度。 TF-IDF 实际上是两个词组 Term Frequency 和 Inverse Document Frequency 的总称，两者缩...
【转载】TF-IDF的理解与计算
tangxianyu的博客
01-01 601
TF-IDF 实际上是两个词组Term Frequency和Inverse Document Frequency的总称，两者缩写为 TF 和 IDF，分别代表了词频和逆向文档频率。
tf-idf详解
july_2的专栏
08-01 3043
f-idf 目录 简介 原理 举例 应用 理论假设 模型概率 展开 简介 原理 举例 应用 理论假设 模型概率 展开 编辑本段简介 TF-IDF[1]（term frequency–inverse document frequency）是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法，用
朴素贝叶斯中的TF-IDF值
baidu_41797613的博客
09-28 1345
TF-IDF值什么是TF-IDF值TF-IDF如何计算 什么是TF-IDF值 TF-IDF是一个统计方法，用来评估某个词语对于一个文件集或者文档库中的其中一份文件的重要程度。 TF-IDF实际上是Term Frequency和Inverse Document Frequency的总称，二者缩写为TF和IDF，分别代表了词频和逆向文档频率。 词频TF计算了一个单词在文档中出现的次数，它认为一个单词的重要性和它在文档中出现的次数成正比。 逆向文档频率IDF，是指 一个单词在文档中的区分度。他认为一个单词出现在的
文本相似度(TF-IDF)
betterzl的博客
11-23 9044
目录理论：文本相似度(TF-IDF)实践：利用TF-IDF计算相似文章参考链接 理论：文本相似度(TF-IDF) 我们在比较事物时，往往会用到“不同”，“一样”，“相似”等词语，这些词语背后都涉及到一个动作——双方的比较。只有通过比较才能得出结论，究竟是相同还是不同。但是万物真的有这么极端的区分吗？在我看来不是的，生活中通过“相似度”这词来描述可能会更加准确。比如男人和女人，虽然生理器官和可能思想有些不同，但也有相同的地方，那就是都是人，就是说相似度不为0；比如石头与小草，它们对于虚拟类都是一种实体类，相似
TF-IDF与余弦相似性的应用（一）：自动提取关键词
wangqz1027的专栏
06-02 6827
作者： 阮一峰 日期： 2013年3月15日 这个标题看上去好像很复杂，其实我要谈的是一个很简单的问题。 有一篇很长的文章，我要用计算机提取它的关键词（Automatic Keyphrase extraction），完全不加以人工干预，请问怎样才能正确做到？ 这个问题涉及到数据挖掘、文本处理、信息检索等很多计算机前沿领域，但是出乎意料的是，有一个非常简单的经
TF-IDF算法简介
weixin_33901641的博客
06-09 258
TF-IDF算法全称为term frequency–inverse document frequency。TF就是term frequency的缩写，意为词频。IDF则是inverse document frequency的缩写，意为逆文档频率。该算法在信息处理中通常用来抽取关键词。比如，对一个文章提取关键词作为搜索词，就可以采用TF-IDF算法。要找出一篇文章中的关键词，通常的思路就是，就是找到...
[python] 使用scikit-learn工具计算文本TF-IDF值
热门推荐
杨秀璋的专栏
08-08 8万+
在文本聚类、文本分类或者比较两个文档相似程度过程中，可能会涉及到TF-IDF值的计算。这里主要讲述基于Python的机器学习模块和开源工具：scikit-learn。文章包括：一.Scikit-learn概念 1.概念知识 2.安装软件； 二.TF-IDF基础知识 1.TF-IDF 2.举例介绍； 三.TF-IDF调用两个方法 1.CountVectorizer 2.TfidfTransformer 3.示例 希望文章对你有所帮助~
tf-idf的python实现，返回值为tf-idf值
最新发布
06-12
好的，下面是tf-idf的Python实现代码，返回值为tf-idf值： ```python import math def tf(word, document): words = document.split() freq = words.count(word) return freq / len(words) def idf(word, ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值