最通俗易懂的 tf idf (词频逆向文本频率)的解释

最新推荐文章于 2024-05-10 08:30:00 发布
最新推荐文章于 2024-05-10 08:30:00 发布
阅读量2.8k 收藏 1
点赞数 1
文章标签： 自然语言处理 机器学习 数据挖掘 深度学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a1311367609/article/details/104716501
版权

​
首先 tf * idf 的公式:
​​ 在这里插入图片描述
在这里插入图片描述
就问你头大不大
举个例子
如果你现在有一个菜谱, 其中一篇叫做西红柿炒鸡蛋, 其中最多的词叫做 鸡蛋, 其他词例如 西红柿, 糖, 水, 食用油等 …
​​
​​鸡蛋的这个词出现的次数是最高的, 所有词频也是最高的
即 TF鸡蛋 = c鸡蛋/c鸡蛋 == 1
西红柿的出现频率略低 为 TF西红柿 = c西红柿/c鸡蛋 = 0.8
所以 TF词频越高, 词越重要(鸡蛋在西红柿炒鸡蛋中很重要)
​​
​​现在我们假设菜谱中每一道菜中都含有鸡蛋
所以鸡蛋的逆向文本频率为 IDF鸡蛋 = log2(c所有菜谱/c含有鸡蛋的菜谱) = log2(1) == 0
说明如果每一篇菜谱中都出现鸡蛋, 那鸡蛋在菜谱中就不是什么特殊的东西, 没有特征性
​​
​​但是如果你在一本100页高等数学中发现了一篇含有鸡蛋这个词
那么 IDF鸡蛋 = log2(c高等数学 / c含有鸡蛋的片章) = log2(100) = 10
所以鸡蛋在高等数学的IDF就为10, 还是很重要的因为高等数学中只有一篇有鸡蛋这个词
​​
​​最后我们把菜谱中 鸡蛋在文本出现的频率, 和含有鸡蛋这个词的篇章在整个菜谱中出现的逆频率相乘, 就得到了 鸡蛋的 TF IDF
​​
​​TFIDF鸡蛋 = TF鸡蛋 * IDF鸡蛋

总结一下: 如果我们想在一篇文档中判断某一个词是否重要, 我们希望这个词在该文件中尽可能的大, 所以为(正向)频率
如果我们希望判断一个词在整个文本中是否重要, 我们希望这个词在这整个文本尽可能的集中, 即 逆向频率尽可能的大

a1311367609
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
NLP | TF-IDF词频-逆文件频率算法解析
05-20 1831
一. 什么是TF-IDF TF-IDF(Term Frequency-Inverse Document Frequency, 词频-逆文件频率) 是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。 上述引用总结就是, 一个词语在一篇文章中出现次数越多, 同时在所有文档中出现次数越少, 越能够代表该文章. 这也就是TF-
TF-IDF（词频-逆文档频率）介绍
Mintary的博客
09-13 287
TF-IDF（词频-逆文档频率）介绍
文本表示方法--词频-逆文件频率(TF-IDF)
Cocktail_py的博客
08-22 848
一.TF-IDF相关概念 1.1词频(TF) 1.2逆文件频率(IDF) 1.3词频-逆文件频率(TF-IDF) 二.代码实现 import numpy as np # 1.1分词过的语料 corpus = [ '这 是 第一个 文档', '这是 第二个 文档', '这是 最后 一个 文档', '现在 没有 文档 了 文档' ] # 词袋统计 words_list = [] for corpu in corpus: words_list.append(co
TF-IDF（词频-逆文档频率）
最新发布
2301_77836489的博客
05-10 198
TF-IDF（词频-逆文档频率）
词频-逆文档频率（TF-IDF）
Always On The Way
11-28 6499
词频-逆文档频率（TF-IDF） 词频-逆文档频率（term frequency - inverse document frequency，TF-IDF），由词频（TF）和逆文档频率（IDF）两部分组成。给定语料库D={dj}\mathcal{D} = \{ d_{j} \}D={dj​}，ni,j表示n_{i, j}表示ni,j​表示词条tit_{i}ti​在文档djd_{j}dj​中出现的次数...
【NLP】文本表示之TF-IDF介绍
【活用数据】
03-10 5830
本文主要介绍了自然语言处理领域中文本表示的一个重要算法：TF-IDF算法。包括其基本概念，以及简单的Python代码实现。
python TF-IDF算法实现文本关键词提取
09-19
TF-IDF算法是一种在信息检索和自然语言处理中广泛使用的关键词提取方法，它结合了词频（Term Frequency, TF）和逆文档频率（Inverse Document Frequency, IDF）的概念。TF-IDF的主要目标是找出那些在单个文档中频繁...
sklearn实现基于TF-IDF的KNN新闻标题文本分类
03-24
本项目中，我们采用`sklearn`(Scikit-learn)库来实现一个基于TF-IDF的KNN(K-Nearest Neighbors)新闻标题文本分类器。以下是关于这个主题的详细知识点： 1. **TF-IDF**： - **TF(Term Frequency)**：词频，表示一个...
如何用TF-IDF算法提取文本中的关键词？
02-24
我将使用百度的分词技术来处理中文文本，用以计算中文词语的“TF-IDF”值。在本公众号之前的文章中，我们已经介绍了如何引入百度的分词API，本文就不再介绍细节了。首先启动本地开发环境XAMPP，将百度分词API下载到...
机器学习_TF-IDF逆文本频率指数
谢彦的技术博客
05-03 3448
1. 原理  TF-IDF（term frequency–inverse document frequency）是信息处理和数据挖掘的重要算法，它属于统计类方法。最常见的用法是寻找一篇文章的关键词。  其公式如下：  TF（词频）是某个词在这篇文章中出现的频率，频率越高越可能是关键字。它具体的计算方法如上面公式所示：某关键在文章中出现的次数除以该文章中所有词的个数，其中的i是词索引号，j...
TF-IDF原理
筱筱思的博客
06-29 663
TF-IDF(Term Frequency-Inverse Document Frequency, 词频-逆文件频率)，是一种统计方法，可以用来评估一个词对于一个文件集来说的重要程度，也可以评估一个语料库中的其中一份文件的重要程度。词语的重要性与它在文本中出现的次数成正比，与它在语料库中出现的频率成反比。 （某词在文本中出现的次数越多，在语料库中出现的次数越少越能代表该文章） 词频 (term frequency, TF) 指的是该词在文本中出现的次数。这个数字通常会被归一化(一般是词频除以文章总词数),
tf-idf
dengtinghuan5005的博客
10-25 262
TF-IDF（term frequency–inverse document frequency）是一种用于信息检索与数据挖掘的常用加权技术。 简介编辑 TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TF-IDF加权的各种形式常被搜索引...
词频计算方法（TF/IDF)
热门推荐
水原山博客
04-09 1万+
文本分类中，如何定义一个词出现的频率呢？如果仅仅用这个词在文章中出现的次数来定义词频，那么某个词在长文件中的词频一般会大于这个词在短文件中的词频。不能说这个词就是长文件一个好的标识词，为了避免这种情况可以使用TF来表示，TF=某词出现次数/总词数。还有像汉语中“的”、“地”、“我们”等这些词，在文章中出现的频率很高，但是对文章分类的作用几乎没有，所以如果只用TF来定义词频，无法避免此类问题，可以再
逆向文件频率
weixin_35751412的博客
12-21 377
逆向文件频率 (Reverse File Frequency, RFF) 是一种在软件工程中用于探测源代码中隐藏的计数器或者特殊指令的方法。它通过对二进制文件进行反汇编，然后统计每个指令的使用频率来实现。 这种方法可以用于发现代码中的恶意代码或者调试信息，以及揭示代码中的功能或算法。它也可以用于评估代码的复杂度、搜索代码中的关键字、找出代码中的冗余部分等。 要使用逆向文件频率，需要使用反汇编工具将...
tfidf
qq_20849045的博客
05-25 904
tfidf包括两部分：tf：词语在文档中出现的次数，idf中的df是在整个语料库中有多少篇文档包含了该词语，其中的i是逆的意思，核心思想是：如果一个词在某篇文档中出现的次数多并且包含该词语的文档少，那么这个词语很重要。如果一个词在很多个文档中都出现，那么说明这个词只是个高频词，没有意义（例如：“的”这个字）。 tfidf有很多变种，可以参考下面图表。 上图的出处：https://rare-technologies.com/pivoted-document-length-normalisation/
一文让你熟练了解和掌握TF-IDF的使用方法
果冻先生的专栏
12-01 2012
本文介绍了四个方面的内容： （1）TF-IDF的含义和使用方法 （2）CountVectorizer与TfidfVectorizer使用区别 （3）TF-IDF的两种实现方法 （4）TF-IDF使用的局限性 下面来逐一介绍： （1）TF-IDF的基本含义 首先介绍一下TF-IDF基本含义： TF-IDF介绍 TF-IDF（term frequency–inverse docume...
TF-IDF详细介绍
ustbbsy的博客
03-10 1万+
1，TF-IDF 引用百度百科的解释： TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。 TF（Term Frequency）词频：该文章中出现该词的次数除以文章总词数。 IDF（Inverse Document Frequency）逆向文...
在线编程题-计算文本的 TFIDF值
helloworldding的博客
09-19 1747
题目 ：求出文本的TFIDF    TFIDF = TF * IDF   IF(词频) =  （该词在文件中出现的次数）/（文件总的词数）   IDF（逆向文件频率） = log2[（总文件数）/(该词出现的文件数目)];      输入：2              //代表总的文件数               s,t           //每一行代表一个文件数
TF-IDF（词频-逆向文件频率）用于文字分类
weixin_30535565的博客
03-21 557
SVM分类器：支持向量机Support Vector Machine。 一个普通的SVM就是一条直线，用来完美划分linearly separable的两类。解决线性 要解决非线性需要到高维处理： 核函数 TF-IDF（term frequency–inverse document frequency） 词频 (term frequency, TF) 逆向文件频率 (inv...
tf-idf中文文本聚类
06-12
TF（词频）表示该词在文本中出现的次数，IDF（逆文本频率）表示包含该词的文本数与总文本数的比值的对数的倒数。 TF-IDF算法可以将文本转化为向量表示，每个词语对应一个维度，向量中的值表示该词语在文本中的重要...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值