【AI知识点】词频-逆文档频率（TF-IDF）

已于 2024-10-15 09:48:14 修改
阅读量1.6k 收藏 16
点赞数 17
分类专栏： AI知识点 文章标签： 人工智能 tf-idf 机器学习 自然语言处理 文本相似性计算 文本分类 信息检索
于 2024-10-02 13:25:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43221845/article/details/142680422
版权

【AI论文解读】【AI知识点】【AI小项目】【AI战略思考】

词频-逆文档频率（TF-IDF，Term Frequency-Inverse Document Frequency）是一种用来衡量一个词在某个文档中的重要性，同时结合该词在整个文档集中的出现频率。它的核心思想是：在特定文档中出现频率高且在其他文档中较少出现的词会被赋予更高的权重，而那些在所有文档中普遍出现的词则会被削弱。

1. 词频（TF）

词频（Term Frequency，TF）表示某个词在文档中的出现频率，用来衡量该词在该文档中的相对重要性。它的计算公式为：

T F ( t , d ) = 词  t  在文档  d  中出现的次数 文档  d  中所有词的总数 TF(t, d) = \frac{\text{词} \ t \ \text{在文档} \ d \ \text{中出现的次数}}{\text{文档} \ d \ \text{中所有词的总数}} TF(t,d)=文档 d 中所有词的总数词 t 在文档 d 中出现的次数​

其中：

  • t t t 表示某个词。
  • d d d 表示某个文档。

词频的值范围为 [ 0 , 1 ] [0, 1] [0,1]，即表示该词在该文档中出现的频率比例。

2. 逆文档频率（IDF）

逆文档频率（Inverse Document Frequency，IDF）用来衡量一个词在整个文档集中出现的稀有程度。如果一个词在很多文档中出现，则该词的IDF值较低，因为它对区分文档的贡献较小。IDF的公式为：

I D F ( t ) = log ⁡ ( M

最低0.47元/天 解锁文章
词频-逆文档频率（TF-IDF）
Always On The Way
11-28 6728
词频-逆文档频率（TF-IDF） 词频-逆文档频率（term frequency - inverse document frequency，TF-IDF），由词频（TF）和逆文档频率（IDF）两部分组成。给定语料库D={dj}\mathcal{D} = \{ d_{j} \}D={dj​}，ni,j表示n_{i, j}表示ni,j​表示词条tit_{i}ti​在文档djd_{j}dj​中出现的次数...
【小白学AI系列】NLP 核心知识点（二）TF-IDF（词频-逆文档频率）
Blankspace的博客
01-19 844
人工智能核心知识点，NLP领域专业术语
TF-IDF（Term Frequency-Inverse Document Frequency）词频-逆文档频率
彬彬侠的博客
02-27 1084
TF-IDF（词频-逆文档频率）是一种用于文本挖掘（Text Mining）和信息检索（Information Retrieval,IR）的统计方法，用于评估一个词（Term）在一个文档集合（Corpus）中的重要性。它广泛应用于搜索引擎、文本分类、关键词提取等任务。TF-IDF是NLP中最经典的文本表示方法之一，用于关键词提取、信息检索、文本分类、搜索引擎。计算公式：TF-IDF=词频（TF）×逆文档频率（IDF）。优点：简单、高效、可解释性强。缺点：无法处理词义、长文本、词序关系。改进方法：可以结合BE
TF-IDF算法
最新发布
jdjhcn的博客
03-26 1413
（1）语料库中存放的是在语言的实际使用中真实出现过的语言材料。（2）语料库是以电子计算机为载体承载语言知识的基础资源。（3）真实语料需要经过加工（分析和处理），才能成为有用的资源。举例理解：假设有一个文件夹，文件夹里面有2000篇文章，想要提取出每篇文章中的关键词。这里的文件夹内的文件就是一个语料库 ，而关键词要具有代表性，能够作为本文章与其他文章之间区分开来。
TF-IDF（词频-逆文档频率）
2301_77836489的博客
05-10 692
TF-IDF（词频-逆文档频率）
TF-IDF(词频-逆文档词频)
2302_80147064的博客
09-14 1149
TF-IDF（Term Frequency – Inverse Document Frequency）是一种用于信息检索与文本挖掘的常用技术。
文本特征表示方法——词频-逆文档频率(TF-IDF)
土豆同学的博客
05-04 6645
文本特征表示方法——词频-逆文档频率(TF-IDF) 0 引言 \qquad词频-逆文档频率(TF-IDF)是Salton于1988年提出的一种权重计算方法，用于判断字词对于一个文档集合的重要性。在介绍TF-IDF之前，需要先对词频(TF)、逆文档频率(IDF)分别进行介绍。 1 词频(Term Frequency, TF) \qquad词频(Term Frequency, TF)即词的频率，表示词条项在一个文档中出现的频率，计算公式如下: tft,d=ft,dndtf_{t,d} = \frac{f_{t
TF-IDF与余弦相似性的应用（一）：自动提取关键词
wangqz1027的专栏
06-02 6951
作者： 阮一峰 日期： 2013年3月15日 这个标题看上去好像很复杂，其实我要谈的是一个很简单的问题。 有一篇很长的文章，我要用计算机提取它的关键词（Automatic Keyphrase extraction），完全不加以人工干预，请问怎样才能正确做到？ 这个问题涉及到数据挖掘、文本处理、信息检索等很多计算机前沿领域，但是出乎意料的是，有一个非常简单的经
TF-IDF(词频-逆文档频率)
qq_48050838的博客
01-04 3154
相关知识 在文本聚类时，可以以文档中词为中心，抽取一篇文档中比较有代表性的词项作为文档的特征项，把文档中出现相同的词聚为一类。 一个文档的关键词是这样的词：其在本文档内出现频率较高，而在其他文档的出现频率较低，具体可以通过TF-IDF技术抽取文档中的关键字。 为了完成本关任务，你需要掌握：1.如何计算词频(TF)；2.如何计算逆文档频率(IDF)；3.如何计算TF-IDF。 词频(TF)的计算 词频(TF)**指的是某一个给定的词语在该文件中出现的次数**。这个数字通常会被正规化，以防止它偏向长的文件
自然语言处理系列三十六》词频-逆文档频率TF-IDF算法原理
weixin_52610848的博客
08-22 1165
【配套新书教材】《自然语言处理原理与实战》（人工智能科学与技术丛书）【陈敬雷编著】【清华大学出版社】新书特色：本书从自然语言处理基础开始，逐步深入各种NLP热点前沿技术，使用了Java和Python两门语言精心编排了大量代码实例，契合公司实际工作场景技能，侧重实战。
自然语言处理系列三十八》词频-逆文档频率TF-IDF》Python代码实现
weixin_52610848的博客
08-23 920
【配套新书教材】《自然语言处理原理与实战》（人工智能科学与技术丛书）【陈敬雷编著】【清华大学出版社】新书特色：本书从自然语言处理基础开始，逐步深入各种NLP热点前沿技术，使用了Java和Python两门语言精心编排了大量代码实例，契合公司实际工作场景技能，侧重实战。
自然语言处理系列三十七》词频-逆文档频率TF-IDF》Java代码实现
weixin_52610848的博客
08-22 760
【配套新书教材】《自然语言处理原理与实战》（人工智能科学与技术丛书）【陈敬雷编著】【清华大学出版社】新书特色：本书从自然语言处理基础开始，逐步深入各种NLP热点前沿技术，使用了Java和Python两门语言精心编排了大量代码实例，契合公司实际工作场景技能，侧重实战。
词频-逆文档频率(TF-IDF)算法
qq_45451226的博客
04-08 820
# -*- coding=utf-8 -*- import numpy as np import pandas as pd docA = "The cat sat on my bed" docB = "The dog sat on my knees" bowA = docA.split(" ") #['The', 'cat', 'sat', 'on', 'my', 'bed'] bowB = docB.split(" ") # print(bowA) # 构建词库 wordSet = set(bow
自然语言处理：词频-逆文档频率
老赵爱学习的博客
02-28 1111
在自然语言处理(NLP)领域，理解文本数据的含义并从中提取有价值的信息是核心任务。TF-IDF(Term Frequency-Inverse Document Frequency)作为一种重要的统计方法，在文本表示、文本分类、信息检索、关键词提取等众多任务中发挥着关键作用。
TF-IDF(词频-逆文件频率)
tanglizoe的博客
03-26 2254
TF-IDF 是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。**字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。**即一个词语在一篇文章中出现次数越多, 同时在所有文档中出现次数越少, 越能够代表该文章. 词频 (term frequency, TF) TF指...
TF-IDF
BVL的博客
12-21 1463
1.TF-IDF是什么？TF-IDF ：term frequency-inverse document frequency 1.tf-idf 作为一种权重经常被用作信息检索和文本挖掘领域 2.这样一种权重时通过统计计算得出的。来衡量 在一个语料库或者文本集中， 一个term 或者 word对于一个文档的重要性。(比如，有k个文档，其中一个文档d种有一个词w，衡量 w对于k中的d的重要性
TF-IDF（词频-逆文档频率）介绍与python实现
一个小菜鸟的博客
04-09 6002
TF-IDF（term frequency—inverse document frequency） TF-IDF介绍 TF-IDF（词频-逆文档频率）是一种用于信息检索（Information retrieval）与数据挖掘（data mining）常用的加权技术 TF-IDF是一种统计方法，用来评估单词或短语对于一个语料库的重要程度，它两部分组成：TF是词频（Term Frequency），IDF是逆文本频率指数（Inverse Document Frequency） 主要思想：单词或短语的重要性
tf-idf
lzj0470的专栏
12-28 180
TF-IDF（term frequency–inverse document frequency）是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随著它在文件中出现的次数成正比增加，但同时会随著它在语料库中出现的频率成反比下降。TF-IDF加权的各种形式常被搜寻引擎应用，作为文件与用户查询之间相...
逆文档频率。1000字
04-25
逆文档频率（Inverse Document Frequency，缩写为IDF）是一个用于衡量一个词语对于某一文档集或语料库中的某一文档的重要程度的指标。IDF值越高，代表该词语越重要独特，反之则越普遍。 IDF的计算公式为：IDF = log(文档总数 ÷ 包含该词语的文档数+1)。在此公式中，“文档总数”代表文档集或者语料库中总共的文档数，“包含该词语的文档数”则是指包含该词语的文档数量。 例如，一个词语在一篇文档和文档库中的频率越高，则该词语具有的信息量也越小，IDF值也就越小；反之，在一篇文档中出现较少，在整个文档库中较少出现的词语，则有更高的IDF值，代表其在该文档集中的重要性更高。 IDF常用于搜索引擎领域，算法会根据IDF值进行词语权重的调整，以提高搜索结果的精确度。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值