TF-IDF原理

7人阅读 评论(0) 收藏 举报
分类:

一. 什么是TF-IDF

TF-IDF(Term Frequency-Inverse Document Frequency, 词频-逆文件频率).

是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法,用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加,但同时会随着它在语料库中出现的频率成反比下降。

上述引用总结就是, 一个词语在一篇文章中出现次数越多, 同时在所有文档中出现次数越少, 越能够代表该文章.

这也就是TF-IDF的含义.

词频 (term frequency, TF) 指的是某一个给定的词语在该文件中出现的次数。这个数字通常会被归一化(一般是词频除以文章总词数), 以防止它偏向长的文件。(同一个词语在长文件里可能会比短文件有更高的词频,而不管该词语重要与否。)

但是, 需要注意, 一些通用的词语对于主题并没有太大的作用, 反倒是一些出现频率较少的词才能够表达文章的主题, 所以单纯使用是TF不合适的。权重的设计必须满足:一个词预测主题的能力越强,权重越大,反之,权重越小。所有统计的文章中,一些词只是在其中很少几篇文章中出现,那么这样的词对文章的主题的作用很大,这些词的权重应该设计的较大。IDF就是在完成这样的工作.

公式:


逆向文件频率 (inverse document frequency, IDF) IDF的主要思想是:如果包含词条t的文档越少, IDF越大,则说明词条具有很好的类别区分能力。某一特定词语的IDF,可以由总文件数目除以包含该词语之文件的数目,再将得到的商取对数得到。

公式: 


  某一特定文件内的高词语频率,以及该词语在整个文件集合中的低文件频率,可以产生出高权重的TF-IDF。因此,TF-IDF倾向于过滤掉常见的词语,保留重要的词语。 
  


二. 一个实例

参考: http://www.ruanyifeng.com/blog/2013/03/tf-idf.html

这里写图片描述

查看评论

TF-IDF原理简介

TF-IDF(term frequency–inverse document frequency)是一种用于资讯检索与文本挖掘的常用加权技术。TF-IDF是一种统计方法,用以评估一字词对于一个文件集或...
  • csdwb
  • csdwb
  • 2011-12-19 10:54:45
  • 1809

TF-IDF原理及使用

一. 什么是TF-IDFTF-IDF(Term Frequency-Inverse Document Frequency, 词频-逆文件频率). 是一种用于资讯检索与资讯探勘的常用加权技术。TF...
  • zrc199021
  • zrc199021
  • 2016-12-18 17:03:50
  • 20027

TF-IDF的原理与应用

参考:http://www.codeceo.com/article/tf-idf.html…… 1.TF-IDF原理 TF-IDF(Term Frequency-Inverse Documen...
  • xbmatrix
  • xbmatrix
  • 2017-02-27 20:37:34
  • 411

gensim学习笔记(二)- Topic and Transformations(TF-IDF, LSI)

TF-IDF Transformation的基本原理及实现 LSI Transformation的基本原理及实现
  • John_xyz
  • John_xyz
  • 2017-01-26 16:23:22
  • 2041

Spark机器学习:TF-IDF实现原理

先简单地介绍下什么是TD-IDF(词频-逆文档频率),它可以反映出语料库中某篇文档中某个词的重要性。假设t表示某个词,d表示一篇文档,则词频TF(t,d)是 某个词t在文档d中出现的次数,而文档DF(...
  • jiangpeng59
  • jiangpeng59
  • 2016-10-11 11:36:59
  • 5037

计算jieba分词的Tf-idf值

TF-IDF(termfrequency–inverse document frequency)是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法,用以评估一字词对于一个文件集或一...
  • roger_royer
  • roger_royer
  • 2017-12-13 11:32:23
  • 198

TF-IDF算法及其编程实现

TF-IDF(term frequency–inverse document frequency)是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法,用以评估一字词对于一个文件集或...
  • puqutogether
  • puqutogether
  • 2014-11-15 10:08:32
  • 7505

筛选文章热词

  • 2014年05月09日 16:06
  • 2.38MB
  • 下载

使用TF-IDF进行文档分类

关于这个方法的原理比较的简单,可以参考: 1、TF-IDF与余弦相似性的应用(一):自动提取关键词 2、TF-IDF与余弦相似性的应用(二):找出相似文章 3、如何计算两个文档的相似度(...
  • a123456ei
  • a123456ei
  • 2014-04-02 11:05:13
  • 1769
    个人资料
    持之以恒
    等级:
    访问量: 5万+
    积分: 1024
    排名: 5万+