TF-IDF原理及使用

最新推荐文章于 2024-08-17 01:13:32 发布
最新推荐文章于 2024-08-17 01:13:32 发布
阅读量278 收藏
点赞数
分类专栏： 技术-人工智能 文章标签： 机器学习 tf idf

一. 什么是TF-IDF

TF-IDF(Term Frequency-Inverse Document Frequency, 词频-逆文件频率).

是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。

上述引用总结就是, 一个词语在一篇文章中出现次数越多, 同时在所有文档中出现次数越少, 越能够代表该文章.

这也就是TF-IDF的含义.

词频 (term frequency, TF) 指的是某一个给定的词语在该文件中出现的次数。这个数字通常会被归一化(一般是词频除以文章总词数), 以防止它偏向长的文件。（同一个词语在长文件里可能会比短文件有更高的词频，而不管该词语重要与否。）

但是, 需要注意, 一些通用的词语对于主题并没有太大的作用, 反倒是一些出现频率较少的词才能够表达文章的主题, 所以单纯使用是TF不合适的。权重的设计必须满足：一个词预测主题的能力越强，权重越大，反之，权重越小。所有统计的文章中，一些词只是在其中很少几篇文章中出现，那么这样的词对文章的主题的作用很大，这些词的权重应该设计的较大。IDF就是在完成这样的工作.

公式:

TFw=在某一类中词条w出现的次数该类中所有的词条数目TFw=在某一类中词条w出现的次数该类中所有的词条数目

逆向文件频率 (inverse document frequency, IDF)   IDF的主要思想是：如果包含词条t的文档越少, IDF越大，则说明词条具有很好的类别区分能力。某一特定词语的IDF，可以由总文件数目除以包含该词语之文件的数目，再将得到的商取对数得到。

公式: 

IDF=log(语料库的文档总数包含词条w的文档数+1),分母之所以要加1，是为了避免分母为0IDF=log(语料库的文档总数包含词条w的文档数+1),分母之所以要加1，是为了避免分母为0

　　某一特定文件内的高词语频率，以及该词语在整个文件集合中的低文件频率，可以产生出高权重的TF-IDF。因此，TF-IDF倾向于过滤掉常见的词语，保留重要的词语。 
　　

TF−IDF=TF∗IDFTF−IDF=TF∗IDF

二. 一个实例

参考: http://www.ruanyifeng.com/blog/2013/03/tf-idf.html

这里写图片描述

三. Spark 中 TF-IDF 的实现

1. 基于spark1.4.1 ml算法包的TF-IDF算法

// 参考自spark官网教程 http://spark.apache.org/docs/latest/ml-features.html#tf-idf
// In the following code segment, we start with a set of sentences. 
// We split each sentence into words using Tokenizer. For each sentence (bag of words),
// we use HashingTF to hash the sentence into a feature vector. We use IDF to rescale
// the feature vectors; this generally improves performance when using text as features. // Our feature vectors could then be passed to a learning algorithm.

import org.apache.spark.{SparkContext, SparkConf}
import org.apache.spark.ml.feature.{Tokenizer,HashingTF, IDF}
import org.apache.spark.mllib.linalg.{Vectors, Vector}
// 创建实例数据
val sentenceData = sqlContext.createDataFrame(Seq(
  (0, "Hi I heard about Spark"),
  (0, "I wish Java could use case classes"),
  (1, "Logistic regression models are neat")
)).toDF("label", "sentence")

//  scala> sentenceData.show
//  +-----+--------------------+
//  |label|            sentence|
//  +-----+--------------------+
//  |    0|Hi I heard about ...|
//  |    0|I wish Java could...|
//  |    1|Logistic regressi...|
//  +-----+--------------------+

//句子转化成单词数组
val tokenizer = new Tokenizer().setInputCol("sentence").setOutputCol("words")
val wordsData = tokenizer.transform(sentenceData)

// scala> wordsData.show
//  +-----+--------------------+--------------------+
//  |label|            sentence|               words|
//  +-----+--------------------+--------------------+
//  |    0|Hi I heard about ...|ArrayBuffer(hi, i...|
//  |    0|I wish Java could...|ArrayBuffer(i, wi...|
//  |    1|Logistic regressi...|ArrayBuffer(logis...|
//  +-----+--------------------+--------------------+

// hashing计算TF值,同时还把停用词(stop words)过滤掉了. setNumFeatures(20)表最多20个词
val hashingTF = new HashingTF().setInputCol("words").setOutputCol("rawFeatures").setNumFeatures(20)
val featurizedData = hashingTF.transform(wordsData)

// scala> featurizedData.show
//  +-----+--------------------+--------------------+--------------------+
//  |label|            sentence|               words|         rawFeatures|
//  +-----+--------------------+--------------------+--------------------+
//  |    0|Hi I heard about ...|ArrayBuffer(hi, i...|(20,[5,6,9],[2.0,...|
//  |    0|I wish Java could...|ArrayBuffer(i, wi...|(20,[3,5,12,14,18...|
//  |    1|Logistic regressi...|ArrayBuffer(logis...|(20,[5,12,14,18],...|
//  +-----+--------------------+--------------------+--------------------+


val idf = new IDF().setInputCol("rawFeatures").setOutputCol("features")
val idfModel = idf.fit(featurizedData)
val rescaledData = idfModel.transform(featurizedData)
// 提取该数据中稀疏向量的数据,稀疏向量:SparseVector(size,indices,values)
// rescaledData.select("features").rdd.map(row => row.getAs[linalg.Vector](0)).map(x => x.toSparse.indices).collect
rescaledData.select("features", "label").take(3).foreach(println)

//  [(20,[5,6,9],[0.0,0.6931471805599453,1.3862943611198906]),0]
//  [(20,[3,5,12,14,18],[1.3862943611198906,0.0,0.28768207245178085,0.28768207245178085,0.28768207245178085]),0]
//  [(20,[5,12,14,18],[0.0,0.5753641449035617,0.28768207245178085,0.28768207245178085]),1]
// 其中,20是标签总数,下一项是单词对应的hashing ID.最后是TF-IDF结果
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63

2.基于RDD的MLlib包中的TF_IDF算法

//参考: http://spark.apache.org/docs/1.4.1/mllib-feature-extraction.html#tf-idfark.mllib.feature.HashingTF
//进阶参考
//http://blog.csdn.net/jiangpeng59/article/details/52786344

import org.apache.spark.mllib.linalg.Vector
val sc: SparkContext = ...

// Load documents (one per line).
val documents: RDD[Seq[String]] = sc.textFile("...").map(_.split(" ").toSeq)

val hashingTF = new HashingTF()
val tf: RDD[Vector] = hashingTF.transform(documents)
tf.cache()
val idf = new IDF().fit(tf)
val tfidf: RDD[Vector] = idf.transform(tf)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15

四. 参考

http://blog.csdn.net/google19890102/article/details/29369793 
http://www.ruanyifeng.com/blog/2013/03/tf-idf.html 
http://www.cnblogs.com/rausen/p/4142838.html 
http://blog.csdn.net/jiangpeng59/article/details/52786344

爱萨萨
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
TF-IDF文本表示方法与词云图
空字符
05-22 4992
跟我一起机器学习系列文章将首发于公众号：月来客栈，欢迎搜索关注！ 在前面的一篇文章中，我们介绍了两种基本的用于文本表示的词袋模型表示方法，两者之间的唯一区别就是一个考虑的词频而另外一个没有。下面我们再介绍另外一种应用更为常见和广泛的词袋模型表示方式——TFIDF表示方法。之所以陆续的会出现不同的向量化表示形式，其最终目的都只有一个，即尽可能准确的对原始文本进行表示。 1 TF-IDF TF-IDF为**词频-逆文档频率（term frequence - inverse document frequence）
详解TF-IDF
real_ilin的博客
01-12 1万+
IF-IDF概念 TF-IDF是NLP中常用的方法，也比较经典。IF-IDF的思想：如果一个词在文档中出现了很多次，但是这个词在其它文档中出现的次数很少，则这个词对这篇文档很重要，在一定程度上可以代表这个文档的关键信息。所以在网页搜索、关键词提取中常用到IF-IDF。 TF-IDF就是tf−idf(t,d)=tf(t,d)×idf(t)tf-idf(t,d)=tf(t,d) \times idf(...
TF-IDF算法讲解
热门推荐
qq_45893319的博客
07-31 4万+
什么是 TF-IDF 算法？ TF（全称TermFrequency），中文含义词频，简单理解就是关键词出现在网页当中的频次。 IDF（全称InverseDocumentFrequency），中文含义逆文档频率，简单来说就是该关键词出现在所有文档里面的一种数据集合。 在信息检索中，tf-idf或TFIDF（术语频率 – 逆文档频率的缩写）是一种数字统计，旨在反映单词对集合或语料库中的文档的重要程度。 它经常被用作搜索信息检索，文本挖掘和用户建模的加权因子。tf-idf值按比例增加一个单词出现在文档中的次数，并
[机器学习] TF-IDF算法
摩登都市天空---专栏
06-10 1万+
1.文本数据的向量化 1.1名词解释 CF：文档集的频率，是指词在文档集中出现的次数 DF：文档频率，是指出现词的文档数 IDF：逆文档频率，idf = log(N/(1+df))，N为所有文档的数目，为了兼容df=0情况，将分母弄成1+df。 TF：词在文档中的频率 TF-IDF：TF-IDF= TF*IDF 1.2 TF-IDF算法 TF-IDF（词频-逆文档频率）算法是一...
算法篇--TF-IDF算法
小强签名设计 的博客
08-03 1万+
文章目录一、前言二、简单实例 一、前言   TF-IDF（term frequency–inverse document frequency，词频-逆向文件频率）是一种用于信息检索（information retrieval）与文本挖掘（text mining）的常用加权技术。   TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。   TF-IDF的主要思想是：如果某
TF-IDF的原理与应用
xbmatrix的博客
02-27 1770
参考：http://www.codeceo.com/article/tf-idf.html…… 1.TF-IDF原理 TF-IDF(Term Frequency-Inverse Document Frequency)，中文叫做词频－逆文档频率。在文本挖掘(Text Mining)和信息检索(Information Retrieval)领域具有广泛的应用。 其难能可贵之处在
TF-IDF：NLP中的TF_IDF的公式，并与Sklearn中的结果进行比较
02-26
在本主题中，我们将深入探讨TF-IDF的概念、计算公式，以及如何使用Python的Scikit-learn库（sklearn）进行实际操作，并对比手动计算的结果。 **1. TF-IDF的概念** TF-IDF的基本思想是，一个词如果在某篇文档中出现...
TF-IDF.zip_tf-idf_tfidf
09-21
TF-IDF，全称为Term Frequency-Inverse Document Frequency，是一种在信息检索和文本挖掘领域广泛应用的统计方法，用于评估...通过学习这个压缩包，你可以理解TF-IDF的工作原理，并能将其应用于实际的文本分析项目中。
NLP：基于TF-IDF的中文关键词提取.zip
04-21
首先，让我们了解TF-IDF的基本原理。TF（Term Frequency）表示一个词在文档中出现的频率，IDF（Inverse Document Frequency）则反映了这个词在整个语料库中的稀有程度。TF-IDF值是这两个量的乘积，用于衡量一个词...
tf-idf.zip_Information Retrival_python IR_python TF-IDF_tf-idf
09-15
通过查看和学习这些内容，你可以更深入地理解TF-IDF的工作原理以及如何在实际项目中应用它。 总的来说，TF-IDF是一种强大的工具，能够帮助我们在大量文本数据中找出具有重要性的词，从而提高信息检索的效率和准确性...
LDA和TF-IDF算法的相关论文
03-10
《LDA与TF-IDF算法：深度探讨与应用》 在信息检索和自然语言处理领域，LDA（Latent Dirichlet Allocation）和TF-IDF（Term Frequency-Inverse Document Frequency）是两种至关重要的算法，它们在文本分析、文档分类...
NLP入门（二）探究TF-IDF的原理
山阴少年
11-02 4421
TF-IDF介绍   TF-IDF是NLP中一种常用的统计方法，用以评估一个字词对于一个文件集或一个语料库中的其中一份文件的重要程度，通常用于提取文本的特征，即关键词。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。   在NLP中，TF-IDF的计算公式如下： tfidf=tf∗idf.tfidf = tf*idf.tfidf=tf∗idf. 其中，...
TF-IDF
m0_67084346的博客
12-01 2844
TF-IDF
TF-IDF算法原理和公式
酷酷的川的博客
01-14 3万+
一、什么是TF-IDF算法 TF-IDF算法是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TF-IDF加权的各种形式常被搜索引擎应用，作为文件与用户查询之间相关程度的度量或评级。除了TF-IDF以外，因特网上的搜索引擎还会使用基于链接分析的评级方法，以确定文件在搜寻结果中出现的顺序。 从事SEO行业时间比较长的人应该都听说过TF-IDF算法，TF-IDF算法属于搜索引擎
【NLP】文本表示之TF-IDF介绍
【活用数据】
03-10 5914
本文主要介绍了自然语言处理领域中文本表示的一个重要算法：TF-IDF算法。包括其基本概念，以及简单的Python代码实现。
自然语言处理NLP：tf-idf原理、参数及实战
csdn1561168266的博客
03-14 2624
大家好，tf-idf作为文体特征提取的常用统计方法之一，适合用于文本分类任务，本文将从原理、参数详解和实际处理方面介绍tf-idf，助力tf-idf用于文本数据分类。tf 表示词频，即某单词在某文本中的出现次数与该文本中所有词的词数的比值，idf表示逆文本频率（语料库中包含某单词的文本数、倒数、取log），tf-idf则表示词频 * 逆文档频率，tf-idf认为词的重要性随着它在文本中出现的次数成正比增加，但同时会随着它在整个语料库中出现的频率成反比下降。
机器学习 第12章-计算学习理论
最新发布
m0_62094120的博客
08-17 184
顾名思义，计算学习理论(computational learning theory)研究的是关于通过“计算”来进行“学习”的理论，即关于机器学习的理论基础，其目的是分析学习任务的困难本质，为学习算法提供理论保证，并根据分析结果指导算法设计。给定样例集D。假设X中的所有样本服从一个隐含未知的分布DD中所有样本都是独立地从这个分布上采样而得，即独立同分布(independent and identically distributed)样本令h为从X到Y的一个映射，其泛化误差为Eh;DP。
TF-IDF介绍及原理
09-23
TF-IDF的基本原理是，如果某个词在一篇文章中出现的频率越高，并且在其他文档中出现的频率越低，那么这个词就更有可能是该文档的重要内容。 ### 回答2： TF-IDF（Term Frequency-Inverse Document Frequency）是一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值