TF-IDF算法

原创 2015年11月19日 11:02:43

         阎华讲权限,说到判定两个角色是否相同,权限相似,想到数据挖掘的过程中,经常需要知道个体间差异的大小,评价个体的相似性和类别。如分类和聚类算法,以及广域网爬虫中判定网页相似性等问题。

        为了找出相似的文章,介绍计算相似度算法中最简单的一种,需要用到TF-IDF(term frequency–inverse document frequency)算法(余弦定理)(cosine similiarity)。

下面有两个句子

  句子A:我喜欢看电视,不喜欢看电影,我错了

  句子B:我不喜欢看电视,也不喜欢看电影,我没错

基本思路是:如果这两句话的用词越相似,它们的内容就应该越相似。因此,可以从词频入手,计算它们的相似程度。

第一步,分词。

  句子A:我/喜欢/看/电视,不/喜欢/看/电影。

  句子B:我/不/喜欢/看/电视,也/不/喜欢/看/电影。

第二步,列出所有的词。

  我,喜欢,看,电视,电影,不,也。

第三步,计算词频。

  句子A:我 1,喜欢 2,看 2,电视 1,电影 1,不 1,也 0。

  句子B:我 1,喜欢 2,看 2,电视 1,电影 1,不 2,也 1。(一般都有一个去噪的过程,副词,助词等去掉,如了.的,无实际意义)

第四步,写出词频向量。

  句子A:[1, 2, 2, 1, 1, 1, 0]

  句子B:[1, 2, 2, 1, 1, 2, 1]

        我们可以把它们想象成空间中的两条线段,都是从原点([0, 0, ...])出发,指向不同的方向。两条线段之间形成一个夹角,如果夹角为0度,意味着方向相同、线段重合;如果夹角为90度,意味着形成直角,方向完全不相似;如果夹角为180度,意味着方向正好相反。其实我理解余弦定理就是投影,这样更好理解。

上图的a和b是两个向量,我们要计算它们的夹角θ。余弦定理告诉我们,可以用下面的公式求得(不知道怎么求这个夹角的,下来做条辅助线计算,或私聊):

假定a向量是[x1, y1],b向量是[x2, y2],那么可以将余弦定理改写成下面的形式:

已经证明,余弦的这种计算方法对n维向量也成立。假定A和B是两个n维向量,A是 [A1, A2, ..., An] ,B是 [B1, B2, ..., Bn] ,则A与B的夹角θ的余弦等于:

使用这个公式,我们就可以得到,句子A与句子B的夹角的余弦。

余弦值越接近1,两个向量越相似。

所以,上面的句子A和句子B是很相似的,事实上它们的夹角大约为20.3度。

由此,我们就得到了"找出相似文章"的一种算法:

  (1)使用TF-IDF算法,找出两篇文章的关键词;

  (2)每篇文章各取出若干个关键词(比如20个),合并成一个集合,计算每篇文章对于这个集合中的词的词频;

  (3)生成两篇文章各自的词频向量;

  (4)计算两个向量的余弦相似度,值越大就表示越相似。

         做了一个demo,除了文本相似度余弦定理,还有欧式距离,曼哈顿算法等。图像相似Scale Invariant Feature Transform(SIFT)等    加权(权重)。

TF-IDF及其算法

概念      TF-IDF(term frequency–inverse document frequency)是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法,用以...

自然语言处理系列之TF-IDF算法

TF-IDF算法TF-IDF(词频-逆文档频率)算法是一种统计方法,用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加,但同时会随着它在...

TF-IDF算法总结

TF-IDF算法的全称叫 Term Frequency-Inverse Document Frequency 词频-逆文档频率算法TF-IDF主要用来文章关键词抽取当需要抽取一篇文章的关键词时候,往...

TF-IDF 算法

近来写论文需要抽取文档的主题和关键词,所以研究了一些关于抽取文档关键词以及计算文本相似度的一些算法。 TF-IDF是在抽取文档关键词,文档分类等领域比较经典的算法,我在很多本书中都看到过TF-IDE得...

TF-IDF算法解析与Python实现

TF-IDF是一种用于信息检索与文本挖掘的常用加权技术。例如当手头有一些文章时,我们希望计算机能够自动地进行关键词提取。而TF-IDF就是可以帮我们完成这项任务的一种统计方法。它能够用于评估一个词语对...

TF-IDF算法简介

TF-IDF算法简介
  • noter16
  • noter16
  • 2016年10月26日 09:16
  • 1554

python实现TF-IDF算法

TF-IDF(term frequency–inverse document frequency)是一种用于信息检索与数据挖掘的常用加权技术。同样,理论我这里不再赘述,因为和阮一峰大神早在2013年就...

TF-IDF算法-Python实现(附源代码)

一、背景 TF-IDF算法term frequency–inverse document frequency)是一种用于资讯检索与资讯探勘的常用加权技术。...
  • zhb_bupt
  • zhb_bupt
  • 2014年11月10日 20:10
  • 14024

TF-IDF算法

TF-IDF算法在两个方面都有重要的作用:1. 提取文章的关键字词 2. 根据关键词检索出相关度高的文本。这个算法被公认为信息检索领域最重要的发明,是很多算法和模型的基础。 什么是TF-IDFTF-I...

TF-IDF

TF-IDF
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:TF-IDF算法
举报原因:
原因补充:

(最多只允许输入30个字)