一、TF(Term Frequency)词频
用词频去衡量关键字,会出现一个问题,就是文本中的 “的” 或是 “是”出现的频率会很高,还有就是一些常见的名词的频率也会很高,到是这些并不是我们需要的关键字的,不能代表文本。因此,就需要为词分配一个权重,最常见的给予的权重较小,较少见的给予的权重大。
二、逆文档频率(Inverse Document Frequency)IDF
权重就是逆文档频率:
TF-IDF = TF * IDF
某个词对文档的总要性越高,它的TF-IDF值越大。
三、公式
词频: 词频(TF)=某个词在文档中出现的次数
由于文档有长短之分,为了方便比较,进行词频的标准化
词频(TF)= 某个词在文档中出现的次数 / 文档中词的总数
或者 词频(TF)= 某个词在文档中出现的次数 / 该文档中出现次数最多词的出现次数
逆文档频率(IDF)的计算,需要一个语料库。
逆文档频率(IDF)=log(语料库的文档总数 / (包含该词的文档数 +1))
TF-IDF = 词频(TF)* 逆文档频率(IDF)
四、总结
TF-IDF 值与一个词在文档中的出现次数成正比,与该词在整个语料库中的出现次数成反比。主要应用于构建文本的向量空间模型,和文本的关键字提取中。