一、什么是TF-IDF
TF-IDF是一种统计方法,用以评估一个词对于一个文件集或一个语料库中的其中一份文件的重要程度。可用于关键词提取。
字词的重要性随着它在文件中出现的次数成正比增加,但同时会随着它在语料库中出现的频率成反比下降。TF-IDF加权的各种形式常被搜索引擎应用,作为文件与用户查询之间相关程度的度量或评级。除了TF-IDF以外,因特网上的搜索引擎还会使用基于链接分析的评级方法,以确定文件在搜寻结果中出现的顺序。
TF-IDF实际上是:TF * IDF。主要思想是:如果某个词或短语在一篇文章中出现的频率高(即TF高),并且在其他文章中很少出现(即IDF高),则认为此词或者短语具有很好的类别区分能力,适合用来分类。
通俗理解TF-IDF就是:
- TF刻画了词语t对某篇文档的重要性;
- IDF刻画了词语t对整个文档集的重要性,是对TF的惩罚项;
二、名词解释和数学算法
TF是词频(Term Frequency)表示词条在文本中出现的频率公式
IDF是逆文档频率(Inverse Document Frequency):某一特定词语的IDF,可以由