TF-IDF

TF-IDF(Term Frequency-Inverse Document Frequency, 词频-逆文件频率)

简单介绍一下就是词出现的频率在特定文章中出现的次数越多,在所有文档中出现的次数越少,越能代表文章;
就是特定文档出现的词作为该文档的代表;

词频一般都会被归一化,防止长文档中词出现的数量多但是占比不如短文本中的词频;

但是不一定词频越高了就越好,有些词对于主题原本就没有什么用,反而有些出现的次数很少的可以代表该文章;

但是, 需要注意, 一些通用的词语对于主题并没有太大的作用, 反倒是一些出现频率较少的词才能够表达文章的主题, 所以单纯使用是TF不合适的。权重的设计必须满足：一个词预测主题的能力越强，权重越大，反之，权重越小。所有统计的文章中，一些词只是在其中很少几篇文章中出现，那么这样的词对文章的主题的作用很大，这些词的权重应该设计的较大。IDF就是在完成这样的工作.

 

TF=某一类词条出现的次数占所有词条个数的比值;

IDF是文档总数除于所包含词条书的文档书＋１　然后取log;

TF-IDF=TF*IDF