TF-IDF(Term Frequency-Inverse Document Frequency, 词频-逆文件频率)
简单介绍一下就是词出现的频率在特定文章中出现的次数越多,在所有文档中出现的次数越少,越能代表文章;
就是特定文档出现的词作为该文档的代表;
词频一般都会被归一化,防止长文档中词出现的数量多但是占比不如短文本中的词频;
但是不一定词频越高了就越好,有些词对于主题原本就没有什么用,反而有些出现的次数很少的可以代表该文章;
但是, 需要注意, 一些通用的词语对于主题并没有太大的作用, 反倒是一些出现频率较少的词才能够表达文章的主题, 所以单纯使用是TF不合适的。权重的设计必须满足:一个词预测主题的能力越强,权重越大,反之,权重越小。所有统计的文章中,一些词只是在其中很少几篇文章中出现,那么这样的词对文章的主题的作用很大,这些词的权重应该设计的较大。IDF就是在完成这样的工作.
TF=某一类词条出现的次数占所有词条个数的比值;
IDF是文档总数除于所包含词条书的文档书+1 然后取log;
TF-IDF=TF*IDF