TF-IDF

tf-idf 是一个NLP任务中常用的工具。

其主要思想是，在一个语料库中的一篇文章里的某一个词。

它越是在语料库出现的次数少而在该文章中出现的次数多，我们就可以认为这个词对于文章来说，很重要。

那么TF代表的意思是“词频”：某个词在文章中出现次数/文章总词数
同样IDF代表的意思是“逆文档频率”：IDF = log(语料库的文档总数/包含该词的文档总数+1)

一般TF-IDF越大，则代表这个词越重要，它的排位越靠前。

TF-idf 算法简单而强大，它最大的问题是，只是从词频的角度考量词的重要性。
如果一个词的词频比较低，但它代表着重要的意思，很可能会被排到更后面的位置。如此，效果不会很好。