tf-idf权重

tf-idf权重常用于信息检索与文本挖掘中，作为评估某个词对文档集合或者语料库中某个文档的重要程度的统计度量，这种重要程度与词在文档中的出现次数成正比，但是被语料库中词的出现频率所抵消。

词频(Term Frequency, TF)：

TF(t) = (Number of times term t appears in a document) / (Total number of terms in the document)

逆文档频率(Inverse Document Frequency, IDF)：

IDF(t) = log_e(Total number of documents / Number of documents with term t in it)

目前，搜索引擎中广泛使用的是tf-idf模型。tf-idf模型的主要思想是：如果词w在一篇文档d中出现的频率高，并且在其他文档中很少出现，则认为词w具有很好的区分能力，可以用来把文章d和其他文章区分开来。

参考自http://www.tfidf.com/