TFIDF

概念：

         TFIDF中的TF是termFrequency即词频，是词在文档中出现的频率，用词出现的次数除以文档中词的总数。以防止它偏向长的文件。这里词的总数是词1出现3次，词2出现5次，总数就是3+5=8次。

         而IDF是InverseDocument Frequency，可以由总的文件数目除以包含该词的文件数目，再取对数。10为底的对数。

         文档i中词j的tfidf权重值就是词j在文档i中的TF乘以词j在文档集合上计算出来的的IDF（这是一个全局因子）。

实际操作：

         对于一组文档集合，可以通过以上的方法计算出词的IDF并保存作为全局因子。

         对于这组文档集合中的每一篇文档，通过其TF和这个IDF就可以得到文档向量空间。

         当有新的一篇文档时，需要使用TFIDF权重来生成文档向量空间时。就先计算这个文档中包含词的TF，然后查找这个词的IDF。如果没有这个词，就忽略，如果有就计算该词的tfidf权重。这个和上面的区别是：文档集合中的文档中的词在IDF中必能找到对应的idf全局值。但是新的文档中的词就不能保证这点。