TF-IDF原理介绍

什么是TF-IDF
IF-IDF(term frequency-inverse document frequency)词频-逆向文件频率。在处理文本时，如何将文字转化为模型可以处理的向量呢？IF-IDF就是这个问题的解决方案之一。字词的重要性与其在文本中出现的频率成正比(IF)，与其在语料库中出现的频率成反比(IDF)。

IF

   IF：词频。IF(w)=(词w在文档中出现的次数)/(文档的总词数)

IDF
IDF：逆向文件频率。有些词可能在文本中频繁出现，但并不重要，也即信息量小，如is,of,that这些单词，这些单词在语料库中出现的频率也非常大，我们就可以利用这点，降低其权重。

IDF(w)=log_e(语料库的总文档数)/(语料库中词w出现的文档数)

IF-IDF

将上面的IF-IDF相乘就得到了综合参数：IF-IDF=IF*IDF

如何使用？
在文本处理中，我们经常遇到将一段话变成向量，以组成矩阵来输入到模型中处理。我们这时就可以用到IF-IDF来做。但是我们需要自己找语料库训练IF-IDF吗？看看sklearn.feature_extraction.text.TfidfVectorizer吧~~~
示例：

from sklearn.feature_extraction.text import TfidfVectorizer

cv=TfidfVectorizer(binary=False,decode_error='ignore',stop_words='english')
vec=cv.fit_transform([