tfidf处理代码_TF-IDF算法实现与代码解析

TF-IDF算法：

TfidfVectorizer()基于TF-IDF算法。此算法包括两部分TF和IDF，两者相乘得到TF-IDF算法。

TF算法统计某训练文本中，某个词的出现次数，计算公式如下：

 或 

IDF算法，用于调整词频的权重系数，如果一个词越常见，那么分母就越大，逆文档频率就越小越接近0。

TF-IDF算法=TF算法 * IDF算法。

文本特征提取方法一：CountVectorizer()+TfidfTransformer()

CountVectorizer()函数只考虑每个单词出现的频率；然后构成一个特征矩阵，每一行表示一个训练文本的词频统计结果。即，CountVectorizer是通过fit_transform函数将文本中的词语转换为词频矩阵。其思想是，先根据所有训练文本，不考虑其出现顺序，只将训练文本中每个出现过的词汇单独视为一列特征，构成一个词汇表(vocabulary list)，该方法又称为词袋法(Bag of Words)。举例解释说明：

from sklearn.feature_extraction.text importCountVectorizer,TfidfVectorizer

texts=["orange banana apple grape","banana apple apple","grape", 'ora