一、原理
如果某个词或短语在一篇文章中出现的概率高,并且在其他文章中很少出现,则认为此词或者短语具有很好的类别区分能力,适合用来分类。
二、作用
用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。是分类机器学习算法的的重要依据。
三、类
sklearn.feature_extraction.text.TfidfVectorizer
四、TfidfVectorizer语法
TfidfVectorizer(stop_words=None,…)
返回词的权重矩阵
(一)TfidfVectorizer.fit_transform(x,y)
x:文本或者包含文本字符串的可迭代对象
返回值:返回sparse矩阵
(二)TfidfVectorizer.inverse_transform(x)
x:array数组或者sparse矩阵
返回值:转换之前数据格式
(三)TfidfVectorizer.get_feature_names()
返回值:单词列表
例如:
from sklearn.feature_extraction import DictVectorizer
from sklearn.feature_extraction.text import CountVectorizer,TfidfVectorizer
import jieba
def cutword():
con1=jieba.cut(‘今天很残酷,明天更残酷,后天很美好,但绝对大部分是死在明天晚上,所以每个人不要放弃今天。’)
con2=jieba.cut(‘我们看到的从很远星系来的光是在几百万年之前发出的,这样当我们看到宇宙时,