sklearn：CountVectorizer、TfidfTransformer与TfidfVectorizer

CountVectorize

CountVectorizer：特征数值计算类，文本特征提取方法。
对于每一个训练文本，CountVectorizer会将文本中的词语转换为词频矩阵，它通过fit_transform函数计算各个词语在该训练文本出现的次数。

CountVectorize的使用

调用

from sklearn.feature_extraction.text import CountVectorizer#调用

词频矩阵

cv = CountVectorizer() #构建词袋数据结构
cv_fit=cv.fit_transform(corpus)#得corpus词频矩阵

#上述两行等价于下面两行
#cv.fit(texts)
#cv_fit=cv.transform(texts)
样式

print(cv.get_feature_names())#分词列表
print(cv.vocabulary_) #分词字典
print(cv_fit)#词频矩阵
print(cv_fit.toarray())#词频稀疏矩阵
print(cv_fit.toarray().sum(axis=0))  #词频列表

过滤

CountVectorizer(token_pattern=r"(?u)\b\w\w+\b", max_df=1.0, min_df=1, 
vocabulary=None, binary=False, dtype=<class 'numpy.int64'>)

token_pattern	过滤规则
max_df	max_df默认为1，可设置为0~1的小数（百分比）。词频大于max_df则被去除。
min_df	词频小于min_df 则被去除。
vocabulary	默认为None，vocabulary的词必须被保留
binary	默认为False，词在文档出现n次，若binary=True，非零n置为1，这对需要布尔离散概率模型
dtype	dtype设置fit_transform()或transform()得到的矩阵的数值类型

token_pattern这个参数使用正则表达式来分词，其默认参数为r"(?u)\b\w\w+\b"，其中两个\w决定其匹配长度至少为2的单词。要减到1个，即r"(?u)\b\w+\b"。