sklearn.feature_extraction.text模块下的CountVectorizer与TfidfVectorizer

1、CountVectorizer

设我们有N个文档。 CountVectorizer首先统计这N个文档中除stop_words之外所出现过的词，生成一个词汇表（设词汇表为V，其长度为|V|）。再生成一个N*|V|的数组，设为A，则A[i, j]代表词汇表V中第j个词在第i个文档中出现的次数。

from sklearn.feature_extraction.text import CountVectorizer
X_test = ['I sed about sed the lack','of any Actually']
## stop_words=None表示不去掉停用词，若改为stop_words='english'则去掉停用词； 
count_vec=CountVectorizer(stop_words=None)
## 训练count_vec中的属性，并返回数组
arr = count_vec.fit_transform(X_test).toarray()
print('\nvocabulary list:')
print(count_vec.get_feature_names()) ## 列表中的词汇按照英文字母表的顺序排列。
print('\nresult array')
print(arr)                           ## 打印数组
print('\nvocabulary order:\n',count_vec.vocabulary_)

## 运行结果：
vocabulary list:
['about', 'actually', 'any', 'lack', 'of', 'sed', 'the']

result array
[[1 0 0 1 0 2 1]
 [0 1 1 0 1 0 0]]

vocabulary order:
 {'about': 0, 'sed': 5, 'of': 4, 'any': 2, 'the': 6, 'actually': 1, 'lack': 3}

#####################################################
########## CountVectorizer同样适用于中文 ###############
#####################################################

X_test = [u'没有 你 的 地方 都是 他乡',u'没有 你 的 旅行 都是 流浪']
## 默认将所有单个汉字视为停用词；
count_vec=CountVectorizer(token_pattern=r"(?u)\b\w\w+\b")
arr = count_vec.fit_transform(X_test).toarray()
print(arr)
print('\nvocabulary list:\n')
for key,value in count_vec.vocabulary_.items():
    print(key,value)


## 运行结果：

[[1 1 0 1 0 1]
 [0 0 1 1 1 1]]

vocabulary list:

没有 3
地方 1
流浪 4
旅行 2
他乡 0
都是 5

2、TfidfVectorizer

设我们有N个文档。 TfidfVectorizer首先统计这N个文档中除stop_words之外所出现过的词，生成一个词汇表（设词汇表为V，其长度为|V|）。再生成一个N*|V|的数组，设为W，则W[i, j]代表词汇表V中第j个词在第i个文档中的tf-idf值。

# -*- coding: utf-8 -*-
from sklearn.feature_extraction.text import TfidfVectorizer
X_test = ['没有 你 的 地方 都是 他乡','没有 你 的 旅行 都是 流浪']
stopword = [u'都是'] #自定义一个停用词表，此外默认将所有单个汉字视为停用词；
#但可以设token_pattern=r"(?u)\b\w+\b"，即不考虑停用词

tfidf = TfidfVectorizer(token_pattern=r"(?u)\b\w\w+\b",stop_words=stopword)
weight= tfidf.fit_transform(X_test).toarray()   ## 拟合模型，返回tf-idf权重稀疏权重矩阵
vocab = tfidf.get_feature_names()               ## 返回词汇列表
idf   = tfidf.idf_                              ## 返回词汇中各词对应的idf值

for key,value in tfidf.vocabulary_.items():
    print(key,value)

## 结果：
没有 3
地方 1
流浪 4
他乡 0
旅行 2

print('IFIDF词频矩阵:')
print(weight)
print('各词对应的idf值:')
print(tfidf.idf_)

## 结果：
IFIDF词频矩阵:
[[0.6316672  0.6316672  0.         0.44943642 0.        ]
 [0.         0.         0.6316672  0.44943642 0.6316672 ]]
各词对应的idf值:
[1.40546511 1.40546511 1.40546511 1.         1.40546511]

for i in range(len(weight)):  
# 打印每类文本的tf-idf词语权重，第一个for遍历所有文本，
#第二个for便利某一类文本下的词语权重
    print(u"-------这里输出第", i, u"类文本的词语tf-idf权重------")
    for j in range(len(word)):
        print(vocab[j], weight[i][j]) #第i个文本中，第j个次的tfidf值

## 结果：
-------这里输出第 0 类文本的词语tf-idf权重------
他乡 0.6316672017376245
地方 0.6316672017376245
旅行 0.0
没有 0.4494364165239821
流浪 0.0
-------这里输出第 1 类文本的词语tf-idf权重------
他乡 0.0
地方 0.0
旅行 0.6316672017376245
没有 0.4494364165239821
流浪 0.6316672017376245