【tf-idf】文本转词向量后，词典中单词数量变少

在使用sklearn包中的CountVectorizer来统计文本中的词频时，

发现一个很隐蔽的问题，由于文本中有不少单个字的词语，在使用CountVectorizer来进行统计时，发现结果出来的词表单词数量变少了，导致后续计算相似度出现很大问题。

原因：

CountVectorizer在进行词频统计时，会默认把长度为1的词作为停用词给停掉，导致漏掉很多关键词，纠其原因，是CountVectorizer中有一个token_pattern的参数，利用正则表达式来筛选此长度大于1的词语，因此只需要进行修改即可。

示例：

vectorizer = CountVectorizer()

修改为：

vectorizer = CountVectorizer(token_pattern = r'\S+')

即可匹配长度为1的词语了。