sklearn计算tf-idf中字+词 的tfidf计算（char,word）,analyzer='word'

tf-idf中  字+词 的tfidf计算

做tfidf计算有几行核心代码：
 

    vectorizer = CountVectorizer()    
    transformer = TfidfTransformer()
    tfidf = transformer.fit_transform(vectorizer.fit_transform(text))

一个bug：

如果text中包含这样的数据：['驴 福 记 ( 阜 通 店 )','...',...], 执行vectorizer.fit_transform一定会报错如下：

*** ValueError: empty vocabulary; perhaps the documents only contain stop words

但是如果    text       修改为：['驴 福 记 ( 阜通 店 )','...',...]，执行vectorizer.fit_transform就正常。 

原因:

创建CountVectorizer实例时，有一个默认参数analyzer='word'，在该参数作用下，词频矩阵构建过程会默认过滤所有的单字token，所以上面的'驴 福 记 ( 阜 通 店 )'以空格分隔以后全是单字，也就全被过滤了，所以就empty vocabulary了。
 

analyzer关键字

如果想针对单字进行tfidf计算，可以加上参数vectorizer = CountVectorizer(analyzer='char')，此时，输入字符串无需做空格分隔， CountVectorizer会自动按照 单字 进行分隔统计词频。

要想同时支持 字+词 的tfidf计算，需自定义token正则：

 

vectorizer = CountVectorizer(analyzer='word',token_pattern=u"(?u)\\b\\w+\\b")