python数据挖掘实战笔记——文本挖掘（8）：用sklearn包进行关键字提取

概念：

sklearn: 全名Scikit-Learn，是基于python的机器学习模块，网址：http://scikit-learn.org/stable/index.html ，里面对一些常用的机器学习方法进行了封装，在进行机器学习任务时，并不需要每个人都实现所有的算法，只需要简单的调用sklearn里的模块就可以实现大多数机器学习任务。

机器学习任务通常包括分类（Classification）和回归（Regression），常用的分类器包括SVM、KNN、贝叶斯、线性回归、逻辑回归、决策树、随机森林、xgboost、GBDT、boosting、神经网络NN。
常见的降维方法包括TF-IDF、主题模型LDA、主成分分析PCA等等

采用scikit-learn包进行tf-idf分词权重计算关键用到了两个类：CountVectorizer和TfidfTransformer。
关于TF-IDF的计算方法，详细内容参见上一篇博客。
代码：
sklearn的分词方法是基于标点符号和空格进行的，英文分词很容易，当进行中文分词时，需要在分词之间添加空格，举个例子

contents = [
    '我 是 中国 人。',
    '你 是 美国 人。',
    '他 叫 什么 名字？',
    '她 是 谁 啊？'
];

from sklearn.feature_extraction.text import CountVectorizer #该类会将文本中的词语转换为词频矩阵，矩阵元素a[i][j] 表示j词在i类文本下的词频

countVectorizer = CountVectorizer()
textVector = countVectorizer.fit_transform(contents) #.fit_transform()方法将文本转为词频矩阵

调用.todense()方法我们来查看一下这个矩阵：

textVector.todense()
Out[7]: 
matrix([[1, 0, 0, 0],
        [0, 0, 0, 1],
        [0, 1, 1, 0],
        [0, 0, 0, 0]], dtype=int64)

调用countVectorizer.vocabulary_属性查看一下每个列的分词结果：

countVectorizer.vocabulary_
Out[6]: {'中国': 0, '什么': 1, '名字': 2, '美国': 3}

我们可以发现长度为1的分词不见了