使用sklearn进行数据挖掘

1 使用sklearn进行数据挖掘

1.1 数据挖掘的步骤

数据挖掘通常包括数据采集，数据分析，特征工程，训练模型，模型评估等步骤。使用sklearn工具可以方便地进行特征工程和模型训练工作，在《使用sklearn做单机特征工程》中，我们最后留下了一些疑问：特征处理类都有三个方法fit、transform和fit_transform，fit方法居然和模型训练方法fit同名（不光同名，参数列表都一样），这难道都是巧合？
　　显然，这不是巧合，这正是sklearn的设计风格。我们能够更加优雅地使用sklearn进行特征工程和模型训练工作。此时，不妨从一个基本的数据挖掘场景入手：

我们使用sklearn进行虚线框内的工作（sklearn也可以进行文本特征提取）。通过分析sklearn源码，我们可以看到除训练，预测和评估以外，处理其他工作的类都实现了3个方法：fit、transform和fit_transform。从命名中可以看到，fit_transform方法是先调用fit然后调用transform，我们只需要关注fit方法和transform方法即可。
　　transform方法主要用来对特征进行转换。从可利用信息的角度来说，转换分为无信息转换和有信息转换。无信息转换是指不利用任何其他信息进行转换，比如指数、对数函数转换等。有信息转换从是否利用目标值向量又可分为无监督转换和有监督转换。无监督转换指只利用特征的统计信息的转换，统计信息包括均值、标准差、边界等等，比如标准化、PCA法降维等。有监督转换指既利用了特征信息又利用了目标值信息的转换，比如通过模型选择特征、LDA法降维等。通过总结常用的转换类，我们得到下表：

包 类 参数列表 类别 fit方法有用 说明 sklearn.preprocessing StandardScaler 特征 无监督 Y 标准化 sklearn.preprocessing MinMaxScaler 特征 无监督 Y 区间缩放 sklearn.preprocessing Normalizer 特征 无信息 N 归一化 sklearn.preprocessing Binarizer 特征 无信息 N 定量特征二值化 sklearn.preprocessing OneHotEncoder 特征 无监督 Y 定性特征编码 sklearn.preprocessing Imputer 特征 无监督 Y 缺失值计算 sklearn.preprocessing PolynomialFeatures 特征 无信息 N 多项式变换（fit方法仅仅生成了多项式的表达式） sklearn.preprocessing FunctionTransformer 特征 无信息 N 自定义函数变换（自定义函数在transform方法中调用） sklearn.feature_selection VarianceThreshold 特征 无监督 Y 方差选择法 sklearn.feature_selection SelectKBest 特征/特征+目标值 无监督/有监督 Y 自定义特征评分选择法 sklearn.feature_selection SelectKBest+chi2 特征+目标值 有监督 Y 卡方检验选择法 sklearn.feature_selection RFE 特征+目标值 有监督 Y 递归特征消除法 sklearn.feature_selection SelectFromModel 特征+目标值 有监督 Y 自定义模型训练选择法 sklearn.decomposition PCA 特征 无监督 Y PCA降维 sklearn.lda LDA 特征+目标值 有监督 Y LDA降维

不难看到，只有有信息的转换类的fit方法才实际有用，显然fit方法的主要工作是获取特征信息和目标值信息，在这点上，fit方法和模型训练时的fit方法就能够联系在一起了：都是通过分析特征和目标值，提取有价值的信息，对于转换类来说是某些统计量，对于模型来说可能是特征的权值系数等。另外，只有有监督的转换类的fit和transform方法才需要特征和目标值两个参数。fit方法无用不代表其没实现，而是除合法性校验以外，其并没有对特征和目标值进行任何处理，Normalizer的fit方法实现如下：

1 def fit(self, X, y=None):
2         """Do nothing and return the estimator unchanged
3         This method is just there to implement the usual API and hence
4         work in pipelines.
5         """
6         X = check_array(X, accept_sparse='csr')
7         return self

基于这些特征处理工作都有共同的方法，那么试想可不可以将他们组合在一起？在本文假设的场景中，我们可以看到这些工作的组合形式有两种：流水线式和并行式。基于流水线组合的工作需要依次进行，前一个工作的输出是后一个工作的输入；基于并行式的工作可以同时进行，其使用同样的输入，所有工作完成后将各自的输出合并之后输出。sklearn提供了包pipeline来完成流水线式和并行式的工作。

1.2 数据初貌

在此，我们仍然使用IRIS数据集来进行说明。为了适应提出的场景，对原数据集需要稍微加工：

 1 from numpy import hstack, vstack, array, median, nan
 2 from numpy.random import choice
 3 from sklearn.datasets import load_iris
 4 
 5 #特征矩阵加工
 6 #使用vstack增加一行含缺失值的样本(nan, nan, nan, nan)
 7 #使用hstack增加一列表示花的颜色（0-白、1-黄、2-红），花的颜色是随机的，意味着颜色并不影响花的分类
 8 iris.data = hstack((choice([0, 1, 2], size=iris.data