Python数据分析与应用-----使用scikit-learn构建模型

一.使用sklearn转换器处理数据

1.加载datasets模块中数据集

（1）datasets模块常用数据集加载函数及其解释

a).sklearn库的datasets模块集成了部分数据分析的经典数据集，可以使用这些数据集进行数据预处理，建模等操作，熟悉sklearn的数据处理流程和建模流程。
b).datasets模块常用数据集的加载函数与解释如下表所示。

c)使用sklearn进行数据预处理会用到sklearn提供的统一接口——转换器（Transformer）。
d)加载后的数据集可以视为一个字典，几乎所有的sklearn数据集均可以使用data，target，feature_names，DESCR分别获取数据集的数据，标签，特征名称和描述信息。

2.将数据计划分为训练集和测试集

(1)常用划分方式

a）在数据分析过程中，为了保证模型在实际系统中能够起到预期作用，一般需要将样本分成独立的三部分：
训练集（train set）：用于估计模型。
验证集（validation set)：用于确定网络结构或者控制模型复杂程度的参数。
测试集（test set）：用于检验最优的模型的性能。
b）典型的划分方式是训练集占总样本的50％，而验证集和测试集各占25％。

（2）K折交叉验证法

a）当数据总量较少的时候，使用上面的方法将数据划分为三部分就不合适了。
b）常用的方法是留少部分做测试集，然后对其余N个样本采用K折交叉验证法，基本步骤如下：
将样本打乱，均匀分成K份。
轮流选择其中K－1份做训练，剩余的一份做验证。
计算预测误差平方和，把K次的预测误差平方和的均值作为选择最优模型结构的依据。

（3）train_test_split函数

sklearn的model_selection模块提供了train_test_split函数，能够对数据集进行拆分，其使用格式如下。
sklearn.model_selection.train_test_split(*arrays, **options)
train_test_split函数根据传入的数据，分别将传入的数据划分为训练集和测试集。
如果传入的是1组数据，那么生成的就是这一组数据随机划分后训练集和测试集，总共2组。如果传入的是2组数据，则生成的训练集和测试集分别2组，总共4组。
train_test_split是最常用的数据划分方法，在model_selection模块中还提供了其他数据集划分的函数，如PredefinedSplit，ShuffleSplit等。

3.使用sklearn转换器进行数据预处理与降维

（1）sklearn转换器三个方法

sklearn把相关的功能封装为转换器（transformer）。使用sklearn转换器能够实现对传入的NumPy数组进行标准化处理，归一化处理，二值化处理，PCA降维等操作。转换器主要包括三个方法：

（2）sklearn转换器

在数据分析过程中，各类特征处理相关的操作都需要对训练集和测试集分开操作，需要将训练集的操作规则，权重系数等应用到测试集中。

如果使用pandas，则应用至测试集的过程相对烦琐，使用sklearn转换器可以解决这一困扰。

（3）sklearn部分预处理函数与其作用

（4）PCA降维算法函数

sklearn除了提供基本的特征变换函数外，还提供了降维算法，特征选择算法，这些算法的使用也是通过转换器的方式。
PCA降维算法函数常用参数及其作用

二.构建并评价聚类模型

1.使用sklearn估计器构建聚类模型

（1）聚类

聚类的输入是一组未被标记的样本，聚类根据数据自身的距离或相似度将他们划分为若干组，划分的原则是组内样本最小化而组间（外部）距离最大化，如图所示。

（2）聚类方法类别

（3）cluster提供的聚类算法及其适用范围

sklearn常用的聚类算法模块cluster提供的聚类算法及其适用范围如下所示：

（4)sklearn估计器

聚类算法实现需要sklearn估计器（estimator）。sklearn估计器和转换器类似，拥有fit和predict两个方法。两个方法的作用如下。

2.评价聚类模型

(1)聚类模型评价指标

聚类评价的标准是组内的对象相互之间是相似的（相关的），而不同组中的对象是不同的（不相关的）。即组内的相似性越大，组间差别越大，聚类效果就越好。sklearn的metrics模块提供的聚类模型评价指标。

上表总共列出了6种评价的方法，其中前4种方法均需要真实值的配合才能够评价聚类算法的优劣，后2种则不需要真实值的配合。但是前4种方法评价的效果更具有说服力，并且在实际运行的过程中在有真实值做参考的情况下，聚类方法的评价可以等同于分类算法的评价。

除了轮廓系数以外的评价方法，在不考虑业务场景的情况下都是得分越高，其效果越好，最高分值均为1。而轮廓系数则需要判断不同类别数目的情况下其轮廓系数的走势，寻找最优的聚类数目。

在具备真实值作为参考的情况下，几种方法均可以很好地评估聚类模型。在没有真实值作为参考的时候，轮廓系数评价方法和Calinski-Harabasz指数评价方法可以结合使用。

三.构建并评价分类模型

1.使用sklearn估计器构建分类模型

(1)分类算法的实现过程

在数据分析领域，分类算法有很多，其原理千差万别，有基于样本距离的最近邻算法，有基于特征信息熵的决策树，有基于bagging的随机森林，有基于boosting的梯度提升分类树，但其实现的过程相差不大。过程如图所示。

(2)sklearn库常用分类算法函数

sklearn中提供的分类算法非常多，分别存在于不同的模块中。常用的分类算法如下表所示。

2.评价分类模型

(1)分类模型的评价指标

分类模型对测试集进行预测而得出的准确率并不能很好地反映模型的性能，为了有效判断一个预测模型的性能表现，需要结合真实值，计算出精确率、召回率、F1值和Cohen’s Kappa系数等指标来衡量。常规分类模型的评价指标如表所示。分类模型评价方法前4种都是分值越高越好，其使用方法基本相同。

sklearn的metrics模块还提供了一个能够输出分类模型评价报告的函数classfication_report。

(2）ROC曲线

除了使用数值，表格形式评估分类模型的性能，还可通过绘制ROC曲线的方式来评估分类模型。

ROC曲线横纵坐标范围为[0,1]，通常情况下ROC曲线与X轴形成的面积越大，表示模型性能越好但是当ROC曲线处于下图中蓝色虚线的位置，就表明了模型的计算结果基本都是随机得来的，在此种情况下模型起到的作用几乎为零。故在实际中ROC曲线离图中蓝色虚线越远表示模型效果越好。

四.构建并评价回归模型

1.使用sklearn估计器构建回归模型

(1)回归分析方法

从19世纪初高斯提出最小二乘估计算起，回归分析的历史已有200多年。从经典的回归分析方法到近代的回归分析方法。

按照研究方法划分，回归分析研究的范围大致如图所示。

回归算法的实现步骤和分类算法基本相同，分为学习和预测2个步骤。学习是通过训练样本数据来拟合回归方程；预测则是利用学习过程中拟合出的回归方程，将测试数据放入方程中求出预测值。

(2)常用的回归模型

(3)sklearn库常用回归算法函数

sklearn内部提供了不少回归算法，常用的函数如下表所示。

可以利用预测结果和真实结果画出折线图作对比，以便更直观看出线性回归模型效果。

2.评价回归模型

(1)回归模型评价指标

回归模型的性能评估不同于分类模型，虽然都是对照真实值进行评估，但由于回归模型的预测结果和真实值都是连续的，所以不能够求取Precision、Recall和F1值等评价指标。回归模型拥有一套独立的评价指标。

平均绝对误差、均方误差和中值绝对误差的值越靠近0，模型性能越好。可解释方差值和R方值则越靠近1，模型性能越好。

小结

本章主要根据数据分析的应用分类，重点介绍了对应的数据分析建模方法及实现过程。

1.sklearn数据分析技术的基本任务主要体现在聚类、分类和回归三类。
2.每一类又有对应的多种评估方法，能够评价所构建模型的性能优劣。
通过这一章的学习，读者基本能够掌握常用的模型构建与评估方法，可在以后的数据分析过程中采用适当的算法并按所介绍的步骤实现综合应用。