Python机器学习库scikit-learn使用小结（一）

scikit-learn库（前两小结）

       在做数据分析和挖掘的过程中，数据的处理（标准化）、划分、快速建模都是必不可少的方式。这里本人总结了一些scikit-learn（以下简称sklearn）库的使用方法小结，当然也本人在工作中时常需要用到的一些。（方法在精不在多，这里不是sklearn所以的总结）

       sklearn库整合了多种机器学习算法，能够在数据分析过程中快速建立模型，且模型接口统一，使用起来非常方便。基于官方文档，本次我们只小结4个点：sklearn转换器、数据标准化与数据划分、聚类，分类，回归模型的构建与评估。

1、sklearn转换器处理数据

       sklearn提供了datasets模块、model_selection模型选择模块，preprocessing数据预处理模块与decompisition特征分解模块。实现数据的预处理与模型构建前的数据标准化，二值化，归一化，数据集的分割，交叉验证，PCA降维。

1.1、加载datasets模块中数据集

       sklearn库的datasets模块集成了部分数据分析的经典数据集，可以使用这些数据集进行数据预处理，建模等操作，熟悉sklearn的数据处理流程和建模流程。datasets模块常用数据集的加载函数与解释如下表所示。

数据集加载函数	数据集任务类型	数据集加载函数	数据集任务类型
load_ boston	回归	load_breast_cancer	分类，聚类
fetch_california_housing	回归	load_iris	分类，聚类
load_digits	分类	load_wine	分类

       使用sklearn进行数据预处理会用到sklearn提供的统一接口——转换器（Transformer）。如果需要加载某个数据集可以将对应的函数赋值给某个变量。

       加载后的数据集可以视为一个字典，几乎所有的sklearn数据集均可以使用data，target，feature_names，DESCR分别获取数据集的数据，标签，特征名称和描述信息。

from sklearn.datasets import load_breast_cancer
cancer = load_breast_cancer()##将数据集赋值给iris变量
print('breast_cancer数据集的长度为：',len(cancer))
print('breast_cancer数据集的类型为：',type(cancer))

cancer_data = cancer['data']
print('breast_cancer数据集的数据为：','\n',cancer_data)

cancer_data = cancer['data']
print('breast_cancer数据集的数据为：','\n',cancer_data)

cancer_target = cancer['target'] ## 取出数据集的标签
print('breast_cancer数据集的标签为：\n',cancer_target)

cancer_names = cancer['feature_names'] ## 取出数据集的特征名
print('breast_cancer数据集的特征名为：\n',cancer_names)

cancer_desc = cancer['DESCR'] ## 取出数据集的描述信息
print('breast_cancer数据集的描述信息为：\n',cancer_desc)

2.1、将数据集划分为训练集和测试集

       在数据分析过程中，为了保证模型在实际系统中能够起到预期作用，一般需要将样本分成独立的三部分：训练集（train set），验证集（validation set)和测试集（test set）。其中训练集用于估计模型，验证集用于确定网络结构或者控制模型复杂程度的参数，而测试集则用于检验最优的模型的性能。典型的划分方式是训练集占总样本的50％，而验证集和测试集各占25％。

       当数据总量较少的时候，使用上面的方法将数据划分为三部分就不合适了。常用的方法是留少部分做测试集，然后对其余N个样本采用K折交叉验证法。其基本步骤是将样本打乱，然后均匀分成K份，轮流选择其中K－1份做训练，剩余的一份做验证，计算预测误差平方和，最后把K次的预测误差平方和的均值作为选择最优模型结构的依据。sklearn的model_selection模块提供了train_test_split函数，能够对数据集进行拆分，其使用格式如下。

sklearn.model_selection.train_test_split(*arrays, **options)

       train_test_split函数及其常用参数如下表所示。

参数名称	说明
*arrays	接收一个或多个数据集。代表需要划分的数据集，若为分类回归则分别传入数据和标签，若为聚类则传入数据。无默认。
test_size	接收float，int，None类型的数据。代表测试集的大小。如果传入的为float类型的数据则需要限定在0-1之间，代表测试集在总数中的占比；如果传入为int类型的数据，则表示测试集记录的绝对数目。该参数与train_size可以只传入一个。
train_size	接收float，int，None类型的数据。代表训练集的大小。该参数与test_size可以只传入一个。
random_state	接收int。代表随机种子编号，相同随机种子编号产生相同的随机结果，不同的随机种子编号产生不同的随机结果。默认为None。
shuffle	接收boolean。代表是否进行有放回抽样。若该参数取值为True则stratify参数必须不能为空。
stratify	接收array或者None。如果不为None，则使用传入的标签进行分层抽样。

       train_test_split函数根据传入的数据，分别将传入的数据划分为训练集和测试集。如果传入的是1组数据，那么生成的就是这一组数据随机划分后训练集和测试集，总共2组。如果传入的是2组数据，则生成的训练集和测试集分别2组，总共4组。将breast_cancer数据划分为训练集和测试集。

from sklearn.model_selection import train_test_split
cancer_data_train, cancer_data_test, cancer_target_train, cancer_target_test = \
train_test_split(cancer_data, cancer_target, test_size=0.2, random_state=42)
print('训练集数据的形状为：',cancer_data_train.shape)
print('训练集标签的形状为：',cancer_target_train.shape)
print('测试集数据的形状为：',cancer_data_test.shape)
print('测试集标签的形状为：',cancer_target_test.shape)

       在model_selection模块中还提供了其他数据集划分的函数，如PredefinedSplit，ShuffleSplit等。

2.2、使用sklearn转换器进行数据预处理与降维

       为帮助用户实现大量的特征处理相关操作，sklearn把相关的功能封装为转换器（transformer）。转换器主要包括三个方法：fit，transform和fit_transform。

方法名称	说明
fit	fit方法主要通过分析特征和目标值，提取有价值的信息，这些信息可以是统计量，也可以是权值系数等。
transform	transform方法主要用来对特征进行转换。以可利用信息的角度可分为无信息转换和有信息转换。无信息转换是指不利用任何其他信息进行转换，比如指数和对数函数转换等。有信息转换根据是否利用目标值向量又可分为无监督转换和有监督转换。
fit_transform	fit_transform方法就是先调用fit方法，然后调用transform方法。

       使用sklearn转换器能够实现对传入的NumPy数组进行标准化处理，归一化处理，二值化处理，PCA降维等操作。在数据分析过程中，各类特征处理相关的操作都需要对训练集和测试集分开操作，需要将训练集的操作规则，权重系数等应用到测试集中。

import numpy as np
from sklearn.preprocessing import MinMaxScaler
Scaler = MinMaxScaler().fit(cancer_data_train) ##生成规则
cancer_trainScaler = Scaler.transform(cancer_data_train) ##将规则应用于训练集
print('离差标准化前训练集数据的最小值为：',np.min(cancer_data_train))
print('离差标准化后训练集数据的最小值为：',np.min(cancer_trainScaler))
print('离差标准化前训练集数据的最大值为：',np.max(cancer_data_train))
print('离差标准化后训练集数据的最大值为：',np.max(cancer_trainScaler))

       离差标准化之后的训练集数据的最小值，最大值的确限定在了[0,1]之间，同时由于测试集是应用了训练集的离差标准化规则，数据超出了[0,1]的范围。sklearn除了提供离差标准化函数MinMaxScaler外，还提供了一系列数据预处理函数，具体如下表所示。

函数名称	说明
StandardScaler	对特征进行标准差标准化。
Normalizer	对特征进行归一化。
Binarizer	对定量特征进行二值化处理。
OneHotEncoder	对定性特征进行独热编码处理。
FunctionTransformer	对特征进行自定义函数变换。

       sklearn除了提供基本的特征变换函数外，还提供了降维算法，特征选择算法，这些算法的使用也是通过转换器的方式。对breast_cancer数据集进行PCA降维算法，则特征维度降为3。

from sklearn.decomposition import PCA
pca_model = PCA(n_components=3).fit(cancer_trainScaler) ##生成规则
cancer_trainPca = pca_model.transform(cancer_trainScaler) ##将规则应用于训练集
print('PCA降维前训练集数据的形状为：',cancer_trainScaler.shape)
print('PCA降维后训练集数据的形状为：',cancer_trainPca.shape)

       PCA降维算法常用参数如下。

函数名称	说明
n_components	接收None，int，float或string。未指定时，代表所有特征均会被保留下来；如果为int，则表示将原始数据降低到n个维度；如果为float，同时svd_solver参数等于full；赋值为string，比如n_components='mle'，将自动选取特征个数n，使得满足所要求的方差百分比。默认为None。
copy	接收bool。代表是否在运行算法时将原始数据复制一份，如果为True，则运行后，原始数据的值不会有任何改变。默认为True
whiten	接收boolean。表示白化，就是对降维后的数据的每个特征进行归一化，让方差都为1。默认为False。
svd_solver	接收string {‘auto’, ‘full’, ‘arpack’, ‘randomized’}。代表使用的SVD算法。randomized一般适用于数据量大，数据维度多，同时主成分数目比例又较低的PCA降维。full是使用SciPy库实现的传统SVD算法。arpack和randomized的适用场景类似，区别是randomized使用的是sklearn自己的SVD实现，而arpack直接使用了SciPy库的sparse SVD实现。auto则代表PCA类会自动在上述三种算法中去权衡，选择一个合适的SVD算法来降维。默认为auto。

 

文章未经博主同意，禁止转载！