机器学习（二）

标准化总结

在已有样本足够多的情况下比较稳定，适合现代嘈杂大数据场景

缺失值的处理

1.删除：如果每列或者行数据缺失值达到一定的比例，建议放弃整行或者整列

插补：可以通过缺失值每行或者每列的平均值、中位数来填充

2.sklearn缺失值API：sklearn.preprocessing.Imputer

Imputer语法

Imputer流程

1.初始化Imputer，指定“缺失值”，指定填补策略，指定行或列（缺失值也可以是别的指定要替换的值）

2.调用fit_transform

关于np.nan(np.nan)

1.numpy的数组中可以使用np.nan/np.nan来代替缺失值，属于float类型

2.如果是文件中的一些缺失值，可以替换成nan，通过np.array转化成float型的数组即可

特征的预处理

特征的预处理：对数据进行处理

通过特定的统计方法（数学方法）将数据转换成算法要求的数据

数值型数据：标准缩放：1.归一化 2.标准化 3.缺失值

类别型数据：one-hot编码

时间类型：时间的切分

sklearn特征处理API

sklearn.preprocessing

归一化

特点：通过对原始数据进行变换把数据映射到（默认为[0,1]）之间

数据的降维之特征选择

维度（数组的维度）

降维：维度（特征的数量）

特征选择

特征选择的原因：冗余：部分特征的相关度高，容易消耗计算性能；噪声：部分特征对预测结果有影响

特征选择：就是单纯地从提取到的所有特征中选择部分特征作为训练集特征，特征在选择前和选择后可以改变值、也不改变值，但是选择后的特征维数肯定比选择前小，因为只选择了其中的一部分特征

sklearn特征选择API

sklearn.feature_selection.VarianceThreshold

VarianceThreshold语法

VarianceThreshold流程

1.初始化VarianceThreshold，指定阀值方差

2.调用fit_transform

PCA（主成分分析）

本质：PCA是一种分析、简化数据集的技术

目的：是数据维数压缩，尽可能降低原数据的维数（复杂度），损失少量信息

作用：可以削减回归分析或者巨类分析中特征的数量

sklearn主成分分析API

sklearn.decomposition

PCA语法

n_components:小数形式（百分比：一般是0～1），整数形式（一般不使用）

PCA流程

1.初始化PCA，指定减少的维度

2.调用fit_transform

sklearn数据集

数据集划分

训练集（训练数据）：用于训练，构建模型

测试集（测试数据）：在模型检验时使用，用于评估模型是否有效

sklearn数据集划分API

sklearn.model_selection.train_test_split

scikit-learn数据集API介绍

获取数据集返回的类型

sklearn分类数据集

数据集进行分割

用于分类的大数据值

转换器与预估器

转换器

fit_transform()：输入数据直接转换

fit():输入数据，但不做转换

transform()：进行数据的转换

fit_transform()=fit()+transform()

 估计器

在sklearn中，估计器是一类实现了算法的API

估计器的流程

1.调用fit

fit(x_train,y_train)

2.输入预测试集的数据

（1.y_predict=predict(x_test)

    2.预测的准确率：score(x_test,y_test)）