sklearn 相似度矩阵_机器学习流程-数据预处理(sklearn)

本章节主要介绍数据预处理的一些方法，基于skleran0.19.X版本

1、标准化：去均值、方差缩放

1)、Standardization标准化:将特征数据的分布调整成标准正太分布，也叫高斯分布，也就是使得数据的均值维0，方差为1.

2)、标准化的原因在于如果有些特征的方差过大，则会主导目标函数从而使参数估计器无法正确地去学习其他特征

3)、标准化的过程为两步：去均值的中心化(均值变为0)；方差的规模化(方差变为1)

在sklearn.preprocessing中提供了一个scale的方法，可以实现以上功能。(标准化是对每个特征，也就是对每列而言的)

4)preprocessing这个模块还提供了一个实用类StandarScaler，它可以在训练数据集上做了标准转换操作之后，把相同的转换应用到测试训练集中。

2、缩放特征到一定的范围内

1)也就是使得特征的分布是在一个给定最小值和最大值的范围内的。一般情况下是在[0,1]之间，或者是特征中绝对值最大的那个数为1，其他数以此维标准分布在[[-1，1]之间

2)MinMaxScaler:默认将数据缩放到[0,1]之间，可以通过feature_range = (min,max)指定缩放范围

*之所以需要将特征规模化到一定的[0,1]范围内，是为了对付那些标准差相当小的特征并且保留下稀疏数据中的0值

3)MaxAbsScaler:数据会被缩放到[-1,1]之间。也就是特征中&#x