===============================================================================================
无量纲化:将不同规格的数据转换到同一规格,或不同分布的数据转换到某个特定分布
例如梯度和矩阵为核心的算法中,逻辑回归、支持向量机、神经网络,无量纲化可以加快求解速度;而在距离类模型,例如K近邻、K-Means聚类,无量纲化可以帮我们提升模型精度,避免某一个取值范围特别大的特征对距离计算造成影响。
决策树和树的集成算法是特例,对决策树我们不需要无量纲化,决策树可以把任意数据都处理得很好
数据的无量纲化可以是线性的,也可以是非线性的。
线性的无量纲化包括:
-
中心化处理(Zero-centered或者Mean-subtraction)
中心化的本质是让所有记录减去一个固定值,即让数据样本数据平移到某个位置
-
缩放处理(Scale)
缩放的本质是通过除以一个固定值,将数据固定在某个范围之中(取对数也算是一种缩放处理)
数据归一化 preprocessing.MinMaxScaler
数据归一化(Normalization,又称Min-Max Scaling):当数据(x)按照最小值中心化后,再按极差(最大值 - 最小值)缩放,数据移动了最小值个单位,并且会被收敛到 [0,1] 之间。
归一化之后的数据服从正态分布,公式如下:
x ∗ = x − m i n ( x ) m a x ( x ) − m i n ( x ) x^* = \frac {x-min(x)} {max(x) - min(x)} x∗=max(x)−min(x)x−min(x)
注意区分 归一化 和 正则化
Normalization是归一化,不是正则化;正则化(Regularization) 不是数据预处理的一种手段
在sklearn当中,我们使用preprocessing.MinMaxScaler
来实现数据归一化功能。
- 它有一个重要参数
feature_range
,控制我们希望把数据压缩到的范围,默认是[0,1]
from sklearn.preprocessing import MinMaxScaler
data = [[-1, 2], [-0.5, 6], [0, 10], [1, 18]]
#不太熟悉numpy的小伙伴,能够判断data的结构吗?
#如果换成表是什么样子?
import pandas as pd
pd.DataFrame(data)
![在这里插入图片描述](https://img-blog.csdnimg.cn/20210212182309724.png)
#实现归一化
scaler = MinMaxScaler() #实例化
scaler = scal