机器学习：数据归一化（Scaler）

数据归一化（Feature Scaling）

一、为什么要进行数据归一化

• 原则：样本的所有特征，在特征空间中，对样本的距离产生的影响是同级的；
• 问题：特征数字化后，由于取值大小不同，造成特征空间中样本点的距离会被个别特征值所主导，而受其它特征的影响比较小；
• 例：特征1 = [1, 3, 2, 6, 5, 7, 9]，特征2 = [1000, 3000, 5000, 2000, 4000, 8000, 3000]，计算两个样本在特征空间的距离时，主要被特征2所决定；
• 定义：将所有的数据（具体操作时，对每一组特征数据进行分别处理）映射到同一个尺度中；
• 归一化的过程，是算法的一部分；

 

二、数据归一化的方法

　1）最值归一化（normalization）

　　1、思路：把所有数据映射到0~1之间；

　　2、公式：

　　　

　　　# x为数据集中每一种特征的值；

　　　# 将数据集中的每一种特征都做映射；

　　3、特点：多适用于分布有明显边界的情况；如考试成绩、人的身高、颜色的分布等，都有范围；而不是些没有范围约定，或者范围非常大的数据；

　　　# 明显边界：同一特征的数据大小相差不大；不会出现大部分数据在0~200之间，有个别数据在100000左右；

　　4、缺点：受outlier影响较大；

 

　2）Z-score（standardization）

　　1、思路：把所有数据归一到均值为0方差为1的分布中；

　　2、公式：X_scale = (X - X_mean ) / σ

　　　# Xmean：特征的均值（均值就是平均值）；

　　　# σ：每组特征值的标准差；

　　　# X：每一个特征值；

　　　# Xscale：归一化后的特征值；

　　3、特点1：使用于数据分布没有明显的边界；（有可能存在极端的数据值）

　　　# 归一化后，数据集中的每一种特征的均值为0，方差为1；

　　4、优点（相对于最值归一化）：即使原数据集中有极端值，归一化有的数据集，依然满足均值为0方差为1，不会形成一个有偏的数据；

 

三、训练数据集的归一化

　　1）最值归一化：

i