特征工程-特征归一化

1、场景描述：

为了消除数据特征之间的量纲影响，需要对特征进行归一化（Normalization）处理，使得不同特征处于同一个数量级，具有可比性

2、常用的归一化方法

2.1、线性函数归一化（Min-Max Scaling）

对原始数据进行线性变换，使结果映射到 [0,1] 的范围内，实现对原始数据的等比缩放。
归一化公式：

其中，X为原始数据，min和max分别代表数据的最大最小值

2.2、零均值归一化（Z-Score Normalization）

他会将原始数值映射到均值为0，标准差1的分布上。假设原始特征的均值为μ，标准差为?，那么归一化公式为：
z=(x-μ)/?

注：
*1 均值计算公式：

*2 标准差计算公式：

3、为什么要对数值型特征做归一化

我们不妨借助随即梯度下降的实例来说明归一化的重要性。

假设有两种数值型特征，x1的取值范围为[0, 10]，x2的取值范围为[0, 3]，于是可以构造一个目标函数符合图1.1(a)中的等值图。在学习速率相同的情况下，x1的更新速度会大于x2，需要较多的迭代才能找到最优解。如果将x1和x2归一化到相同的数值区间后，优化目标的等值图会变成图1.1(b)中的圆形，x1和x2的更新速度变得更为一致，容易更快地通过梯度下降找到最优解。
当然，归一化并不是万能的，实际操作过程中，需要梯度下降的模型通常是需要归一化的，包括线性回归，逻辑回归，支持向量机，神经网络等模型。但对于决策树模型并不适用 ，决策数在进行节点分裂时主要依据数据集D关于特征x的信息增益比，二信息增益比跟特征是否进行了归一化是无关的，因为归一化并不会改变样本在x上的信息增益