机器学习：特征归一化（ Normalization ）的方法和原因

最新推荐文章于 2024-07-04 20:26:48 发布

WellWang_S

最新推荐文章于 2024-07-04 20:26:48 发布

阅读量4.6k

点赞数 1

文章标签：神经网络机器学习深度学习自然语言处理 lr

本文链接：https://blog.csdn.net/weixin_42080490/article/details/108891002

版权

特征归一化是数据分析中消除量纲影响、确保不同特征间可比性的关键步骤。线性函数归一化（Min-Max Scaling）和零均值归一化（Z-Score Normalization）是最常用的两种方法。归一化能确保模型如梯度下降法的收敛速度，特别是在数值型特征范围差距大的情况下。虽然决策树等模型不需要归一化，但逻辑回归、支持向量机等通常需要。

摘要由CSDN通过智能技术生成

引言

为了消除数据特征之间的量纲影响，我们需要对特征进行归一化处理，使得不同指标之间具有可比性。例如，分析一个人的身高和体重对健康的影响，如果使用米（ m) 和千克（ kg ）作为单位，那么身高特征会在 1.6 ～ l.8m 的数值范围内，体重特征会在50 ～ 100kg 的范围内，分析出来的结果显然会倾向于数值差别比较大的体重特征。想要得到更为准确的结果，就需要进行特征归一化（ Normalization ）处理，使各指标处于同一数值量级，以便进行分析。

归一化的方法

对数值类型的特征做归一化可以将所有的特征都统一到一个大致相
同的数值区间内。最常用的方法主要再以下两种。
( 1 ）线性函数归化（ Min-Max Scaling ）
它对原始数据进行线性变换，使结果映射到［0, 1 ］的范围，实现对原始数据的等比缩放。归一化公式如下：
在这里插入图片描述
其中 X为原始数据， $X_{max}$ 、 $X_{min}$ 分别为数据最大值和最小值。

( 2 ）零均值归一化（ Z-Score Normalization ）
它会将原始数据映射到均值为 0、标准差为1 的分布上。具体来说，假设原始特征的均值为 μ、标准差为 σ，那么归一化公式定义为
在这里插入图片描述

为什么需要对数值型特征做归一化

我们不妨借助随机梯度下降的实例来说明归一化的重要性。假设有两种数值型特征， $X_1$ 的取值范围为[0,1] ， $X_2$ 的取值范围为［0, 3］，于是可以构造一个目标函数符合图 1.1( a ）中的等值图。

在学习速率相同的情况下， $X_1$ 的更新速度会大于 $X_2$ ，需要较多的迭代才能找到最优解。如果将 $X_1$ 和 $X_2$ 归一化到相同的数值区间后，优化目标的等值图会变成图1. 1 (b ）中的圆形， $X_1$ 和 $X_2$ 的更新速度变得更为一致，容易更快地通过梯度下降找到最优解。
在这里插入图片描述

归一化的应用场景

当然，数据归一化并不是万能的。在实际应用中，通过梯度下降法求解的模型通常是需要归一化的，包括逻辑回归、线性回归、逻辑回归、支持向量机、神经网络等模型。但对于决策树模型则并不适用，以C4.5 为例，决策树在进行节点分裂时主要依据数据集 D 关于特征 x 的信息增益比，而信息增益比跟特征是否经过归一化是无关的，因为归一化并不会改变样本在特征 x 上的信息增益。