机器学习:特征归一化( Normalization )的方法和原因

特征归一化是数据分析中消除量纲影响、确保不同特征间可比性的关键步骤。线性函数归一化(Min-Max Scaling)和零均值归一化(Z-Score Normalization)是最常用的两种方法。归一化能确保模型如梯度下降法的收敛速度,特别是在数值型特征范围差距大的情况下。虽然决策树等模型不需要归一化,但逻辑回归、支持向量机等通常需要。
摘要由CSDN通过智能技术生成

引言

为了消除数据特征之间的量纲影响 ,我们需要对特征进行归一化处理 , 使得不同指标之间具有可比性。 例如,分析一个人的身高和体重对健康的影响 , 如果使用米( m) 和千克( kg )作为单位 , 那么身高特征会在 1.6 ~ l.8m 的数值范围内 , 体重特征会在50 ~ 100kg 的范围内, 分析出来的结果显然会倾向于数值差别比较大的体重特征。 想要得到更为准确的结果,就需要进行特征归一化( Normalization )处理,使各指标处于同一数值量级,以便进行分析。

归一化的方法

对数值类型的特征做归一化可以将所有的特征都统一到一个大致相
同的数值区间内 。 最常用的方法主要再以下两种。
( 1 )线性函数归 化( Min-Max Scaling )
它对原始数据进行线性变换,使结果映射到[0, 1 ]的范围,实现对原始数据的等比缩放。归一化公式如下:
在这里插入图片描述
其中 X为原始数据, X m a x X_{max} Xmax X m i n X_{min} Xmin分别为数据最大值和最小值。

( 2 )零均值归一化( Z-Score Normalization )
它会将原始数据映射到均值为 0、标准差为1 的分布上。 具体来说, 假设原始特征的均值为 μ、标准差为 σ,那么归一化公式定义为
在这里插入图片描述

为什么需要对数值型特征做归一化

我们不妨借助随机梯度下降的实例来说明归一化的重要性。假设有两种数值型特征, X 1 X_1 X1的取值范围为[0,1] , X 2 X_2 X2的取值范围为[0, 3],于是可以构造一个目标函数符合图 1.1( a )中的等值图。

在学习速率相同的情况下, X 1 X_1 X1的更新速度会大于 X 2 X_2 X2, 需要较多的迭代才能找到最优解。如果将 X 1 X_1 X1 X 2 X_2 X2 归一化到相同的数值区间后,优化目标的等值图会变成图1. 1 (b )中的圆形, X 1 X_1 X1 X 2 X_2 X2 的更新速度变得更为一致,容易更快地通过梯度下降找到最优解 。
在这里插入图片描述

归一化的应用场景

当然 ,数据归一化并不是万能的。 在实际应用中,通过梯度下降法求解的模型通常是需要归一化的 ,包括逻辑回归、线性回归、逻辑回归、支持向量机、 神经网络等模型。 但对于决策树模型则并不适用 , 以C4.5 为例,决策树在进行节点分裂时主要依据数据集 D 关于特征 x 的信息增益比,而信息增益比跟特征是否经过归一化是无关的,因为归一化并不会改变样本在特征 x 上的信息增益。

  • 1
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值