【AI知识点】归一化（Normalization）

AI完全体

于 2024-10-06 19:47:06 发布

阅读量488

点赞数 16

分类专栏： AI知识点文章标签：人工智能深度学习机器学习数据预处理标准化归一化

本文链接：https://blog.csdn.net/weixin_43221845/article/details/142730406

版权

AI知识点专栏收录该内容

39 篇文章 0 订阅

订阅专栏

归一化（Normalization） 是数据预处理中的一种常见技术，用于将不同范围的数据调整到同一个标准尺度上，使得它们可以在机器学习模型中更好地协同工作。归一化的主要目的是消除特征之间的尺度差异，以避免某些特征因为取值范围较大而对模型产生不合理的影响。

1. 为什么需要归一化

在机器学习中，数据集通常包含多种不同类型的特征，这些特征的数值范围可能相差很大。例如：

在房价预测问题中，房屋的面积可能是数百平方米，而房间数量可能只有个位数。
在图像处理中，像素值范围通常是 0 到 255，但其他特征（如颜色直方图）可能会有不同的范围。

归一化的必要性：

确保不同特征对模型的贡献一致：如果某个特征的取值范围远大于其他特征，它可能会在计算距离或梯度下降时产生不成比例的影响，导致模型无法公平地对待所有特征。归一化能够消除这种不平衡。
加速优化收敛：在使用梯度下降等优化算法时，特征值范围差异过大可能会导致算法收敛缓慢或震荡，归一化可以帮助梯度下降更稳定地收敛。
适用于基于距离的模型：像 k 近邻（k-NN）、支持向量机（SVM）等基于距离度量的模型对特征的尺度非常敏感，因此归一化有助于提高模型的准确性。

2. 归一化和标准化的区别

虽然归一化和标准化都用于调整数据的范围，但它们的目标和方法略有不同。

归一化（Normalization）：通常是将数据缩放到特定的范围内（如 [0, 1] 或 [-1, 1]）。它改变数据的范围，但不改变数据的分布形态。
标准化（Standardization）：是将数据转换为均值为 0、标准差为 1 的标准正态分布形式。标准化改变数据的分布形态，使其符合标准正态分布。

3. 常见的归一化方法

a. Min-Max 归一化

Min-Max 归一化是最常见的归一化方法之一。它将特征值线性缩放到某个固定的范围（通常是 [0, 1]）。它通过将每个特征值减去最小值，再除以特征值的范围（最大值减去最小值），从而将所有特征缩放到相同的范围内。

公式为：

$x_{\text{norm}} = \frac{x - x_{\min}}{x_{\max} - x_{\min}}$

其中：

$x$ 是原始特征值，
$x_{\min}$ 是该特征的最小值，
$x_{\max}$ 是该特征的最大值，
$x_{\text{norm}}$ 是归一化后的特征值。

优点：

将数据缩放到 [0, 1] 的区间，适合基于距离的算法（如 k-NN 和 SVM）。
计算简单，容易实现。

缺点：

对异常值敏感。如果数据中有极端的异常值，它们会显著影响归一化的效果，因为最大值和最小值可能会被异常值拉大，导致大多数数据被压缩到较小的范围内。

b. Z-score 标准化（零均值归一化）

尽管 Z-score 标准化更常被称为标准化（Standardization），它也是一种归一化形式。Z-score 标准化通过将特征值减去均值并除以标准差，将数据调整为均值为 0、标准差为 1 的标准正态分布。

公式为：

$x_{\text{norm}} = \frac{x - \mu}{\sigma}$

其中：

$x$ 是原始特征值，
$\mu$ 是特征的均值，
$\sigma$ 是特征的标准差，
$x_{\text{norm}}$ 是归一化后的特征值。

优点：

不依赖于最大值和最小值，因此对异常值更为鲁棒。
将数据调整为标准正态分布，适用于需要正态分布的算法，如线性回归、逻辑回归等。

缺点：

不适合对原始数据有特定范围要求的场景，如图像像素的归一化到 [0, 1]。

c. Max-Abs 归一化

Max-Abs 归一化是一种特殊的 Min-Max 归一化，它将特征值缩放到 [-1, 1] 之间，基于特征值的绝对最大值来缩放数据。这种方法通常用于当数据有正负值时。

公式为：

$x_{\text{norm}} = \frac{x}{|x_{\max}|}$

其中 $x_{\max}$ 是特征的绝对最大值。

优点：

保留了数据的正负号。
适用于某些数据具有正负对称性的情况（如物理测量中的正负电压值）。

缺点：

如果数据中有异常值，效果会受到影响。

d. Log 归一化

对数归一化 主要用于处理具有较大范围的数值特征，例如收入、人口、交易额等，尤其是当这些数值呈现指数增长时。通过对原始数据取对数，将数据缩放至一个较小的范围。

公式为：

$x_{\text{norm}} = \log(x + 1)$

这里的 $+ 1$ 是为了避免对数操作中 $x = 0$ 的情况（因为 $\log(0)$ 是未定义的），同时确保对小于 1 的特征值也能进行处理。

优点：

可以有效缩小数据范围。
对数据中离散值较大的特征，取对数能够使其分布更均匀。

缺点：

不能处理负值或零值数据（通常需要先对数据做平移）。

4. 举例说明

假设我们有以下一组收入数据（以美元为单位）：

$[5000, 20000, 100000, 500000, 1000000]$

我们希望使用 Log 归一化 来将这些收入数据缩放到较小的范围。

对 $5000$ 进行归一化：
$x_{\text{norm}} = \log(5000 + 1) = \log(5001) \approx 8.517$
以此内推，归一化后的收入数据：
$[8.517, 9.903, 11.513, 13.122, 13.816]$

通过对数归一化，上述原始数据被压缩到较小的范围。即使原始数据的差距很大（从 5000 到 1000000），归一化后的值落在相对较窄的范围内（约 8.5 到 13.8 之间）。这种处理方法特别适合处理数值分布极不均匀的数据，从而提高模型对不同数值范围的特征的处理能力。

5. 什么时候使用归一化

在机器学习中，特定情况下需要归一化数据，特别是在以下场景中：

a. 基于距离的模型

算法如k 近邻（k-NN）、支持向量机（SVM）、K-Means 聚类等依赖于距离度量（如欧氏距离），因此特征的尺度差异会影响距离计算结果，导致模型性能下降。归一化有助于使所有特征在同一个尺度上进行比较，防止特征值大的维度主导模型的结果。

b. 梯度下降优化

像线性回归、逻辑回归和神经网络等基于梯度下降的模型，对特征的尺度敏感。梯度下降算法通过计算损失函数的梯度来更新参数，如果特征值的范围差异过大，梯度下降的收敛速度可能会受到影响。归一化可以加速优化过程，提高模型收敛速度。

c. 正则化的应用

当使用正则化（如 L1、L2 正则化）时，归一化可以防止某些特征值对正则化项产生不成比例的影响。特征值较大的特征会导致正则化项对这些特征的惩罚力度较大，从而偏差模型的结果。

d. PCA（主成分分析）

在使用主成分分析（PCA）进行降维时，归一化非常重要。PCA 通过计算协方差矩阵来找到数据中主要的方差方向。如果特征的尺度不一致，某些特征的方差可能会非常大，导致 PCA 偏向于那些特征。归一化可以确保每个特征对 PCA 有相同的贡献。

6. 归一化的优缺点

优点：

减少模型训练时的偏差：通过统一特征的尺度，防止某些取值范围大的特征对模型产生过大的影响。
加速模型的收敛速度：归一化能够提高基于梯度下降的模型的收敛速度，减少训练时间。
提高模型的稳定性：归一化后的特征能够提高模型的稳定性，减少由特征尺度差异导致的波动。
提升模型的泛化能力：通过归一化，模型可以避免对某些特征过度依赖，增强模型在新数据上的表现，进而提高泛化能力。

缺点：

对异常值敏感：Min-Max 归一化对数据集中的异常值非常敏感，这可能导致大多数数据点的特征值被压缩到很小的范围。
破坏了数据的原始尺度信息：在某些应用场景中，特征的原始尺度信息是有实际意义的。例如，在某些物理建模或经济预测中，特征的绝对值可能有重要的解释性。归一化可能会使数据失去这种直观的物理或现实意义。
数据需重新归一化：在对数据进行归一化后，如果有新的数据样本加入或在测试阶段引入新数据，可能需要基于原始训练数据的范围或均值和标准差重新进行归一化，确保一致性。
影响模型的解释性：归一化后的特征值可能难以解释，特别是在使用线性回归或决策树等模型时，归一化会使得模型输出的系数或特征重要性不再具有直观意义。