一文搞懂什么是归一化，以及几种常用的归一化方法（超详细解读）

AI_茗

已于 2024-09-18 14:49:11 修改

阅读量3.6w

点赞数 53

文章标签：线性代数

于 2024-07-16 10:23:12 首次发布

本文链接：https://blog.csdn.net/m0_71212744/article/details/140457695

版权

一、什么是归一化？

归一化是数据预处理中的一种常用技术，旨在将数据按比例缩放，使之落入一个小的特定区间，通常是[0, 1]或[-1, 1]。这个过程对于许多机器学习算法来说是非常重要的，因为它可以帮助改善算法的收敛速度和性能，特别是在处理不同量纲或量级的特征时。

a 图为未归一化的梯度，b 图为归一化后的梯度

二、归一化的作用？

加速算法收敛：许多机器学习算法，特别是基于梯度的优化算法（如梯度下降），在特征处于相似尺度时表现更好。归一化通过将所有特征缩放到相同的尺度（如[0, 1]或[-1, 1]），可以减少不同特征之间的尺度差异，从而加速算法的收敛速度。
提高模型精度：对于某些算法，如K近邻算法（KNN）和神经网络，特征的尺度对模型的性能有显著影响。在KNN中，距离的计算对特征的尺度敏感，而神经网络中的权重更新也受到特征尺度的影响。归一化可以帮助这些算法更准确地捕捉特征之间的关系，从而提高模型的精度。
防止数值问题：在某些计算过程中，如使用梯度下降算法时，如果特征的尺度差异很大，可能会导致数值不稳定或梯度消失/爆炸的问题。归一化有助于避免这类数值问题。
提高算法稳定性：对于某些算法，如支持向量机（SVM），数据的尺度可能会对其性能产生较大影响。归一化可以提高算法的稳定性，使得算法对于不同的数据集或数据子集具有更一致的性能

三、几种归一化方法

归一化是数据预处理中的一个重要步骤，它有助于将数据缩放到一个特定的区间内，通常是[0, 1]或[-1, 1]，以便于后续的数据分析和机器学习算法处理。以下是几种常见的归一化方法及其举例：

1. Min-Max归一化

描述：
Min-Max归一化也称为线性归一化或最大最小规范化，它将数据缩放到[0, 1]区间内。这是最简单的归一化方法之一。

公式：

$[ X_{\text{norm}} = \frac{X - X_{\text{min}}}{X_{\text{max}} - X_{\text{min}}} ]$
其中， $(X)$ 是原始数据， $(X_{\text{min}})$ 和 $(X_{\text{max}})$ 分别是数据集中的最小值和最大值， $(X_{\text{norm}})$ 是归一化后的数据。

举例：
假设有一个数据集 ([2.5, 3.5, 0.5, 1.5])，其最小值为0.5，最大值为3.5。按照Min-Max归一化方法，归一化后的数据集为 ([0.6667, 1, 0, 0.3333])。

2. Z-Score归一化（标准化）

描述：
Z-Score归一化也称为零均值归一化或标准化，它将数据转换为均值为0、标准差为1的分布。这种方法适用于数据分布接近正态分布的情况。

公式：
$[ X_{\text{norm}} = \frac{X - \mu}{\sigma} ]$
其中， $(X)$ 是原始数据， $(\mu)$ 是数据的均值， $(\sigma)$ 是数据的标准差， $(X_{\text{norm}})$ 是归一化后的数据。

举例：
假设有一个数据集 ([1, 2, 3, 4, 5])，其均值为3，标准差为 $(\sqrt{2})$ 。按照Z-Score归一化方法，归一化后的数据集为 ([ $-\sqrt{2}$ , $-\frac{\sqrt{2}}{2}$ , 0, $\frac{\sqrt{2}}{2}$ , $\sqrt{2}$ ])。

3. 非线性归一化方法

除了上述线性归一化方法外，还有一些非线性归一化方法，如对数变换、平方根变换、指数变换等。这些方法通过非线性函数将数据映射到新的区间内，以改善数据的分布特性。

举例：

对数变换：对于偏态分布的数据，可以使用对数变换来压缩数据的范围并降低波动性。例如，对于数据集 ([1, 10, 100, 1000])，可以取对数后得到 ([0, 1, 2, 3])。
平方根变换：与对数变换类似，平方根变换也可以用于压缩数据的范围。例如，对于数据集 ([1, 4, 9, 16])，取平方根后得到 ([1, 2, 3, 4])。