一文搞懂什么是归一化，以及几种常用的归一化方法（超详细解读）

目录

一、什么是归一化？

二、归一化的作用？

三、几种归一化方法

1. Min-Max归一化

2. Z-Score归一化（标准化）

3. 非线性归一化方法

总结

---

一、什么是归一化？

        归一化是数据预处理中的一种常用技术，旨在将数据按比例缩放，使之落入一个小的特定区间，通常是[0, 1]或[-1, 1]。这个过程对于许多机器学习算法来说是非常重要的，因为它可以帮助改善算法的收敛速度和性能，特别是在处理不同量纲或量级的特征时。

a 图为未归一化的梯度，b 图为归一化后的梯度

二、归一化的作用？

1. 加速算法收敛：许多机器学习算法，特别是基于梯度的优化算法（如梯度下降），在特征处于相似尺度时表现更好。归一化通过将所有特征缩放到相同的尺度（如[0, 1]或[-1, 1]），可以减少不同特征之间的尺度差异，从而加速算法的收敛速度。

2. 提高模型精度：对于某些算法，如K近邻算法（KNN）和神经网络，特征的尺度对模型的性能有显著影响。在KNN中，距离的计算对特征的尺度敏感，而神经网络中的权重更新也受到特征尺度的影响。归一化可以帮助这些算法更准确地捕捉特征之间的关系，从而提高模型的精度。

3. 防止数值问题：在某些计算过程中，如使用梯度下降算法时，如果特征的尺度差异很大，可能会导致数值不稳定或梯度消失/爆炸的问题。归一化有助于避免这类数值问题。

4. 提高算法稳定性：对于某些算法，如支持向量机（SVM），数据的尺度可能会对其性能产生较大影响。归一化可以提高算法的稳定性，使得算法对于不同的数据集或数据子集具有更一致的性能

三、几种归一化方法

        归一化是数据预处理中的一个重要步骤，它有助于将数据缩放到一个特定的区间内，通常是[0, 1]或[-1, 1]，以便于后续的数据分析和机器学习算法处理。以下是几种常见的归一化方法及其举例：

1. Min-Max归一化

描述：
        Min-Max归一化也称为线性归一化或最大最小规范化，它将数据缩放到[0, 1]区间内。这是最简单的归一化方法之一。

公式：

        
        其中，是原始数据， 和 分别是数据集中的最小值和最大值， 是归一化后的数据。

举例：
        假设有一个数据集 ([2.5, 3.5, 0.5, 1.5])，其最小值为0.5，最大值为3.5。按照Min-Max归一化方法，归一化后的数据集为 ([0.3125, 0.4375, 0.0625, 0.1875])。

2. Z-Score归一化（标准化）

描述：
        Z-Score归一化也称为零均值归一化或标准化，它将数据转换为均值为0、标准差为1的分布。这种方法适用于数据分布接近正态分布的情况。

公式：
        
        其中， 是原始数据， 是数据的均值， 是数据的标准差， 是归一化后的数据。

举例：
        假设有一个数据集 ([1, 2, 3, 4, 5])，其均值为3，标准差为。按照Z-Score归一化方法，归一化后的数据集为 ([-1, -0.707, 0, 0.707, 1])。

3. 非线性归一化方法

        除了上述线性归一化方法外，还有一些非线性归一化方法，如对数变换、平方根变换、指数变换等。这些方法通过非线性函数将数据映射到新的区间内，以改善数据的分布特性。

举例：

• 对数变换：对于偏态分布的数据，可以使用对数变换来压缩数据的范围并降低波动性。例如，对于数据集 ([1, 10, 100, 1000])，可以取对数后得到 ([0, 1, 2, 3])。
• 平方根变换：与对数变换类似，平方根变换也可以用于压缩数据的范围。例如，对于数据集 ([1, 4, 9, 16])，取平方根后得到 ([1, 2, 3, 4])。

总结

        归一化是数据预处理中的一个重要步骤，它有助于改善数据的分布特性并加速机器学习算法的收敛速度。常见的归一化方法包括Min-Max归一化、Z-Score归一化、以及非线性归一化方法等。在选择归一化方法时，需要根据数据的特性和后续算法的需求进行综合考虑。