【面试】什么是归一化？为什么要进行归一化？

面试模拟场景

面试官: 什么是归一化？为什么要进行归一化？

参考回答示例

归一化的概念

• 定义： 归一化是将数据按比例缩放到一个特定的范围，通常是[0, 1]或[-1, 1]。这种方法通过线性变换将原始数据转换为归一化后的数据。
• 常用方法：
  • Min-Max归一化（Min-Max Normalization）： 将数据缩放到[0, 1]范围内。
    $$x^{\prime }=\frac{x-x_{\min }}{x_{\max }-x_{\min }}$$
  • Z-score标准化（Standardization）： 将数据缩放到均值为0，标准差为1的标准正态分布。
    $$x^{\prime }=\frac{x-\mu }{\sigma }$$

为什么要进行归一化

1. 消除尺度差异：

   • 不同特征的取值范围可能相差很大。例如，一个特征的值可能在0到1之间，而另一个特征的值可能在0到1000之间。这种尺度差异会导致模型在训练过程中更偏向于取值范围较大的特征，从而影响模型的性能。

     特别是对于基于距离的算法（如K-最近邻和K-均值聚类），未归一化的数据可能导致距离计算受到某些特征规模的主导，归一化可以消除这种尺度差异，确保每个特征平等地贡献到最终结果，使每个特征在相同的尺度上，有助于模型的训练。

2. 提高模型训练的稳定性和收敛速度：

   • 归一化可以使得损失函数的等高线更加圆滑，从而使得梯度下降算法在不同方向上的步长更加一致、稳定，提升优化的效率和收敛速度。未经归一化的特征可能会引起梯度下降过程中的振荡或缓慢收敛。

3. 避免数值计算问题：

   • 在处理大数值范围的数据时，可能会出现数值不稳定或溢出的问题。归一化可以将数据缩放到较小的范围，减少数值计算中的问题。

总结

• 归一化的定义： 归一化是将数据缩放到一个特定范围，使不同特征的数据在同一尺度上。
• 归一化的目的： 消除特征间尺度差异，提高模型训练的稳定性和收敛速度，避免数值计算问题。
• 常用方法： Min-Max归一化和Z-score标准化。