总体来说,归一化的作用总结为以下三点:
- 消除特征之间量纲的影响,使得不同特征之间具有可比性
- 在使用随机梯度下降求解的模型中,能加快模型收敛速度
- 归一化还有可能提高精度:一些分类器需要计算样本之间的距离(如欧氏距离),例如KNN。如果一个特征值域范围非常大,那么距离计算就主要取决于这个特征,从而与实际情况相悖(比如这时实际情况是值域范围小的特征更重要)
为什么图像像素都分布在[0,255]之间,量纲相同为什么还要归一化?
-
图像深度学习网络也是使用gradient descent来训练模型的,使用gradient descent的都要在数据预处理步骤进行数据归一化,主要原因是,根据反向传播公式:
前面层梯度的乘积。如果输入层 x 很大,在反向传播时候传递到输入层的梯度就会变得很大。梯度大,学习率就得非常小,否则会越过最优。在这种情况下&