在训练神经网络的过程中,通常需要对原始数据进行中心化(Zero-centered或者Mean-subtraction(subtraction表示减去))处理和标准化(Standardization或Normalization)处理。下面,我将介绍这两个操作的作用。
零均值化/中心化
在深度学习中,训练网络时使用的图片,通常会先对它进行零均值化(zero-mean) / 中心化,即让所有训练图片中每个位置的像素均值为0,使得像素值范围变为[-128,127],以0为中心。
零均值化:是指变量减去它的均值
优点:在反向传播中加快网络中每一层权重参数的收敛;
还可以增加基向量的正交性。
标准化/归一化
不同评价指标往往具有不同的量纲和量纲单位,这样将无法对结果进行分析,难以对结果进行衡量,为了消除指标之间的量纲影响,需要对数据进行标准化处理,以解决数据指标之间的可比性。
标准化:是指变量减去它的均值,再除以标准差
优点:归一化后加快了梯度下降求最优解的速度;
归一化有可能提高精度。