深度学习输入图像为何要减去均值

两种计算均值的方式

对于每帧图像来说，均值分为两种：image mean 和 pixel mean。

image mean：
假设一张彩色图像形状是（N*N*3），计算其image mean，形状也是（N*N*3）。相当于把所有训练集在同一个空间位置上的像素的对应通道求了均值，也就是caffe里生成的mean.binaryproto文件。

pixel mean：
pixel mean是把训练集里面所有图片的所有R通道像素求均值（G、B通道类似），也就是不考虑空间位置了。所以求出来就是三个数值（R_mean,G_mean,B_mean）。

去均值的作用

1、从主成分分析（PCA）入手解释

特征标准化指的是使得数据的每一个维度具有零均值和单位方差。这是归一化中最常见的方法并被广泛地使用（例如，在使用支持向量机（SVM）时，特征标准化常被建议用作预处理的一部分）。在实际应用中，特征标准化的具体做法是：首先计算每一个维度上数据的均值（使用全体数据计算），之后在每一个维度上都减去该均值。下一步便是在数据的每一维度上除以该维度上数据的标准差。

对于自然图像，更多的是做图像零均值化，并不需要估计样本的方差。这是因为在自然图像上进行训练时，对每一个像素单独估计均值和方差意义不大，因为图像任一部分的统计性质都应该和其它部分相同，图像的这种特性被称作平稳性（stationarity）。

对于图像，这种归一化可以移除图像的平均亮度值 (intensity)。很多情况下我们对图像的照度并不感兴趣，而更多地关注其内容，比如在对象识别任务中，图像的整体明亮程度并不会影响图像中存在的是什么物体。此时，在每个样本上减去数据的统计平均值可以移除共同的部分，凸显个体差异。其效果如下所示：

可以看到天空的纹理被移除了，凸显了汽车和高楼等主要特征。

2、从深度学习反向传播计算入手解释

                                                                   

1、根据求导的链式法则，w的局部梯度是X，当X全为正时，由反向传播传下来的梯度乘以X后不会改变方向，要么为正数要么为负数，也就是说w权重的更新在一次更新迭代计算中要么同时减小，要么同时增大。为了更好得理解，假设w有两维，做出下图：

其中，w的更新方向向量只能在第一和第三象限。假设最佳的w向量如蓝色线所示，由于输入全为正，现在迭代更新只能沿着红色路径做zig-zag运动，更新的效率很慢。基于此，当输入数据减去均值后，就会有负有正，会消除这种影响。

2、如果输入层 x 很大，在反向传播时候传递到输入层的梯度就会变得很大。梯度大，学习率就得非常小，否则会越过最优。在这种情况下，学习率的选择需要参考输入层数值大小，而直接将数据归一化操作，能很方便的选择学习率。而且受 x 和 w 的影响，各个梯度的数量级不相同，因此，它们需要的学习率数量级也就不相同。对 w1 适合的学习率，可能相对于 w2 来说会太小，如果仍使用适合 w1 的学习率，会导致在 w2 方向上走的非常慢，会消耗非常多的时间，而使用适合 w2 的学习率，对 w1 来说又太大，搜索不到适合 w1 的解
 

https://blog.csdn.net/zhou4411781/article/details/101205535

https://blog.csdn.net/hai008007/article/details/79718251