深度神经网络训练的技巧

 

这里主要介绍8中实现细节的技巧或tricks：数据增广、图像预处理、网络初始化、训练过程中的技巧、激活函数的选择、不同正则化方法、来自于数据的洞察、集成多个深度网络的方法。

1.       数据增广

在不改变图像类别的情况下，增加数据量，能提高模型的泛化能力

自然图像的数据增广方式包括很多，如常用的水平翻转（horizontally flipping），一定程度的位移或者裁剪和颜色抖动（color jittering）。此外还可以尝试多种操作的组合， 例如同时做旋转和随机尺度变换，此外还可以把每个patch中所有像素在HSV颜色空间中的饱和度和明度提升0.25-4次幂方，乘以0.7-1.4之间的一个因子，再加一个-0.1-0.1之间的值。同样你可以在色调通道（H）对每张图片或patch的所有像素增加一个-0.1-0.1之间的值。(未完待续。。。。。。。。)

 

 

 

2.      预处理

2.1最简单的预处理方法：零均值化（zero-center）和标准化（normalize）

2.1.1为什么要零均值化（Mean Subtraction）？

数据有过大的均值可能导致参数的梯度过大，如果有后续的处理，可能要求数据零均值，比如PCA。零均值化并没有消除像素之间的相对差异，人们对图像信息的摄取通常来自于像素之间的相对色差，而不是像素值的高低。

2.1.2为什么归一化(Normalization)？

归一化是为了让不同维度的数据具有相同的分布。

假如二维数据（X1,X2）两个维度都服从均值为零的正态分布，但是X1方差为100，X2方差为1。那么对（X1,X2）进行随机采样在二维坐标系中绘制的图像，应该是狭长的椭圆形。

对这些数据做特征提取会用到以下形式的表达式：S = w1*x1 + w2*x2 + b

那么参数W1，W2的梯度为：dS / dW1 = x1          dS/ dw2 = x2

由于x1与x2在分布规模上的巨大差异，w1与w2的导数也会差异巨大。此时绘制目标函数（不是S）的曲面图，就像一个深邃的峡谷，沿着峡谷方向变化的是w2，坡度很小&