这里主要介绍8中实现细节的技巧或tricks:数据增广、图像预处理、网络初始化、训练过程中的技巧、激活函数的选择、不同正则化方法、来自于数据的洞察、集成多个深度网络的方法。
1. 数据增广
在不改变图像类别的情况下,增加数据量,能提高模型的泛化能力
自然图像的数据增广方式包括很多,如常用的水平翻转(horizontally flipping),一定程度的位移或者裁剪和颜色抖动(color jittering)。此外还可以尝试多种操作的组合, 例如同时做旋转和随机尺度变换,此外还可以把每个patch中所有像素在HSV颜色空间中的饱和度和明度提升0.25-4次幂方,乘以0.7-1.4之间的一个因子,再加一个-0.1-0.1之间的值。同样你可以在色调通道(H)对每张图片或patch的所有像素增加一个-0.1-0.1之间的值。(未完待续。。。。。。。。)
2. 预处理
2.1最简单的预处理方法:零均值化(zero-center)和标准化(normalize)
2.1.1为什么要零均值化(Mean Subtraction)?
数据有过大的均值可能导致参数的梯度过大,如果有后续的处理,可能要求数据零均值,比如PCA。零均值化并没有消除像素之间的相对差异,人们对图像信息的摄取通常来自于像素之间的相对色差,而不是像素值的高低。
2.1.2为什么归一化(Normalization)?
归一化是为了让不同维度的数据具有相同的分布。
假如二维数据(X1,X2)两个维度都服从均值为零的正态分布,但是X1方差为100,X2方差为1。那么对(X1,X2)进行随机采样在二维坐标系中绘制的图像,应该是狭长的椭圆形。
对这些数据做特征提取会用到以下形式的表达式:S = w1*x1 + w2*x2 + b
那么参数W1,W2的梯度为:dS / dW1 = x1 dS/ dw2 = x2
由于x1与x2在分布规模上的巨大差异,w1与w2的导数也会差异巨大。此时绘制目标函数(不是S)的曲面图,就像一个深邃的峡谷,沿着峡谷方向变化的是w2,坡度很小&