【CS231N】笔记6_卷积神经网络工程实践技巧与注意点

Data Argmentation

  使用数据增强可以有效防止过拟合，在数据源不足时尤为重要。在图像中，不管是图像平移、图像翻转，还是图像截取，都不会改变该图像的类别属性。有如下几种常见的数据增强的方式：

1. 水平翻转
2. 随机截取（范围）：然后再缩放到CNN需要的图像大小作为新的训练集
3. 颜色变化：改变图像对比度是可行的，但不常用。常用的方法是像素在RGB中选择较为强烈的方向进行颜色增强，相当于应用于像素的PCA。
4. 转换、倾斜、伸缩、裁剪、扭曲等操作

Transfer Learning

  一般认为训练CNN需要很多数据，但Transfer Learning（迁移学习）之后就改变了这个认知。当数据少的时候，可以使用其他网络（如VGG-16, RES-34等）对ImageNet数据集进行预训练，我们截取网络除（不要）最后一层分类层的结构直接运用到我们的网络上，这就相当于我们的网络已经大致完成了数据特征提取，再添加我们需要的线性分类器即可。该工作大致可以认为我们只需要训练自己的线性分类器，因此需要的数据就可以少一些。