吴恩达深度学习卷积神经网络学习笔记(3)——迁移学习

1 使用开源的实现方案

在GitHub资源库，需要感兴趣的网络的代码。

下载方式：复制url

在终端输入：git clone +url

2 迁移学习

找开源训练好了的网络。由于深度学习的训练，可能需要十几个GPU和几周的时间。

数据集小：

1）前面还是使用开源的网络框架和参数，修改最后的softmax层，训练该层的参数；

2）删除倒数几层，修改最后的softmax层，训练该层的参数；

3）初始化倒数几层，修改最后的softmax层，训练倒数几层的参数。

数据集大：

可以初始化全部参数，重新训练。

 

例如最近看的论文《Generating High-Quality Crowd Density Maps using Contextual Pyramid CNNs(2017ICCV)》，里面的GCE网络就是基于VGG-16，只是将最后最后三层的全连接层修改，重新训练参数，前面层的参数都不变。

 

3 数据扩充

3.1 空间变换

1）镜像对称

2）随机裁剪（这个不是一个很好的数据增强的方法）

3）旋转剪切图片

4）扭曲变化

3.2 色彩转换

给RGB三通道上加上不同的失真值，对图片的颜色更改更具有鲁棒性。

还有一种影响颜色扭曲的算法叫作：PCA（Principles Component Analysis主成分分析）

在AlexNet的论文中有提高，有时候被称为PCA颜色增强。