深度学习——day3 深度卷积网络的实用性建议（计算机视觉）

开源实现

得到作者的开源实现是很方便的（从github下载）

1. 找到github上要下载的地址
2. 在命令提示符中使用 git clone + 下载链接

迁移学习

• 用开源的，其他人训练好的权重、代码等数据为自己的神经网络做初始化
• 其它层视作冷冻层freeze，只关注自己构建的的softmax输出，只训练特定层的权重
• 预计算
  
• 对于更大的数据集，减少冻结的层数
  
• 一个很大的数据集，用下载的权重作初始化，做梯度下降训练
  

数据扩充

镜像对称和随机剪裁等

Color shifting

更改RGB数值改变颜色

Implementing distortions during training

计算机视觉现状

Two sources of knowledge

• Labeled data
• Hand engineered（手工工程） features/network architecturelother components

Data vs. hand-engineering

数据量的多少决定工作方式

下面是一些在基准测试中表现良好的小技巧

Tips for doing well on benchmarks/winning competitions

Ensembling

• Train several networks independently and average their outputs

Multi-crop at test time

• Run classifier on multiple versions of test images and average results
• 10 crop：
  

Use open source code Summary

• Use architectures of networks published in the literature
• Use open source implementations if possible
• Use pretrained models and fine-tune on your dataset