深度学习讲座笔记：Deep Learning for Computer Vision - Andrej Karpathy at Bay Area Deep Learning School

视频地址：

Day 1:

http://v.youku.com/v_show/id_XMTczNzYxNjg5Ng==

Day 2:

http://v.youku.com/v_show/id_XMTczODc2ODE3Mg==

Andrej的演讲

Andrej Karpathy这次演讲是Day 1 的第2个演讲，题为深度学习在图像处理方面的应用，阐述了卷积神经网络架构的设计，以及ILSVR历年竞赛的情况以及最近在图像处理这方面的进展，并且给出了一些如何开展这方面研究工作的实用建议。

1 迁移学习

    迁移学习（Transfer Learning）是将在一种应用上训练好的网络用于另一类应用（如将ImageNet上进行多种物体种类分类的训练网络专用于建筑物细分类应用）。由于深度学习的准确率和样本数量有关，因此新的应用只有小的数据集，可将训练好的网络作为特征提取器（feature extractor），只训练部分的全连接层；而如果新的应用的数据集是中等规模的数据集，那么可以进一步训练全连接层和部分的卷积层。实践这种概念的一个好方式，就是使用Imagenet上面目前最佳表现的网络，如去年的冠军ResNet。使用Keras架构（https://keras.io/）可以直接调用如ResNet，并且可以直接使用已经训练好的网络参数。