【深度学习论文笔记】DeCAF: A Deep Convolutional Activation Feature for Generic Visual Recognition



      时间：2014/7/29 10:00
      论文题目：DeCAF: A Deep Convolutional Activation Featurefor Generic Visual Recognition

作者：JeffDonahue, Yangqing Jia,Oriol Vinyals

来源：这个就是大名鼎鼎的Caffe的前身Decaf，目前Decaf已经不再维护，转为caffe，而且caffe在github上面很活跃；

内容 :  作者主要想论证深度CNN在ImageNet分类训练好的模型，然后利用它提取的特征是不是能够用于其他新的任务，比如：场景识别，子类识别（鸟类），而且作者也实现了可视化了这些特征。

观点： 为什么需要这样的迁移学习，因为很少有领域有像ImageNet那么多的数据可供深度学习学习参数，比如，像鸟类识别中，其提供的类别训练数据也是非常有限的，其实在之前的很多方法中都有涉及到这个领域，感觉ImageNet 2012 上面训练好的CNN模型对于输入图片所得到的特征也会像SIFT特征那样作为一个通用特征提取方法；

方法： 作者利用CNN提取的特征+不同的分类方法（SVM，逻辑回归等）对目标识别（Caltech-101数据库），领域自适应（Office数据集，），子类识别（鸟类识别，采用 Caltech-UCSD数据库），情景识别（SUN-397数据库）这四个任务上都取得了比之前好的多的效果；

结论：1. 利用CNN模型（特征ImageNet2012的那个CNN模型）提取到的特征可以作为通用的视觉特征，并且利用这个特征去做一些视觉任务可以得到一个很好的效果；2. CNN模型提取到的特征具有语义聚类的特性，

目标识别中，DeCaf 7 提取的特征的识别效果比 DeCaf 6提取的特征的识别效果不好，这点好像没有做很好的解释。

量化了CNN各个阶段的时间：
 

从中可以看出卷积和全连接层用的时间最多，因为它们涉及到大量的矩阵之间的相乘。