DeCAF: A Deep Convolutional Activation Featurefor Generic Visual Recognition阅读报告（1）

1、问题描述

利用深度神经网络进行特征的提取和分类取得了很好的效果。在很多视觉会议的竞赛上，CNN（卷积神经网络）的方法效果都不错。一些“基准”的数据集例如：Caltech-101（Fei-Fei et al., 2004），办公室内区域数据集（Saenko et al., 2010）Caltech-UCSD鸟类纹理识别数据集（Wnlinder et al., 2010）以及SUN-397场景识别数据集（Xiao et al., 2010）。在此之前，可以利用传统的特征提取法以及分类方法例如人工神经网络法或者SIFT特征等方法对上述数据集进行分别训练，然后识别。那么问题来了，在有限的数据集上，有监督的深度神经网络结构很容易造成过拟合（Krizhevsky et al., 2012），这应该怎么解决？

本文研究的是，在大规模数据集上进行有监督的训练，提取出来的特征直接应用到其他的分类任务当中。就比如，在ImageNet数据集上训练CNN，得到了一个有参数的神经网络结构，把这个训练好的网络直接作为其他数据集的特征提取器，例如SUN-397数据集。实验证明，这个方法比把SUN-397直接作为训练集单独训练的方法性能更好。作者开发了CAFFE（注：原文中介绍的是DeCAF，现在的版本已经更新并且软件包更名为了“CAFFE”，下文即将提到的CAFFE指的都是原文中的DeCAF），这是一个深度神经网络的开源开发工具，可以直接拿来进行训练数据集，进行特征的提取以及目标分类。如果研究人员不想花费很大的代价训练数据集，作者也公布了训练好的网络模型参数，可以直接拿来进行特征提取或者