【计算机科学】【2017】深度卷积神经网络用于特征抽取器的实证评估

本文为美国密歇根大学迪尔本分校（作者：Alfred Kishek）的硕士论文，共38页。

通过反向传播训练的卷积神经网络（CNN）是赢得竞争优势的视觉系统核心。然而，这些网络通常需要大量带注释的样本、长时间的训练以及对大量超参数的估计和调整。本文评估了CNN作为特征抽取器的有效性，并利用支持向量机（SVM）对其特征图的可传递性进行了评价。为了进行比较，从CNN获得的参数被传输到各种不可视的数据集和任务中。结果表明，在具有少量数据的目标任务上，其性能显著提高。然而，随着训练样本数量的增加，使用提取特征的性能优势被削弱，得到的分类器具有很高的方差。

Convolutional Neural Networks (CNNs)trained through backpropagation are central to several, competition-winningvisual systems. However, these networks often require a very large number ofannotated samples, lengthy periods of training, and the estimation and tuningof a plethora of hyperparameters. This thesis evaluates the effectiveness ofCNNs as feature extractors and assesses the transferability of their featuremaps using a Support Vector Machine (SVM) for evaluation. To comparerepresentations, the parameters learned from a CNN are transfered to variousunseen datasets and tasks. The results reveal a significant performance gain ontarget tasks with small amounts of data. However, as the number of trainingsamples increases, the performance advantage of using the extracted features isdiminished and the resulting classifier has high variance.

1 引言
2 基本知识
2.1 计算机视觉中神经网络的应用历史
2.2 传统的多层感知器
2.3 卷积神经网络简介
2.4 卷积神经网络结构
2.5 特征转移方法
2.6 相关文献回顾
3 实证评估
3.1 MNIST数据集
3.2 相关工具
3.3 网络架构
3.4 实验设计
3.5 实验结果
4 结论
4.1 本文贡献
4.2 未来工作展望

更多精彩文章请关注公众号：