深度学习论文理解1：what is the best multi-stage architecture for Object Recognition

本文是09年，Yann LeCun团队的一篇论文，论文主要讨论了卷积结构网络中各个layer的作用，进而探讨一个好的深度结构分类网络应该是什么样子的。

摘要：在很多目标识别系统的特征提取阶段主要分为三部分：卷积，非线性变换和pooling

本文提出三个问题：

1.卷积层后的非线性变换如何应用分类准确率

2.采用无监督学习的filter，或者监督学的filter比随机权值的filter分类效果更好？

3.多阶段的特征提取好么？

本文最后得出结论：

1，非线性变换和局部对比归一化是非常重要的部分，对于一个好的分类系统。

2，两阶段的网络分类结果比一阶段的好；更让我们惊讶的是，在使用非线性变换和pooling情况下，一个二阶段的随机filter网络也能够产生好的分类结果。

3，unsupervised pretraining +finetuning产生了最好的分类结果。

一.介绍

对于目标识别问题，一般的做法是，先对图像进行特征提取，然后连接分类器进行分类识别。每一次特征提取都作为一个阶段，每次特征提取一般包含如下过程，卷积，非线性变换，归一化和pooling等几个部分。

OR系统有很多模型，单阶段+分类器模型；例如sift，hog等，多阶段+分类器模型；各种模型的主要区别在于：1阶段数（特征提取次数），非线性变换类型；filter来源（随机，监督，无监督，人工选择），顶层分类器。直觉上，认为一个纯粹的参数较多的监督学习系统可能会由于标签数据量较小而导致不好的结果；特征提取中的filter需要仔细的挑选（或者训练）才能产生好的分类结果，然而这些直觉是错误了。

二目标识别系统模型

特征提取阶段

1，卷基层（Convolution）

卷基层详细的介绍参见前面博客

Filter来源