用于对象识别的最好的多级结构是什么？（What is the Best Multi-Stage Architecture for Object Recognition)

               What is the Best Multi-Stage Architecture for Object Recognition

一. 简介：

文章阐述的三个问题：

1. 滤波后的非线性处理技巧（矫正，局部对比度归一化）是如何影响识别率的？

2.  采用无监督和有监督的方式学习滤波器，是否能改善随机滤波器或者硬连接滤波器的检测效果。

3. 使用两层的特征抽取结构比一层更有优势吗？   

  一般来看，在样本数量比较少的情况下，比如Caltech-101数据集，不太可能使用有监督方式（梯度下将法）训练出一个完备的系统，因为参数的维数远远大于样本的数量。同样，具有较好检测效果的滤波器需要人工精心地设计（或训练），某种程度上说，非线性处理技巧起到次要作用。结果证明这些直觉都是错的。

实验数据集：

1. Caltech-101.

2. NORB

3. MNIST

二. 模型结构：

模型基本结构包括下面4部分，也就是说一个Stage可包括这四部分，其中矫正层和局部对比度层就是作者所指的non-linearity：

  1. 滤波器组层：

原文有一个地方错误（m1=n1 - l1 + 1 and m2 = n2 - l2 + 1)。按照原文的定义，m1: 特征映射图的数量（输出）， n1: 特征映射图的数量（输入）， l1 和l2：滤波器的宽和高。理应没有直接的相等关系。

2. 矫正层：

为什么要取绝对值？待补充（TODO：）

3. 局部对比度层：

减法操作和除法操作。

作用：

一方面，在一张特征映射图内，相邻特征会产生局部竞争； 另一方面，在特征映射图间，相同位置的特征也会产生竞争作用。

4. 下采样层：（Average-Pooling and  Max-Pooling)

本文的Stage包括四种结构：

F_CSG - P_A：滤波层- 平均池化下采样层

F_CSG - R_abs - P_A:滤波层- 矫正层– 平均池化下采样层

F_CSG - R_abs - N-P_A : 滤波层- 矫正层– 局部对比度归一化 – 平均池化下采样

F_CSG - P_M：滤波层- 最大池化下采样层

三. 训练方法

3.1 四种训练方式

1. 随机特征， 监督分类器 - R and RR

有Code(稍候见详细分析）

2. 无监督特征，监督分类器 - U and UU

3. 随机特征， 全局有监督优化 - R+ and R+R+

就是CNN

4. 无监督特征， 全局有监督优化 - U+ and U+U+

原文的精华。

3.2 基于PSD 的无监督训练方法

原文主要阐述的训练方法.

四. 实验:

TODO: 待续