Adaptive Deconvolutional Networks for Mid and High Level Feature Learning

Abstract

• 我们提出了一个层次模型，通过卷积稀疏编码和最大池的交替层来学习图像分解。当训练自然图像时，我们的模型层以各种形式捕获图像信息：低级边缘，中级边缘连接，高级对象部分和完整对象。
• 为了构建我们的模型，我们建立了一种新颖的推理方案，该方案确保每个层重建输入，而不仅仅是直接在下面的层的输出，这与现有的分层方法一样。
• 这使得学习多层表示成为可能，我们展示了具有4层的模型，这些模型是根据来自Caltech-101和256数据集的图像进行训练的。当与标准类相结合时，从这些模型中提取的特性优于SIFT，以及其他特性学习方法的表示。

Introduction

• 对于视觉中的许多任务，关键问题是发现良好的图像表示。例如，SIFT和HOG等本地图像描述符的出现促成了匹配和对象识别的显着进步。有趣的是，许多成功的表示都非常相似[18]，基本上涉及到边缘梯度的计算，然后是一些柱状图或池化操作。虽然这在捕获低级图像结构方面是有效的，但挑战在于找到适合于中级和高级结构的表示，即角点，交叉点和对象部分，这对于理解图像肯定是重要的。
• 本文提出了一种从低阶边缘到高阶对象部分，无监督地获取各种尺度结构的图像表示方法。在构建模型的过程中，我们对与特征层次相关的两个基本问题提出了新的解决方案。第一个与不变性有关：边缘只在方向和尺度上变化，大尺度结构变化更大。例如，试图明确记录所有可能形状的交点或拐角点将导致模型在数量上呈指数关系。 因此，不变性对于建模中高层结构至关重要。
• 第二个问题涉及层次模型中采用的逐层训练方案，如深信网络和卷积稀疏编码。缺乏一种方法来有效地训练所有层相对于输入，这些模型从下往上贪婪地训练，使用前一层的输出作为下一层的输入。 这种范例的主要缺点是图像像素在第一层之后被丢弃，因此模型的较高层具有与输入的日益稀释的连接。 这使得学习对于超出几层的模型而言是脆弱且不切实际的。
• 我们对这两个问题的解决方案是引入一组潜在的开关变量，这些变量是针对每个图像计算出来的，它们将模型的滤波器局部地调整到观察到的数据。 因此，相对简单的模型可以捕获图像结构的广泛可变性。这些开关还提供了到输入的直接路径，即使是从模型中的高层，允许每个层都针对图像进行培训，而不是前一层的输出。正如我们所展示的，这使得学习更加强大。此外，这些开关还可以使用有效的培训方法，使我们能够学习在数千张图像上具有许多层和数百个功能图的模型。
• 与我们的方法一样，卷积网络（ConvNets）通过学习过滤器生成潜在特征映射的层次结构。然而，他们处理图像自下而上，并受到歧视性和纯粹的监督培训，而我们的方法是自上而下（生成）和无人监督。预测稀疏分解（PSD）向ConvNets添加稀疏编码组件，允许无监督训练。与我们的模型相比，每个图层仅重建下面的图层。 通过记录用于重建的变换参数，可以如[12]中那样包含附加的移位不变性。
• 与我们最接近的方法是基于卷积稀疏编码的方法。 与PSD和DBN一样，每个层仅尝试重建下面层的输出。另外，它们在不同层的特征图之间手动施加稀疏连接，因此限制了学习表示的复杂性。相比之下，我们的模型在层之间具有完全连接性，这使我们能够学习更复杂的结构。

Approach

• 我们的模型产生了一个过度完整的图像表示，可用作标准对象分类器的输入。与许多图像表示不同，我们从自然图像中学习，并且在给定新图像的情况下，需要推理来计算。该模型使用卷积稀疏编码（反卷积[20]）和最大池化的多个交替层以分层方式分解图像。每个反卷积层试图在过度完整的特征图集上的稀疏约束下直接最小化输入图像的重建误差。
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 

Application to object recognition

• 
• 
• 

Disscussion

• 本文介绍的新方法使我们能够可靠地学习多层模型。 当我们提升图层时，我们模型中的开关允许过滤器适应日益变化的输入模式。 因此，该模型能够捕获在类之间进行概括的中高级特征。 将这些功能与标准分类器配合使用，可在Caltech-101和Caltech-256上实现极具竞争力的价格。 我们学习的表示的一般性通过其能够推广到未经过训练的数据集，同时保持相当的性能来证明。