Deconvolutional Networks

Abstract

• 构建强大的低级和中级图像表示，超越边缘基元，是视觉中的长期目标。许多现有的特征检测器在空间上汇集边缘信息，这些信息破坏了诸如边缘交叉，平行和对称之类的提示。我们提出了一个学习框架，其中捕获这些中级线索的特征自发地从图像数据中出现。我们的方法基于稀疏约束下的图像的卷积分解，并且完全没有监督。通过构建这种分解的层次结构，我们可以学习丰富的特征集，这些特征集是图像分析和合成的强大图像表示。

Introduction

• 在本文中，我们提出了反卷积网络，这是一个允许无监督构建分层图像表示的框架。这些表示可以用于低级任务，例如去噪，以及提供用于对象识别的特征。层次结构的每个级别都将信息从下面的级别分组，以形成图像中更大比例上存在的更复杂的特征。我们的分组机制是稀疏性：通过鼓励层次结构的每个级别的简约表示，特征自然地组合成更复杂的结构。但是，正如我们所证明的那样，稀疏性本身是不够的 - 它必须部署在正确的架构中才能产生预期的效果。
• 我们采用卷积方法，因为它在每个级别提供稳定的潜在表示，从而保持局部性，从而促进分组行为。使用相同的参数来学习每一层，我们的反卷积网络（DN）可以自动提取与中等概念相对应的丰富特征，例如边缘连接，平行线，曲线和基本几何元素，如矩形。我们提出的模型在精神上与LeCun等人的卷积网络类似，但在操作上有很大不同。卷积网络是一种自下而上的方法，其中输入信号经历多层卷积，非线性和子采样。
• 相比之下，我们的反卷积网络中的每一层都是自上而下的; 它试图通过与学习过滤器相关的特征映射（与输入相反）的卷积之和来生成输入信号。给定输入和一组滤波器，推断特征映射激活需要解决计算上具有挑战性的多分量反卷积问题。作为回应，我们使用来自低级视觉的一系列工具，例如稀疏图像先验和用于图像去模糊的高效算法。 相应地，我们的论文试图通过统一的架构将高级对象识别与图像去模糊等低级任务联系起来。

Related Work

• 反卷积网络与机器学习社区中的一些“深度学习”方法密切相关[2,8]，这些方法试图从数据中提取特征层次结构。编码器提供从输入到潜在特征空间的自下而上的映射，同时解码器将潜在特征映射回输入空间，希望重建接近原始输入。在不使用编码器的情况下从输入直接进入潜在表示是困难的，因为它需要解决推理问题。由于这些模型已被激励改进诸如识别之类的高级任务，因此需要编码器来执行快速但高度近似的推理以在测试时计算潜在表示。然而，在训练期间，通过利用解码器执行自顶向下推断而产生的潜在表示被约束为接近编码器的输出。我们的工作在两个方面有所不同：首先，我们完全自动学习图像令牌。 其次，我们的推理方案比上述任一框架都简单得多。
• 朱等人提出了一种自上而下的零件和结构模型，但它仅仅是由标准边缘检测器提供的图像边缘的原因，与我们直接在像素上操作的标准边缘检测器不同。Serre等人的生物学启发的HMax模型，在他们的中间表示中使用示例模板，而不是像我们一样学习边缘的连接。Fidler和Leonardis提出了一种自上而下的物体识别模型，它具有明确的部分概念，这些部分的对应关系在每个层面都有明确的推理。相比之下，我们的方法只是在每个级别执行低级反卷积操作，而不是尝试解决对应问题。

Model

• 
• 
• 
• 
• 
• 
• 
• 
• 
• 

Conclusion

• 我们引入了Deconvolutional Networks：一个概念上简单的框架，用于学习稀疏，过度完备的特征层次结构。 将此框架应用于自然图像会产生高度多样化的滤波器集，这些滤波器捕获超出边缘图元的高阶图像结构。 这些产生于不需要超参数调整或附加模块，例如局部对比度归一化，最大池化和再生[9]。
• 我们的方法依赖于强大的优化技术，以最小化卷积设置中出现的条件差的成本函数。