Deconvolutional network

出自论文

Zeiler M D, Krishnan D, Taylor G W, et al. Deconvolutional networks[C]//Computer Vision and Pattern Recognition (CVPR), 2010 IEEE Conference on. IEEE, 2010: 2528-2535.

---

Introduction
传统的深度学习网络都是一个自下而上的过程（bottom to top），而在本文当中，作者提出了一种自上而下的方式，对特征进行反卷积，从而达到去噪和特征提取的效果

These representation can be used for both low-level tasks such as denoising, as well as providing feature for object recognition.

---

Deconvolutional network
和卷积神经网络一样，考虑 卷积核f，提取特征k，原始输入y，那么我们就获得了这样的一个等式

这里的目标函数，并不像传统的cnn一样，利用监督学习进行误差传递，而是采用了autoencoder的特征提取方式，利用特征和反卷积作用（这也就是deconvolutional network的来历），从而实现与原始输入重构的最小误差，其公式如下图所示：

而后面的一项则是为了增加特征的稀疏化。
整个网络的训练过程，可以采用类似于EM的方法，固定一个学习另一个。
因此首先固定滤波器f，调整特征，从而实现误差最小化，接着固定特征，调整滤波器。两者交替运行，从而获得目标函数的最小值。