Devolutional network阅读笔记

---

Matthew D. Zeiler, Dilip Kirshnan, Graham W. Taylor, and Rob Fergus. Deconvolutional Network.Computer Vision and Pattern Recognition (June 13-18, 2010) 论文下载 Code Images Videos

简单理解，可能有些地方理解的不到位，还望大家多多指教

---

1. Deconvolutional Networks的出发点

从图像中提取特征，从这一点而言，Deconvolutional network和Convolutional network的出发点是一致的，只不过，为了实现这一目的使用的策略是不同的

2. Deconvolutional Networks的应用

Deconvolutional network被提出时，是为了从图像中提取特征，从而，可以应用到object recognition中，但后来并没有朝这个方向发展，因为Convolutional network已经很强大了，而且，深层的Deconvolutional network做optimizing还是很困难的；现在的deconvolutional network主要朝着feature visualization方向发展

3. Convolutional network和Deconvolutional Network异同

既然Deconvolutional network和convolutional network的出发点是一致的，那么，他们到底有什么区别呢？它们的具体实现机制是不同的！

• CNN：给定一组图像及其相应的labels，学习一系列的filters（多层），将这些学习到的filters对输入图像进行卷积可以将输入的图像映射成不同的feature maps
• DCNN：给定一组图像（不需要labels），去学习一系列的filters和feature maps，使得这些filters对feature maps做卷积后等于输入的图像
• 这里的“反卷积”应该是与卷积相对的
  
  • 卷积：利用filters对输入图像进行卷积，得到小一点feature maps
  • 反卷积：利用filters对feature maps进行卷积，得到大一点的输入图像（或者是上一层的feature maps）

4. Deconvolutional Networks到底如何实现的呢？

在《Deconvolutional Network》的文中，作者主要是通过讨论一个优化问题来解决了从输入图像中learn features（latent features）

5. 下面配几张图

• 文章中的公式（1）：任何一幅图像的某一个channel都可以表示为一组feature maps和一组filters的卷积和
  
  

• 文章中的公式（2）：构造一个loss function，使得任何图像（多个channels）都可以表示为多组feature maps和多组filters的卷积和
  

• 文章中的公式（3）：求解第$l$层的多幅（$I$）图像的feature maps和fitlers的目标函数；或者说是：求解第$l$层多个feature maps对应的上一层（$l-1$）的feature maps和filters的目标函数；是DCNN的核心，后续的工作其实就是在求解该优化问题
  

6. DCNN的优化问题求解

这部分还不太理解，大致就是类似于EM的iterative的方法：给定输入图像，先固定filters，求解feature maps；再固定feature maps，求解flters；如此依次迭代，最后得到输入图像对应的features maps和filters（可能是多层的哦！）

---

参考文献：
http://blog.csdn.net/langb2014/article/details/50836102