Deep Stacked Hierarchical Multi-patch Network for Image Deblurring阅读笔记

摘要

论文代码：https://github.com/HongguangZhang/DMPHN-cvpr19-master
论文地址：https://arxiv.org/pdf/1904.03468.pdf
代码解读：

多尺度去模糊网络的缺点：

• 由粗到细的网络机制中去卷积/上采样操作消耗运行时间。
• 在更精细的尺度中简单的增加网络深度并不能提高去模糊的质量

作者做出的改进

• 为了解决上述问题，作者提出一个分层的 multi-patch 网络，该网络受空间金字塔匹配的启发，由细到粗的处理模糊图像。

为了解决性能饱和问题，作者提出了multi-patch 网络 的stacked版本

Network

作者提出的 Deep Multi-Patch Hierarchical 网络如图所示：

网络受由粗到细的特征金字塔结构影响，使用场景识别技术整合多个图像块提高性能。与在多尺度和尺度循环网络模型中进行大量的数据处理相反，我们的方法使用了residual-like的架构，因此需要小尺寸的滤波器，从而可以进行快速处理。如图3所示：

与多尺度网络和递归循环网络不通，本文去掉了跳跃连接和循环连接。另外，不同于多尺度使用去卷积和上采样操作，我们使用特征图级连的方式。

Encoder-decoder Architecture

DMPHN网络的每一级都由一个编码器和一个解码器组成，其架构如图4所示。我们的编码器由15个卷积层，6个残差连接和6个ReLU组成。 解码器和编码器的层是相同的，只是两个卷积层被反卷积层替换以生成图像。

本文只使用3.6 MB大小的内存存储参数，而 多尺度网络使用了3