论文阅读：Deep Stacked Hierarchical Multi-patch Network for Image Deblurring

这是一篇去模糊的文章，后来发现直接套用不合适，无法获取到相应的特征，遂作罢，简单记录一下。

2019 CVPR：DMPHN

这篇文章是2019CVPR的一篇去模糊方向的文章，师兄分享的时候看了一下，后来也发现这个网络结构在很多workshop以及文章中都见过。

文章：ArXiv
代码：Github

在去模糊领域，目前的多尺度和尺度循环模型存在一些问题：
1)由粗到细方案中的去卷积/上采样操作导致运行时间昂贵;
2)单纯的用更精细的层次来增加模型的深度并不能提高去模糊的质量。

就此，本文主要提出了一种基于空间金字塔匹配的深度层次多patch网络（a deep hierarchical multi-patch network inspired by Spatial Pyramid Matching ）通过由粗到细的层次表示来处理模糊图像。为了处理性能饱和的w.r.t.深度，还提出了多patch模型的堆叠版本。

主要创新之处：

1、首先是在获取图像多尺度方面，没有使用传统的下采样，而是直接进行切割，分块切割图像代替下采样。
这样可能会存在的问题是，不同patch之间不重叠，可能边缘部分会存在伪影。

2、在Encoder-Decoder部分，去除了跳跃连接和循环链接，同时使用了特征图级联的方式。

网络结构：

可以看到，是使用了直接切割的方式构造了图像的多尺度，然后主要结构是一组编解码器对，同时使用的特征图级联的方式。

在后面实验中，发现这个无法用到去雨，因为模糊和雨纹的成像原理存在较大差异，这种方法根本无法获取到相应的特征。

具体实现：

1、基本结构：

文中的层级多patch架构，去除了相应的跳跃连接和循环链接。
因为图像的下采样需要大量的数据处理，数据量大。

2、编解码器结构：

3、堆栈结构：

4、损失函数：

采用了MSE损失：

总结：
通过直接切割，减少数据量。
使用了特征图级联的方式整合特征。
网络结构中去除了跳跃连接和循环链接。
多尺度结构+ 尺度循环，在每一尺度做残差处理。