Multi-level Wavelet-CNN for Image Restoration(多级小波CNN之图像恢复)

目录

1. 摘要解读

2. 介绍

3. 相关工作

4. 方法

5. 实验

6. 结论

---

1. 摘要解读

文章动机：普通CNN通常以牺牲计算成本为代价扩大感受野。针对于现有的扩张滤波解决以上问题的过程中，收到网格效应影响而产生的感受野是只具有棋盘图案的爱护如图像的稀疏采样。本文提出多级小波CNN，用以更好地权衡感受野大小和计算效率。

网络实现：通过修改后的 U-Net 架构，引入了小波变换来减小收缩子网络中特征图的大小。此外，另一个卷积层进一步用于减少特征图的通道。在扩展的子网络中，然后部署逆小波变换来重建高分辨率特征图。MWCNN 也可以解释为扩张过滤和二次采样的泛化，并且可以应用于许多图像恢复任务。

效果：实验结果清楚地表明了 MWCNN 在图像去噪、单图像超分辨率和 JPEG 图像伪影去除方面的有效性。

2. 介绍

行文思路：图像恢复发展--->CNN两种解释------>CNN感受野问题----->本文提出方法以及解决感受野问题的机理----->本文贡献：

• 一种新颖的 MWCNN 模型，用于扩大感受野，在效率和恢复性能之间取得更好的平衡。
• 由于DWT 良好的时频定位，有希望的细节保留能力。
• 在图像去噪、SISR 和 JPEG 图像去块方面的最先进性能。

3. 相关工作

简要回顾了用于图像去噪、SISR、JPEG 图像伪影去除和其他图像恢复任务的 CNN 的发展。 具体来说，对扩大感受野和将 DWT 纳入 CNN 的相关工作进行了更多讨论。

• 图像去噪
• 单张图像超分辨
• JPEG 图像伪影去除
• 其他恢复任务（主要落点为已有小波变换与CNN结合的方法发展）

4. 方法

• 首先介绍多级小波包变换（WPT）。
• 然后介绍了由多级 WPT 驱动的 MWCNN，并描述了它的网络架构。
• 最后，讨论了分析 MWCNN 与扩张过滤和二次采样的联系。
• 

 

5. 实验

实验设置（数据集、网络训练细节）

定量和定性评价（图像去噪、图像超分辨、JPEG伪影去除性能测试）

消融实验（MWCNN 变体的比较）

6. 结论

本文提出了一种用于图像恢复的多级小波-CNN（MWC-NN）架构，它由收缩子网络和扩展子网络组成。收缩子网由多级 DWT 和 CNN 块组成，而扩展子网由多级 IWT 和 CNN 块组成。由于 DWT 的可逆性、频率和位置特性，MWCNN 可以安全地执行子采样而不会丢失信息，并且可以有效地从退化的观察中恢复详细的纹理和锐利的结构。因此，MWCNN 可以扩大感受野，在效率和性能之间取得更好的平衡。大量的实验证明了 MWCNN 在三个恢复任务上的有效性和效率，即图像去噪、SISR 和 JPEG 压缩伪影去除。

在未来的工作中，我们将扩展 MWCNN 以用于更一般的恢复任务，例如图像去模糊和盲反卷积。此外，我们的 MWCNN 还可用于替代 CNN 架构中的池化操作，以完成图像分类等高级视觉任务。