【图像去模糊】SDWNet: A Straight Dilated Network with Wavelet Transformation for image Deblurring

ICCV2021：一种基于小波变换的直线型扩张网络图像去模糊方法

论文地址：https://arxiv.org/abs/2110.05803https://arxiv.org/abs/2110.05803

代码：GitHub - FlyEgle/SDWNet: An Straight Dilated Network with Wavelet for image Deblurring 

 摘要

现有的方法大多采用重复的上采样和下采样结构来增大感受野，导致采样过程中纹理信息丢失，其中一些设计多阶段从而导致收敛困难。本文使用空洞卷积来获得具有高空间分辨率的大的感受野。通过利用不同的感受野，实现了较好的性能。在此基础上，作者减少了上采样和降采样的数量，并设计了一个简单的网络结构。作者，提出小波变换模块，帮助网络恢复高频的纹理信息。

 

 单图像去模糊存在的挑战

1. 如图1（a）所示，大多数方法都采用了编码-解码结构来学习不同感受野的特征。然而，编码解码器结构中包含的重复上采样和下采样会导致纹理细节的丢失，这严重影响了图像的恢复。
2. 目前的一些图像去模糊方法使用GAN结构来获得真实的纹理细节，如图1(b)所示。由于GAN结构需要一个联合生成器和鉴别器来进行训练，因此会导致网络性能不稳定。
3. 目前的大多数图像去模糊方法都倾向于设计一个粗到细的结构，以实现优越的PSNR性能，如图1(c)所示。然而，粗到细的结构往往是非常复杂和计算密集型的，导致收敛过程缓慢。

这篇文章中，作者使用空洞卷积和小波变换解决上述问题！

本文提出了一种新的图像去模糊方法，通过空洞卷积模型利用不同感受野的去模糊线索。此外在小波域中提出了一个简单而有效的端到端CNN模型，称为带有小波变换的直线性扩张网络（straight dilated network with wavelet transformation）(SDWNet)，如图1(d)所示。由空洞卷积模块和小波重构模块组成。空洞卷积模块使用空洞卷积获得更大的感受野。这有助于模型在远距离捕获类似的特征，从而促进图像恢复。

小波重构模块通过利用小波变换的频域特性为空域重构提供了额外的信息。

本文贡献：

1. 提出了一个扩展的卷积模块。与之前使用重复上采样和下采样来获得大的感受野的去模糊网络不同，作者使用不同扩张率的空洞卷积来获得不同感受野的特征。该模块有助于网络捕获非局部相似特征，从而恢复清晰图像。
2. 提出了一个小波重建模块。不是在单个的空间/频域中执行去模糊，而是使用在频域中恢复的信息来补充空间域，以便恢复的图像包含更多的高频细节。
3. 提出了一种新的基于CNN的图像去模糊方法。与以前使用粗到细结构的去模糊方法不同，作者使用简单和流线型的结构来实现与最先进的方法竞争的结果。有效的解决了训练困难和收敛缓慢的问题。

相关工作

交替上采样下采样会导致信息丢失；

小波变换由于能将图像中的高频信息和低频信息中分离出来，并且是可逆的，因此在图像处理任务中得到了广泛的应用。

 本文方法

 

由于复杂的模型会带来不稳定的训练和收敛缓慢等问题，因此本文使用了一个简单的网络结构 。如图2所示，网络主要有三部分组成：the shallow feature extraction layer（浅层特征提取层），

the dilated convolution (DC) module （扩张卷积模块），  the reconstruction module （重构模块）.

 

为了获得更大的感受野，首先使用7x7的卷积核提取浅层特征。提出了扩展卷积块，通过使用不同的扩张率来融合多感受野信息。本文中的网络使用级联多个直流块来学习广泛的上下文信息。

由于小波变换是恢复高频信息的有效工具，作者提出了一个小波重建模块作为并行重建分支，从而在最终输出图像中保留了所需的精细纹理。本文的方法不是像其他直接预测四个子带的小波变换方法，而是使用共享网络分别恢复四个子带，从而有效地避免了不同子带相互作用引起的伪影 。

给定一个模糊图像I_blur,所提出的模型预测出一个残差图R，

 X为清晰图像。

SDWNet的损失函数：

Dilated Convolution Module

DC 模块 由多个DCB（如图3所示）组成。

图3 的表示形式：

在浅层上，采用1、2、4、8的规则扩张率。在最后一层，采用1、3、5、7的非重叠扩张率，以避免图像去模糊任务中的网格效应。然后，使用扩张率为1的空洞卷积来融合来自不同感受野的特征。 最后，将融合的特征叠加到输入特征上，以得到输出。

表现形式：

Wavelet Reconstruction Module

小波重建模块(WRM)主要利用小波变换将空间域信息转换为小波域进行恢复。

 如图4所示，通过离散小波变换可以将输入特征小波变换分为四个不同的频率子带。表示为：

 其中DWT（·）表示离散小波变换的操作。

为了避免不同频带之间的干扰，四个子带都被输入一个3层卷积网络进行恢复。可以表示为：

 最后利用离散小波逆变换将恢复的频率子带重构为输出特征Fout。表示为：

实验

 数据集：GoPro 、HIDE、RealBlur 

数据处理：Dataset Sliding Crop

 

 实现细节：

对比实验：