文献阅读笔记——《Plug-and-Play Image Restoration with Deep Denoiser Prior》

Plug-and-Play Image Restoration with Deep Denoiser Prior

基于深度去噪先验的即插即用图像恢复

DOI：10.1109/TPAMI.2021.3088914

Key words：Denoiser Prior, Image Restoration, Convolutional Neural Network, Half Quadratic Splitting, Plug-and-Play    先验去噪，图像恢复，卷积神经网络，半二次分裂，即插即用

图像恢复（IR）：从退化图像中恢复潜在性的清晰图像

传统IR——一致性运算

图像去模糊deblurring——二维卷积

图像超分辨率——卷积和下采样相结合

彩色图像恢复——彩色滤光片阵列掩模

IR需要prior（也可以称作正则化regularization）来约束解空间以防止过拟合、提高泛化能力。

基于模型的IR方法model-based method：

优：与噪声退化操作的函数T（x）简单；可以通过简单的指定来灵活地处理各种IR任务；直接在退化图像上进行优化    

缺：因为需要复杂的先验，恢复图像耗时长

基于深度学习的IR方法learning-based method——在包含的训练集上对损失函数进行优化

优：图像恢复耗时短；得益于端到端训练，有更好的优化结果

缺：需要繁琐的预训练，并且会受到特定任务的限制

*DPIR（Deep Plug-and-Play Image Restoration）：

综合以上两种方法的特点构造DPIR方法，以model为基础，再用基于learning method的CNN去噪先验代替基于model method优化的去噪子问题。

主要构想：第一步，借助变量分裂算法，将目标函数进行解耦分离出数据项和先验项，得到一个由交替求解数据子问题和先验子问题组成的迭代方案。第二步，通过deep CNN denioser分别处理数据子问题和先验子问题。

FFDNet——Fast and Flexible Solution for CNN based Image Denoising

FFDNet使用噪声估计图作为输入，权衡对均布噪声的抑制和细节的保持，从而应对更加复杂的真实场景。

1. 将噪声水平估计作为网络的输入，可以应对更加复杂的噪声，如不同噪声水平噪声和空间变化噪声，而且噪声水平估计可以作为权重权衡对噪声的抑制和细节的保持。
2. 将输入图像下采样为多张子图像作为网络输入，输出的子图像再通过上采样得到最终的输出。该操作在保持结果精度的条件下，有效地减少了网络参数，增加感受野，使得网络更有效率，更快。
3. 使用正交矩阵初始化网络参数，从而使得网络训练更有效率。

虽然FFDNet具有和DnCNN和RICNN相似的功能，但是它还是不能提高plug-and-play IR的有效性

Deep CNN Denoisor——更灵活更强大

目的：通过在不同的IR tasks中进行广泛的实验来推动对DPIR的限制。

以FFNet为参考进行改进：

1. 以noise level map（噪声级别图/噪声估计子网络）作为输入，使得可以通过单个模型就能处理大范围的噪声级别。
2. 结合UNet和ResNet的优势提高其有效性，再将深度去噪器进一步集成到基于半二次分裂HQS的DPIR中。
3. 提出了周期性几何自集成方法periodical geometric self-ensemble来提高性能，同时不引入额外的计算负担。

DPIR模块组合设计依据

现存的plug-and-play IR可以利用去噪器的强大表现力，但是没能充分利用CNN。

DnCNN：需要分开学习每个噪声级别的模型——计算量大

IRCNN：由25个独立的7层降噪器组成，每个降噪器都在间隔为2的噪声级别中进行训练——不能灵活地处理某个特定的一个噪声；有效性不足。

我们需要的是一个非盲去噪器non-blind denoisor来处理广泛的噪声水平。

使用Non-Blind Gaussian Denioser原因：

1. 在plug-and-play IR的迭代操作中，子问题实际上对应于具有高斯噪声特征的non-Blind Gaussian denoising问题。
2. Gaussian Denioser的主要目的并不是去除高斯噪声，而是平滑在迭代过程中产生的未知噪声。而Blind Gaussian Denioser只能消除高斯噪声。

不用Deep unfolding IR的原因：

Deep unfolding IR使用的是端到端的训练方式以减少迭代次数，但是这需要对每一个任务分别进行训练。而plug-and-play IR则不需要另外的训练。

深度CNN先验

1.去噪网络

U-Net：高效的图像—图像转换（把浅层特征与深层特征进行整合，以获取更加准确的图像分割结果）

ResNet：卓越的建模能力（叠加多个残差块，残差块使用了shortcut connection，缓解了图像恢复在深度神经网络中增加深度带来的梯度消失问题）

FFD-Net：Fast and Flexible Denoising Net，以噪声级图像作为输入，通过单个模型来处理一个大范围的噪声等级

*提出DRUNet：以噪声级图为输入，进一步将残差块整合到U-Net中进行有效的去噪先验建模——提供灵活且强大的预训练去噪器以利于plug-and-play IR方法的实施。能够通过一个单一的模型处理不同的噪音水平。所提出的DRUNet是无偏置的。

2.去噪结果

①灰度图：最好的PSNR峰值信噪比；更清晰的边缘

②彩色图：更好地细节和纹理

③JPEG图像块的扩展应用：可以去除除了高斯噪声以外的其他/未知噪声级别的噪声

④消融研究：剩余块可以简化训练来获取更好的表现；无偏置DRUNet可以提高对不可

见噪声水平的通用性；噪声级映射引入了额外的噪声信息，可以提高性能。

⑤运行时间、FLOPs、CPU最大内存消耗比较：DRUNet综合表现最好，是

一个灵活且强大的用于DPIR的去噪先验。

 

3.HQS半二次分裂算法

辅助变量z——解决约束优化问题

X——clean image    Y——degrade image

 

μ——惩罚参数  λ——正则化参数  k——迭代次数  σ——噪声级别

*周期性几何自集成periodical geometric self-ensemble strategy：

        在每连续的8次迭代中周期性地应用几何自集成，在每次迭代中，去噪前有一个变换去噪后有相应的逆变换，由于降噪先验模型的输入在迭代过程中会发生变化因此放弃了平均步骤——总的推理时间不会增加，稍微提高PSNR。

实验

1.去模糊

模糊图像模型

 快速傅里叶变换FFT

①定性定量分析

和其他5种去模糊方法比较，DPIR显示出了更好地效果，拥有最高的PSNR，

不仅成功去除噪声，还保留了最好的边缘细节。 

②中间结果和收敛

xk可以解决一部分的模糊失真，但是会加重输入图像zk-1的噪声强度

xk可以迭代地恢复图像细节

xk和zk都可以快速收敛到固定值

③参数设置

迭代次数k=8  第一次迭代噪声级别σ1=49

σ1越大，PSNR越高

较小的σ1可以通过增大k来获取更好地表现，但同时也会增加计算量

④DPIR with Blind DRUNet Denoiser

比non-blind denoiser更低的PSNR，还出现了结构性噪声模糊，因此不用blind denoiser

2.单一图像超分辨率SISR

双三次插值退化模型 （bicubic函数） (等式右边表示带降尺 度因子s的双三次降采样)  但是如果实际的退化模型与假设的模型不一致，将会出现严重退化。

经典退化模型：假设低分辨率(LR)图像是高分辨率(HR)图像的模糊、抽取和噪声版本。

表示标准的s-fold下采样器，即为每个不同的s×s patch选择左上角像素 

*存在一种快速的封闭解来代替迭代格式。假设卷积是在去模糊时的圆形边界条件下进行的，封闭解为

封闭解优于迭代解，原因在于前者是包含一个参数(即αk)的精确解，而后者是包含两个参数(即每外部迭代的内迭代次数和步长)的不精确解。

*对于z0的初始化，利用LR图像的双三次插值；使用二维线性网格插值调整z0来解决由经典退化模型引起的位移问题。

①定性定量分析

与其他方法相比，在经典退化模型测试中DPIR的表现最好，得益于其强大的去噪器。

DPIR具有较强的去噪先验，在锐度和自然度方面都能产生最佳的视觉效果

②中间结果和收敛

即使LR图像没有噪声，封闭式解x1会引入严重的结构噪声。将其输入到DRUNet进行去噪后得到的z1的结构噪声会被去除，但同时会模糊细节和边缘。

随着迭代次数增加，x中的结构噪声也会减少，z中的细节和边缘会得到更好的保留。

x和z都可以快速的收敛到一个固定的值。

3.彩色图像去马赛克

拼接图像退化模型

封闭解

①定性定量分析

DPIR比其他基于模型的方法去马赛克表现更佳，并且有更高的PSNR。

DPIR有更好地可视化结果，而其他方法都会产生明显的伪影。

②中间结果和收敛

x1有伪影，经过DRUNet后有一定程度的消除，但图像变模糊平滑，经过y和z的加权

平均后平滑模糊逐渐消失。

PSNR不单调，但最后仍然收敛于固定值。

 

 

讨论

Plug-and-play IR的去噪先验被训练为高斯去噪，但这并不一定意味着其输入的噪声是高斯分布。

去噪先验更多的是去除噪声，其中会包括一些细节，而随后的数据子问题则缓解与去噪无关的退化以及恢复丢失的细节。但是这种机制是以损失一定的效率和专业度为代价的。

总结

训练了一个灵活且有效的用于plug-and-play IR的深度去噪器。使用了半二次方分裂算法，交替地解决拥有封闭解集的数据子问题和先验子问题。

通过与其他图像恢复方法的定性和定量比较，拥有强大的深度去噪先验的plug-and-play IR有以下优势：

1. 提高了传统的model-based method有效性，这得益于隐式但强大的深度去噪先验模型。
2. 基于针对特定任务的训练方法，plug-and-play IR比learning-based method更加灵活同时保证了与其相关的性能表现。

    展望：如何整合其他类型的深度图像先验（如深度生成先验）以实现有效的图像恢复。