文献阅读笔记——《Plug-and-Play Image Restoration with Deep Denoiser Prior》

Plug-and-Play Image Restoration with Deep Denoiser Prior

基于深度去噪先验的即插即用图像恢复

DOI：10.1109/TPAMI.2021.3088914

Key words：Denoiser Prior, Image Restoration, Convolutional Neural Network, Half Quadratic Splitting, Plug-and-Play    先验去噪，图像恢复，卷积神经网络，半二次分裂，即插即用

图像恢复（IR）：从退化图像中恢复潜在性的清晰图像

传统IR——一致性运算

图像去模糊deblurring——二维卷积

图像超分辨率——卷积和下采样相结合

彩色图像恢复——彩色滤光片阵列掩模

IR需要prior（也可以称作正则化regularization）来约束解空间以防止过拟合、提高泛化能力。

基于模型的IR方法model-based method：

优：与噪声退化操作的函数T（x）简单；可以通过简单的指定来灵活地处理各种IR任务；直接在退化图像上进行优化    

缺：因为需要复杂的先验，恢复图像耗时长

基于深度学习的IR方法learning-based method——在包含的训练集上对损失函数进行优化

优：图像恢复耗时短；得益于端到端训练，有更好的优化结果

缺：需要繁琐的预训练，并且会受到特定任务的限制

*DPIR（Deep Plug-and-Play Image Restoration）：

综合以上两种方法的特点构造DPIR方法，以model为基础，再用基于learning method的CNN去噪先验代替基于model method优化的去噪子问题。

主要构想：第一步，借助变量分裂算法，将目标函数进行解耦分离出数据项和先验项，得到一个由交替求解数据子问题和先验子问题组成的迭代方案。第二步，通过deep CNN denioser分别处理数据子问题和先验子问题。

FFDNet——Fast and Flexible Solution for CNN based Image Denoising

FFDNet使用噪声估计图作为输入，权衡对均布噪声的抑制和细节的保持，从而应对更加复杂的真实场景。

1. 将噪声水平估计作为网络的输入，可以应对更加复杂的噪声，如不同噪声水平噪声和空间变化噪声，而