Generative Diffusion Prior for Unified Image Restoration and Enhancement(2023,CVPR)

一、简介

在本研究中，我们进一步提出了一个有效的方法，即生成扩散先验(Generative Diffusion Prior ,GDP)。它利用训练良好的DDPM作为通用图像恢复和增强的有效先验，使用退化图像作为指导。作为一个统一的框架，GDP不仅可以处理各种线性逆问题，而且首次将其推广到非线性的、盲的图像恢复和增强任务。

然而，解决盲逆问题并不简单，因为需要同时估计退化模型和恢复高保真干净的图像。因此，我们采用盲退化估计策略，在去噪过程中对GDP的退化模型参数进行随机初始化和优化。此外，为了进一步提高图像的真实感和图像质量，我们系统地研究了一种有效的方法来指导扩散模型。具体来说，在采样过程中，预训练的DDPM首先通过估计中的噪声，从带噪声的图像预测出一幅干净的图像。我们可以在这个中间变量上添加指导来控制DDPM的生成过程。

二、方法

   

在推理过程中给定一个退化的图像y，用以引导逆向扩散过程，可以在预测出的干净的图像或由退化模型估计出的退化图像上添加指导，由此产生GDP的两种变体GDP-和GDP-。将监督信号应用于和y之间，GDP寻找中间变量，优化退化模型D，通过梯度下降最佳重建y对应的图像。

GDP-：在逆向扩散过程的每个时间步，经过退化模型D，与退化图像y作loss。

示意图及流程图如下所示：

GDP-：在逆向扩散过程的每个时间步，由直接预估出最终的无噪音图像，退化模型D，与退化图像y作loss。流程图如下所示：

三、退化模型D

对于未知退化模型的任务，我们设计了一个简单而有效的模型来模拟复杂的退化过程，可以表示为:

值得注意的是，这种退化模型一般是非线性的，因为f和m依赖于x和y。我们需要对每一幅退化图像估计f和M。我们通过随机初始化它们，并在DDPM的逆向过程中同步优化它们来实现。