Generative Diffusion Prior for Unified Image Restoration and Enhancement (Paper reading)

Generative Diffusion Prior for Unified Image Restoration and Enhancement

Ben Fei, Fudan University, Shanghai AI Laboratory, CVPR2023, Cited:0, Code, Paper.

1. 前言

现有的图像恢复方法大多利用自然图像的后验分布。然而，它们通常假设已知的退化，并且还需要监督训练，这限制了它们对复杂的实际应用的适应。在这项工作中，我们提出了生成扩散先验（GDP），以无监督采样的方式对后验分布进行有效建模。GDP利用预训练去噪扩散生成模型（DDPM）来解决线性逆、非线性或盲问题。具体而言，GDP系统地探索了一种有条件指导的协议，该协议比常用的指导方式更实用。此外，GDP在去噪过程中有利于优化退化模型的参数，实现图像的盲恢复。此外，我们设计了分层指导和基于补丁的方法，使GDP能够生成任意分辨率的图像。在实验上，我们在几个图像数据集上展示了GDP对线性问题的多功能性，如超分辨率、去模糊、修复和着色，以及非线性和盲问题，如微光增强和HDR图像恢复。在重建质量和感知质量的不同基准上，GDP优于当前领先的无监督方法。此外，对于来自ImageNet训练集分布之外的各种任务的具有任意大小的自然图像或合成图像，GDP也很好地通用。我们的贡献有以下4点：（1）据我们所知，GDP是第一个统一的问题求解器，它以无监督的方式，可以有效的利用在ImageNet上预训练的无条件DDPM，输出不同的高保真度图像恢复和增强图片；（2） GDP能够优化随机启动的未知退化参数，从而形成一个强大的框架，可以解决任何盲图像恢复问题。（3） 此外，为了实现任意大小的图像生成，我们提出了分层指导和基于补丁的方法，极大地促进了GDP对自然图像的增强。（4） 此外，与传统的引导方式不同，GDP在每一步都直接预测给定噪声图像的临时输出，这将被用来指导下一步的图像生成。

2. 整体思想

整体的想法还是Guided diffusion那套，文章很漂亮，内容很多，创新点一般。

3. 方法

在这项研究中，我们的目标是利用训练有素的DDPM作为统一图像恢复和增强的有效先验，特别是处理各种退化图像。给定一张清晰图像$x$，和降质模型$D$，可以获得降质图像$y=D(x)$。我们使用存储在$x$先验中的的统计数据，并在$x$的空间中搜索与$y$最匹配的最优$x$，将$y$视为$x$的损坏观测值。DDPM的反向去噪过程可以以退化图像$y$为条件：
$$log{p}_{\theta }(x_{t-1}|x_t,y)=log{p}_{\theta }(x_{t-1}|x_t)p(y|x_t)$$
$p(y|x_t)$可以被视为$x^{}$