RePaint: Inpainting using Denoising Diffusion Probabilistic Models

Andreas Lugmayr Martin Danelljan Andres Romero Fisher Yu Radu Timofte Luc Van Gool Computer Vision Lab ETH Z ̈urich, Switzerland

不同模型重建效果对比

我们使用去噪扩散概率模型 (DDPM) 进行修复。该过程以掩码输入（左）为条件。它从迭代去噪的随机高斯噪声样本开始，直到它产生高质量的输出。由于这个过程是随机的，我们可以对多个不同的输出进行采样。DDPM先验强制协调图像，能够从其他区域再现纹理，并填充语义上有意义的内容。

概述:

在这项工作中，我们提出了 RePaint：一种基于去噪扩散概率模型 (DDPM) 的修复方法，适用于甚至极端掩码。我们采用预训练的无条件DDPM作为生成先验。为了条件生成过程，我们只使用给定的图像信息对未屏蔽区域进行采样来改变反向扩散迭代。由于该技术不修改或调节原始DDPM网络本身，因此该模型为任何修复形式生成高质量的、多样化的输出图像。我们使用标准掩码和极端掩码验证了人脸和通用图像修复的方法。RePaint 在六个掩码分布中，至少五个优于最先进的自回归和 GAN 方法

RePaint 修改了标准的去噪过程，以根据给定的图像内容为条件。在每一步中，我们从输入中采样已知区域（顶部）和来自 DDPM 输出（底部）的需要修复部分。

主要步骤：

就是在使用去噪扩散概率模型，分别对整张图去噪；以及对mask之后的图像进行加噪声。但是这里没有参考论文相关代码，参考了基于DDPM的简单的Inpainting——RePaint和RePaint+ - 知乎 (zhihu.com)

这位博主的论文。简单做了一下示意图，其中重采样部分为step05，使用前序步骤生成X(T-1)重新再更新为X(T-1)_N，用于最终loss的计算。

Method：