Cold Diffusion: Inverting Arbitrary Image Transforms Without Noise【重点笔记】

Cold Diffusion重点笔记

摘要

主要内容：图像恢复不依赖于图像退化的选择，因此提出了使用其他退化degradation的选择，如blur，masking等等。但由于目前人们理解扩散模型是基于梯度的朗之万动力学或者变分推理中的噪声，因此提出了疑问。这些疑问有助于任意的逆向过程中泛化扩散模型的研究。

1 引言

工作：

• 研究了扩散模型是否需要高斯噪声
• 本文不局限于围绕高斯噪声建立的模型，而且是任意的图像变换
• 提出了对扩散模型理论理解的局限性问题，为潜在的新型生成模型打开了大门

2 背景

结合参考文献，本文说明了这几件事情：

• 噪声在扩散模型中的作用：噪声在扩散模型中不是必需品
• 使用FID作为实验中的特征相似度指标

3 Generalized Diffusion 广义扩散

本文考虑了基于任意的退化操作泛化扩散模型的建立过程

3.1 模型组成与训练

提出了：

• 一个severity = t 的运算器D，对$x_0$进行退化
• 一个依赖于$\theta$ 修复算子R，对D进行逆转。

3.2 从模型中采样

采样的方法：

由于DDPM文章中的采样方法在具有平滑等的Cold diffusion中的情况很差，因此提出了新的采样方法【此方法能够在R没有完美逆转D时也能产生精确的重构】

3.3 采样算法的属性

通过泰勒展开化简公式，证明了本文提出的采样算法：对于任意R的选择，结果都与完美R时效果相同。 相反，旧算法做不到。

4 Generalized Diffusions with Various Transformations 具有各种变换的广义扩散

我们对不同退化任务，用该算法进行了实验：

• deblurring去模糊化
• inpainting画中画
• super-resolution超分辨率
• the unconventional task of synthetic snow removal非常规的合成去雪任务

对每个任务：1） 都会去除干净图像中的信息，并创建一个图像序列，使得 D ( x 0 ,