Diffusion Model相关论文整理(一)

1、DDPM: Denoising Diffusion Probabilistic Models

这种模型受到非平衡热力学的启发，属于潜变量模型的范畴。它在图像生成方面表现出色，尤其是在合成高品质图片的能力上。是一种基于参数化Markov链的模型。这种模型通过变分推断，在有限的时间内训练，以生成与数据匹配的样本。它通过逆扩散过程逐渐向样本中添加噪音，直到信号完全破坏，从而实现样本生成。

2、DDIM: Denoising Diffusion Probabilistic Models

DDPM和DDIM训练过程是相同的，只是采样过程略有不同。

3、Generative Modeling by Estimating Gradients of the Data Distribution

提出了一个全新的生成模型，通过估计分布的梯度来采样，在采样过程中加入不同强度的高斯噪声，解决低密度数据区域梯度很难预测的问题。通过推导我们发现，score和加在原图上的噪声只是相差一个系数的关系，可以用一个噪声估计网络来估计。估计噪声就是估计score，也就是估计数据分布的对数梯度。

4、Score-based generative modeling through stochastic differential equations

这篇文章是关于一种新的生成建模方法，它通过随机微分方程 （SDE）将复杂的数据分布平滑地转换为已知的先验分布。通过逆向时间SDE，可以转换回数据分布。这种方法依赖于扰动数据分布的时间相关梯度场（即得分），可以使用神经网络准确估计这些得分，并使用数值SDE求解器生成样本包含了以前在基于得分的生成建模和扩散概率建模中的方法，并允许新的采样过程和新的建模能力。

5、Diffusion Models Beat GANs on Image Synthesis

论文展示了diffusion模型在图像生成上的优势，特别是在ImageNet上的FID得分表明其效果可与BigGAN-deep匹敌。通过分类器指导和架构改进，如增加深度和注意力头，能进一步提升FID，实现与条件模型相近的质量。然而，diffusion模型的采样速度仍慢于GANs，且不学习显式潜在表示，限制了其在某些应用中的使用。

6、SR3: Image Super-Resolution via Iterative Refinement

SR3将去噪扩散概率模型用于条件图像生成，并通过随机迭代去噪过程实现超分辨率。输出生成从纯高斯噪声开始，使用经过各种噪声水平去噪训练的U-Net模型迭代地细化噪声输出。SR3在人脸和自然图像的不同上采样倍数的超分辨率任务上表现出强大的性能。最重要的贡献是提供了一个思路。让Diffusion Model能用于更多去除图像多余信息的领域（去马赛克，图像去雾，修复等）。
创新点：

7、Deblurring via Stochastic Refinement（CVPR2022）

这篇文章额外训练了一个去模糊网络(预测)，然后得到的去模糊图像(Initial predicition)通过扩散模型来refine。去噪器以模糊图像和噪声作为输入，得到residual和去模糊图像相加得到输出。