diffusion模型（DM）的本质

diffusion模型是编解码过程，也是去噪过程，解码过程也是图像采样过程。本质是概率密度函数的参数估计问题，训练过程是极大似然估计问题。已假设是正态分布，估计的正态分布的均值和方差。

Diffusion models are incremental updates where the assembly of the whole gives us the encoder-decoder structure. The transition from one state to another is realized by a denoiser.

• 编解码的解释

diffusion模型是编解码，相当于一个有损压缩。复杂概率分布到简单概率分布之间的空间映射。

vae的损失有两项。与vae不同的是，diffusion 的 kl 项无需训练，所以就只剩下了重建损失，就是一个mse损失，然后就是不直接学图像，像残差网络一样学残差。

复杂概率分布到简单概率分布的前向过程：编码过程（压缩）
从简单概率分布到复杂概率分布的逆向过程：解码过程（重建）
diffusion模型逐步编码、逐步解码。

重建的本质是正态分布参数的极大似然估计。 贝叶斯公式是关键。

正向转移核是正态分布，逆向转移核不是正态分布，加上原图像的状态后，才是正态分布，diffusion模型解决的问题是用网络去逼近逆向转移核，$\theta$表示网络参数。

• 编码过程
  
• 解码过程

贝叶斯公式是关键

• 训练
  待写
  

Denoising Diffusion Probabilistic Models
DENOISING DIFFUSION IMPLICIT MODELS