目录
DDPM算法原理部分:
简述DDPM的算法流程:
- 初始化:从带噪声的图像开始。
- 正向扩散:逐步向数据添加高斯噪声,直到数据完全转化为无结构的噪声。
- 反向去噪:通过模型预测并逐渐去掉每一步加入的噪声,还原得到无噪声的图像。
- 训练:使用反向传播算法更新模型参数,以最小化正向和反向过程之间的差异。
- 测试:对新的高噪声图像应用训练好的模型进行去噪。
实现DDPM是否需要什么条件:
- 马尔可夫链:DDPM使用马尔可夫链来描述数据的扩散过程。马尔可夫链是一个随机过程,具有无记忆性,即在给定当前状态的情况下,未来的状态只依赖于当前状态。
- 微小变化:DDPM通过逐步添加微小的高斯噪声来扩散数据。这些微小的变化是在数据中引入随机性的关键步骤。
- 高斯噪声变化:DDPM使用高斯噪声来模拟数据的扩散过程。高斯噪声是一种常见的随机噪声,也称为正态分布噪声。
为什么DDPM加噪声的幅度是不⼀致的?
前期加噪少是为了保持数据结构的完整性,后期加噪多是为了加速扩散过程,使得模型能够更快地从噪声中恢复出清晰的数据。
DDPM预测噪声还是预测当前分布?
预测噪声,预测分布只是中间过程
DDIM算法原理部分:
DDIM是怎么实现加速采样的?
DDIM通过保证DDPM的三项前向条件不变:前向⾼斯噪声+⻢尔可夫链,实现逆向递推公式优化,减少逆向推理步骤
DDIM是不是确定性⽣成,为什么
是确定性⽣成。因为在逆向去噪声过程中,DDIM的逆推公式,将随机噪声的部分置为0
Score-Based-diffusion-model
提供了⼀种解释扩散模型的等价⽅式,其中降噪过程可以看作是沿着分数(梯度)前进
⾼阶采样⽅案:
是否了解DPM++等加速采样⽅案
通过ODE对扩散模型进⾏建模,通过解析解的形式解构扩散模型求解步骤
特征编码篇:
介绍⼀下CLIP编码ÿ