ddpm Denoising Diffusion Probabilistic Model 学习笔记

目录

Stable Diffusion

文章的贡献抽象出来就两个

潜空间上做扩散生成

ddpm(Denoising Diffusion Probabilistic Model)学习笔记

算法原理

unet预测噪声

unet推理过程

重参数化技巧

（1）利用前一时刻的 xt-1 得到任意时刻的噪声图片 xt（重参数化技巧）

ddpm条件生成图片即生成指定图片

---

Stable Diffusion

文章的贡献抽象出来就两个

：1）提出可以在潜空间上用diffusion学特征分布，而不是直接让diffusion 学图像，降低了diffusion模型的难度；2）可以用 cross-attention 方法给模型加条件搞条件生成，在 cross-attention 中，q来源于与上一步，k和v来源于条件编码。

潜空间上做扩散生成

之前的DM（diffusion model）大多是直接对图像做去噪扩散，生成出来的图像细节不太好，如果想生成高清大图又需要非常大的计算量。所以这里作者提出了一种在潜空间上做扩散生成的方式，另外还增加了文本条件生成。这些操作使得模型最终可以生成非常高清的图，而且跟像素级的DMs模型相比大大降低了计算量。

作者的贡献有：

1）与以往纯transformer的结构不同，作者的模型可以更优雅地扩展到更高纬度的数据，因此此工作可以（a）在压缩了的级别上提供更可靠更具体的重建细节，（b）可以更有效地生成百万像素高清图像。

ddpm(Denoising Diffusion Probabilistic Model)学习笔记

算法原理

一文弄懂 Diffusion Model（DDPM）+ 代码实现-CSDN博客

参考代码：

GitHub - LinXueyuanStdio/PyTorch-DDPM: 500 行代码实现降噪扩散模型 DDPM，干净无依赖

unet预测噪声

无论在前向过程还是反向过程，Unet的职责都是根据当前的样本和时间 t 预测噪声。

• 训练阶段是一步预测出从0到t加的噪声noise
• 推理阶段是根据模型算出该t时刻的噪声，然后用x_t减去该时刻的噪声noise得到x[t-1]

unet推理过程

训练时：给定原图和时间t,加上噪声，然后用unet预测噪声。

推理时，给定随机噪声和时间t，预测噪声，然后减去噪声，然后就是图像

重参数化技巧

（1）利用前一时刻的 xt-1 得到任意时刻的噪声图片 xt（重参数化技巧）

ddpm条件生成图片即生成指定图片

https://github.com/LinXueyuanStdio/PyTorch-DDPM/blob/main/classifier_free_ddpm.py

unet预测噪声代码：

        h = x
        for module in self.down_blocks:
            h = module(h, t, y)
            hs.append(h)
        # middle stage
        h = self.middle_block(h, t, y)
        # up stage
        for module in self.up_blocks:
            cat_in = torch.cat([h, hs.pop()], dim=1)
            h = module(cat_in, t, y)
        return self.out(h)

从代码可以看到，y是想要生成的数字标签，y会进入unet的每一层指导生成，这样的话，笔者感觉任务一变更，网络结构可能就要调整，原始的unet也不能使用，看看其他的网络是否有改进。