由浅入深理解Latent Diffusion/Stable Diffusion(2)：扩散生成模型的工作原理

Diffusion Models专栏文章汇总：入门与实战

前言： 关于如何使用stable diffusion的文章已经够多了，但是由浅入深探索stable diffusion models背后原理，如何在自己的科研中运用stable diffusion预训练模型的博客少之又少。本系列计划写5篇文章，和读者一起遨游diffusion models的世界！本文主要介绍扩散生成式模型的基本原理，stable diffusion models的前身latent diffusion models的基本原理。

目录

生成扩散模型的基本原理

stable diffusion的原理

稳定扩散的输入

变分自动编码器 (VAE) 的编码器部分

使用 Transformer 模块修改的 U-Net

基于Transformer的文本编码器

“运行”去噪过程的调度程序

变分自动编码器 (VAE) 的解码器部分

值得阅读的文献

---

生成扩散模型的基本原理

扩散模型是强大的图像生成工具，但它们由两个简单的部分构成：一个添加高斯噪声以降低图像质量的函数，以及一个简单的图像恢复网络来消除这种噪声。

将高斯噪声添加到干净的图像中，为恢复网络创建训练数据。该模型接受噪声图像作为输入并输出干净的去噪图像。

通过最小化测量原始图像和去噪输出之间的 L1 差异的损失进行训练