深入浅出理解 AI 生图模型

目录

引言

一、Stable Diffusion原理

首先

随后

最后

二、DDPM模型

1 资料

2 原理

扩散过程

反向过程

3 公式结论

三、优缺点

优点：

缺点：

四、改进与完事

LDM代表作

原理概括

 Latent Space（潜空间）

五、总结

---

引言

众所周知，视频是图片连起来快速播放的，所以Stable Diffusion可能是sora参考的重要模型之一。
随着深度学习和生成模型的发展，扩散模型在生成领域也取得了显著进步。这类扩散模型通常分为扩散过程和逆扩散过程。

扩散过程是对数据（如图像）逐步加入噪声，而逆扩散过程则是从噪声中逐渐消除噪声以生成数据。这类模型在图像生成、文本到图像的转换等领域有广泛应用，如DALL-E 2和Stable Diffusion等。

Stable Diffusion（稳定扩散）严格说来它是一个由几个组件（模型）构成的系统，而非单独的一个模型。

一、Stable Diffusion原理

首先

用户输入的Prompt会被Text Encoder（文本编译器）处理，转化为一系列词特征向量。这一步骤会生成77个长度相同的向量，每个向量都包含768个维度。这些向量实际上是将文本信息转化为机器能够理解和处理的数字序列。

随后

这些特征向量会与一张随机图（可视为充满电子雪花或信息噪声的图像）一同输入到Image Information Creator中。在此环节，机器首先将这些特征向量和随机图转换至Latent Space（潜空间）。接着，根据这些特征向量的指引，机器会对随机图进行“降噪”处理，生成一个“中间产物”。这个中间产物虽然对人类而言是难以理解的数字图像，但它已经蕴含了用户Prompt中描述的信息。

最后

这个中间产物会经过Image Decoder（图片解码器）的处理，转化为一张真实可见的图片。

这个过程中，扩散模型功不可没，今天主要讲讲扩散模型的代表DDPM

二、DDPM模型

1 资料

1. 代表之作：Denoising Diffusion Probabilistic Models（https://arxiv.org/abs/2006.11239）

2. 官方代码：https://github.com/hojonathanho/diffusion

2 原理

DDPM模型通常指的是去噪扩