【DiffusionModel系列】Sora揭底系列模型介绍 (VAE/DDPM/SD/DiT/Sora)

飞书PPT链接

简介

该文档介绍了几种深度学习模型，特别是那些在图像合成和处理方面有显著应用的模型。文档内容涉及变分自编码器（VAE）、去噪扩散概率模型（DDPM）、稳定扩散（Stable Diffusion）、扩散变换器（DiT），以及Sora模型的介绍。

• 变分自编码器（VAE）：VAE通过最大化数据的边缘似然来训练模型，采用变分下界（ELBO）和KL散度来近似似然函数，从而学习数据的隐含结构。它利用重参数化技巧来使梯度反向传播可行。

• 去噪扩散概率模型（DDPM）：DDPM通过将噪声逐渐加入到数据中并学习如何逆转这一过程来生成数据。模型通过优化负对数似然的变分下界来训练，利用重参数化技巧和Langevin动力学来有效地进行采样。

• 稳定扩散（Stable Diffusion）和扩散变换器（DiT）：这些是基于DDPM的变体，通过引入改进的结构和优化策略来提高效率和生成质量。DiT特别是通过增加不同大小的“patchify”操作来提高模型的可扩展性。

• Sora：虽然文档中对Sora的具体介绍较少，但它似乎是基于前述技术的进一步发展或变体。

文档还涉及了**分类器引导（Classifier guidance）和无分类器引导（Classifier-free guidance）**技术，这些技术用于改善条件生成模型的性能，通过引导生成过程来提高生成图像的质量和相关性。

整体而言，该文档提供了对几种重要的深度学习模型的系统性介绍，特别强调了它们在图像处理和生成领域的应用。通过这些模型的研究和发展，深度学习在艺术创作、图像合成和数据增强等领域展现出了巨大的潜力。