解读OpenAI视频生成模型Sora背后的原理：Diffusion Transformer

已于 2024-02-22 10:09:31 修改
阅读量2.9k 收藏 31
点赞数 28
分类专栏： Diffusion Models与深度学习 文章标签： transformer 深度学习 人工智能
于 2024-02-18 11:46:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41895747/article/details/136148493
版权
本文详细解读了OpenAI的视频生成模型Sora，特别是其Diffusion Transformer的结构和原理。Sora利用Transformer替代U-Net主干网络，通过空间时间补丁（Spacetime Patches）技术处理视频内容，实现了高效率和高质量的视频生成。此外，文章探讨了条件输入的不同方法，最终采用Adaptive layer norm（adaLN）取得最佳效果。
摘要由CSDN通过智能技术生成

Diffusion Models视频生成-博客汇总

前言：OpenAI最近推出的视频生成模型Sora在效果上实现了真正的遥遥领先，很多博主都介绍过Sora，但是深入解读背后原理的博客却非常少。Sora的原理最主要的是核心模型主干《Scalable Diffusion Models with Transformers》和训练不同尺寸视频方法《Patch n' Pack: NaViT, a Vision Transformer for any Aspect Ratio and Resolution》。这篇博客详细解读Diffusion Transformer结构，一起揭开Sora神秘的面纱。

目录

贡献概述

方法详解

主干结构

Patch化

条件输入

Transformer decoder

Sora上的应用：空间时间补丁（Spacetime Patches）

个人感悟

了解本专栏 订阅专栏 解锁全文 超级会员免费看
沉迷单车的追风少年
关注
专栏目录
订阅专栏
Scalable diffusion models with transformers
liguandong
11-07 2453
首先是一个patch embedding来将输入进行patch化，得到一系列的tokens，其中patch size属于一个超参数，直接决定了tokens的数量，影响模型的计算量。由于对输入进行了token化，所以在网络的最后还需要一个decoder来恢复输入的原始维度，DiT采用一个简单的linear层来实现，直接将每个token映射为pxpx2C的tensor，然后再进行reshape来得到和原始输入空间维度一样的输出，但是特征维度大小是原来的2倍，分别用来预测噪音和方差。
Sora技术详解
weixin_44703888的博客
03-15 927
最近Sora的出世引起了许多关注，这里对相关的技术知识和模型结构做了一定的梳理，如有讲解有误的地方，敬请斧正。虽然没有模型的实现细节，我们也仍然可以管中窥豹，探寻一下相关的技术实现。
探讨Sora模型核心架构Diffusion Transformer
BLogabs
02-21 1267
DiT的设计使得生成的视频具有更好的质量和连贯性，能够更准确地表达文本描述中的内容。通过使用DiT作为生成模型的核心架构，Sora能够生成具有吸引力和独特性的角色，吸引观众的注意力，增强视频的视觉吸引力和情感表达能力。首先，它能够生成复杂的场景，包括多个角色、特定类型的动作以及主题和背景的准确细节。在Sora模型中，DiT作为生成模型的骨干网络，负责将用户的文本指令转化为视频内容。通过使用DiT作为生成模型的骨干网络，Sora能够将用户的文本指令转化为高质量、具有吸引力和独特性的视频内容。
一文带你搞懂DiT（Diffusion Transformer）
最新发布
qkh1234567的博客
08-01 737
扩散模型的核心思想：Diffusion Models是一种受到非平衡热力学启发的生成模型，其核心思想是通过模拟扩散过程来逐步添加噪声到数据中，并随后学习反转这个过程以从噪声中构建出所需的数据样本。
Diffusion Transformers (DiTs)
weixin_41113437的博客
07-27 41
本文探索了一类新的基于 Transformer 的扩散模型 Diffusion Transformers (DiTs)。本文训练 latent diffusion models 时，使用 Transformer 架构替换常用的 UNet 架构，且 Transformer 作用于 latent patches 上。本文探索了...
【论文精读】Diffusion Transformer（DiT）
weixin_44934783的博客
02-23 3109
Diffusion Transformer（DiT）
Sora文本生成影像模型背后的创新原理与挑战
weixin_52421133的博客
02-18 520
然而，正如OpenAI所指出的那样，尽管Sora展现出了令人惊叹的创造力，但它在仿真复杂物理现象和理解具体事例因果关系方面仍面临一定的局限性。随着算法优化和技术迭代，我们期待看到Sora及其他类似模型在解决现有问题的基础上进一步提升性能，真正实现从文本概念到视觉现实的无缝转换，开启全新的创意时代。尽管Sora展现了强大的创新性，但正如OpenAI所述，当前阶段它在模拟复杂的物理现象时可能存在偏差，比如难以准确重现特定物理规律下的光影效果或物体动态行为。
Sora核心之一：当Diffusion遇到Transformer，DiT的前世今生
pku_langzi的博客
02-19 2965
Diffusion与Tranformer结合的代表性文章
SORA视频生成原理剖析.pptx
02-22
- **Diffusion-Transformer架构**：这种架构结合了扩散模型（diffusion model）和Transformer模型的优点，能够在处理视频这样的多模态数据时表现出优异的性能。 - **空间时间块的建模**：通过对视频信息进行空间时间...
详细解读开源版Sora视频生成模型Latte
沉迷单车的追风少年
03-24 1128
OpenAI的视频生成模型Sora一经发布就广受全世界的瞩目，上海人工智能实验室最近推出了一个基于Diffusion Transformer的结构的模型Latte，堪称最接近Sora原理的视频生成模型。这篇博客就详细解读Latte，并从中窥探Sora的神秘面纱。
51-36 DiT，视频生成模型Sora背后的核心技术
AIgraphX
04-07 1429
Diffusion Transformer遵循Vision Transformer最佳实践，是一种结合了DDPM和Transformer优点的新型扩散模型。
Sora：技术细节推测与原理解读，行业影响与成功关键
LuckyWinty的博客
02-28 118
????导读每逢年节，都是普罗大众从繁重的工作中抽离出来，回归生活与家庭的欢聚时光。然而今年的大年初六，OpenAI 发布的“文生视频”工具 Sora，却以又一次的 AI 技术变革姿态席卷了大街小巷，成为每个饭局讨论的焦点。GPT-4 发布的震撼犹在眼前，又一次的行业冲击接踵而至。被替代的危机论再次甚嚣尘上，未来真的没机会了吗？我们又该如何在变局中抓住机遇？或许，可以先从积极主动地了解危机本身，拥抱学习...
（2023|ICCV，DiT，扩散 transformer，Gflops）使用 Transformer 的可扩展扩散模型
qq_44681809的博客
01-15 2530
本文提出 DiT：训练 LDM，将 U-Net 骨干替换为在潜在 patch 上操作的 Transformer。本文通过前向传播复杂度的角度分析 DiT 的可扩展性，该复杂度由 Gflops 衡量。
Scalable Diffusion Models with Transformers
通街是密人有的博客
01-09 4602
我们探索了一类新的基于Transformer结构的扩散模型。我们训练图像的潜在扩散模型，用一个对潜在补丁操作的Transformer取代常用的U-Net骨干网。我们通过Gflops测量的前向传递复杂性来分析扩散Transformer(dit)的可伸缩性。我们发现，具有较高gflop的dit(通过增加Transformer深度/宽度或增加输入令牌数量)始终具有较低的FID。
DiT Scalable Diffusion Models with Transformers
weixin_44966641的博客
02-19 1949
DiT 的思路和做法都是比较直接的，就是用 Transformer 替换掉 UNet，并探索了其 scaling 能力和条件注入的结构。在 Diffusion 成功之后，以 DiT 为代表的，有很多用 Transformer 替换 UNet 的工作，但都没有受到很大的关注。究其原因，应该是 UNet 已经做的足够好，计算开销也低，使用 Transformer scaling 上去，虽然生成质量有所提升，但也没那么显著。
sora笔记（三）：diffusion transformer模型的发展历程
submarineas的博客
03-16 2238
::info💡 在一文中介绍了目前未开源的sora模型可能涉及到的技术点，包括介绍了Vision Transformer，作为transformer正式用于图像的一种范式，为本文中将提到的内容打下基础，同时一文对diffusion model的数学原理推导，也为后来模型的演化提供更加完整的认识。而本文将要介绍的是后来的ViViT与DiT两种模型架构，并对其进行了更进一步的源码分析。
图像生成模型王牌——Diffusion Transformers系列工作梳理
weixin_40920183的博客
06-17 671
图像生成模型是目前业内研究的焦点，而目前诸如Sora等前沿生成模型，其所基于的主体架构都是Diffusion Transformers（DiT）。Diffusion Transformers（DiT）是论文Scalable Diffusion Models with Transformers（ICCV 2023）中提出的，是扩散模型和Transformer的结合，也是Sora使用的底层生成模型架构...
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沉迷单车的追风少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值