深入研究 Sora 的扩散Transformer(DiT)

最新推荐文章于 2024-11-01 15:27:42 发布
最新推荐文章于 2024-11-01 15:27:42 发布
阅读量1k 收藏 28
点赞数 11
分类专栏： 扩散模型 文章标签： transformer 深度学习 人工智能 stable diffusion
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Angelina_Jolie/article/details/139094561
版权
Sora是William Peebles和Saining Xie在2023年开发的扩散Transformer，它结合扩散思想预测视频，利用Transformer进行增强。文章详细介绍了Sora的工作流程，包括视频分解为补丁、降维、噪声扩散模型、自适应规范层调节、变压器组件的使用，以及训练过程中的MSE损失计算和参数更新。Sora通过文本提示生成视频，展示了扩散和Transformer在图像生成领域的强大能力。
摘要由CSDN通过智能技术生成

“在古老的迪塔罗斯土地上，曾经生活着一个传说，名叫索拉。这个传奇体现了无限潜力的本质，涵盖了天空的浩瀚和壮丽。

当它展翅高飞，彩虹色的翅膀飞向广阔无垠的地方，引人注目的身体反射出光芒时，人们可以听到“空是天空”这几个字在天空中回荡。它之所以成为传奇，不仅在于其史诗般的巨大性，还在于它利用散布在旋转云层中的光元素的能力。空一旋转所施展的魔法，力量之大，令人叹为观止！

他们说，索拉会继续活着，磨练自己的技能，日复一日地变得更加强大，准备在黄金时刻飞翔。今天，当你看到天空中出现一抹赤红色，你就知道，那是传说中的一粒飞入光域的光点！”

Sora (Open AI)

Sora 是William Peebles和Saining Xie在 2023 年开发的扩散变压器（DiT）。换句话说，它使用扩散的思想来预测视频，并使用变压器的强度来进行下一级缩放。为了进一步理解这一点，让我们尝试找到这两个问题的答案：

  • 当Sora收到工作提示时会做什么？
  • 它是如何与扩散变压器的思想结合起来的？

Sora如何运作？

我们的目标- 根据文本提示生成视频。

我们得到：

  • 培训视频
  • 文字提示
  • 扩散步长t = 3

什么是扩散？

扩散主要指的是粒子的散射现象——想想我们如何享受从云层后面窥视的柔和阳光。这种柔和的光芒可以归因于阳光穿过云层时的散射，导致光线向不同方向扩散。

粒子的随机运动驱动这种扩散。这正是图像生成中使用的扩散模型所发生的情况。随机噪声被添加到图像中，导致图像中的元素偏离原始图像，从而为创建更精细的图像让路。

当我们谈论图像模型的扩散时，要记住的关键概念是“噪声”。

该过程从这里开始：

[1]将视频转换为补丁

在处理文本生成时，模型将大型语料库分解为称为标记的小块，并使用这些标记进行所有计算。同样，Sora 将视频分解为更小的元素，称为视觉补丁，以使工作更简单。

由于我们谈论的是视频，所以我们谈论的是多帧图像。在我们的示例中，我们有四个框架。四个帧或矩阵中的每一个都包含创建图像的像素。

第一步是将训练视频转换为 4 个时空补丁，如下所示：

最低0.47元/天 解锁文章
Angelina_Jolie
关注
专栏目录
Sora核心之一：当Diffusion遇到Transformer，DiT的前世今生
pku_langzi的博客
02-19 3358
Diffusion与Tranformer结合的代表性文章
解读OpenAI视频生成模型Sora背后的原理：Diffusion Transformer
沉迷单车的追风少年
02-18 3085
OpenAI最近推出的视频生成模型Sora效果上实现了真正的遥遥领先，很多博主都介绍过Sora的效果，但是深入解读背后原理的博客却非常少。Sora的原理最主要的是核心模型主干《Scalable Diffusion Models with Transformers》和训练不同尺寸视频方法《Patch n' Pack: NaViT, a Vision Transformer for any Aspect Ratio and Resolution》。这篇博客详细解读Diffusion Transformer结构，
SORA 2.2 ——​Transformers技术解析+实战(LLM)
HUSKY_zzh的博客
03-10 979
本文是DataWhale开源项目的第二次打卡任务的第二节，主要是以初学者的视角学习自注意力机制、Transformers技术、词嵌入过程LLM实战。请注意，本节引用、参考来源较多，请有志于理解Transformers技术的同学自行探索。同一打卡任务的其他小节请参见个人主页。
Datawhale学习笔记：Sora技术原理
m0_73378352的博客
03-13 823
基于Transformers的架构的Diffusion模型设计了一个简单而通用的基于Vision Transformers（ViT）的架构（U-ViT），替换了latent diffusion model中的U-Net部分中的卷积神经网络（CNN），用于diffusion模型的图像生成任务。随着噪声的逐步引入，原始数据的信息会逐渐受到破坏，直至在一定步数后，数据几乎完全失去了原有的特征，近乎变为纯粹的噪声信号。代码库链接：https://github.com/01-ai/Yi/tree/main/VL。
视频生成Sora的全面解析：从AI绘画、ViT到ViViT、TECO、DiT、VDT、NaViT等
热门推荐
结构之法 算法之道
02-18 4万+
真没想到，举例视频生成上一轮的集中爆发才过去三个月，没想OpenAI一出手，该领域又直接变天了自打2.16日OpenAI发布sora以来，不但把同时段Google发布的Gemmi Pro 1.5干没了声音，而且网上各个渠道，大量新闻媒体、自媒体(含公号、微博、博客、视频)做了大量的解读，也引发了圈内外的大量关注，很多人因此认为，视频生成领域自此进入了大规模应用前夕，好比NLP领域中GPT3的发布一开始，我还自以为视频生成这玩意对于有场景的人，是重大利好，比如在影视行业的；
从扩散模型基础到DIT
hang on it more longer
02-22 1151
为了加快图像生成过程，Stable Diffusion 并不是在像素图像本身上运行扩散过程，而是在图像的压缩版本上运行。，具备更好的扩展性scaling（tokens扩展，网络深度扩展，增加参数量就能有更好的性能），有较低的t FID of 2.27。图示结构如下，可以看出输入含噪声图片，输出噪声。输入随机噪声和文本内容，通过多次预测并去除图片中的噪声后，最终生成清晰的图像。从它的训练和预测代码中，我们看到也使用了训练好的VAE模型。图中XT为T时刻的有噪图片，Xt-1为去噪后的图片。
解密 Sora 背后的魔法——Diffusion Transformer
略懂……略懂……
05-01 2921
随着 Sora 惊艳世界，Transformer 正逐渐替代 U-Net，成为图像和视频生成领域的新宠。本文将带大家揭示 Sora 背后的秘密，一同探索 Diffusion Transformer 的原理。
Sora 基础作品之 DiT：Scalable Diffusion Models with Transformer
kebijuelun的博客
04-01 1832
2022 年 UC Berkeley 出品的论文，将 transformer 应用于 diffusion 上实现了当时最佳的生成效果。DiT 论文作者也是 OpenAI 项目领导者之一，该论文是 Sora 的基础工作之一。
【论文+DiT】Sora和SD3背后的主干模型: 扩散Transformer（23.03.DiT:Scalable Diffusion Models with Transformers）
进一寸有一寸的欢喜
07-15 1262
在潜在扩散模型（Latent Diffusion Models, LDMs）框架下构建和基准测试DiT设计空间，我们可以成功地用Transformer替代U-Net骨干。我们进一步表明，DiTs是可扩展的扩散模型架构：网络复杂度（用Gflops衡量）与样本质量（用FID衡量）之间存在强相关性。通过简单地扩大DiT并训练具有高容量骨干（118.6 Gflops）的LDM，我们能够在类别条件的256×256 ImageNet生成基准测试上实现2.27 FID的最先进结果。
Open-Sora代码详细解读(1)：解读DiT结构
沉迷单车的追风少年
09-07 908
目前开源的DiT视频生成模型不是很多，Open-Sora是开发者生态最好的一个，涵盖了DiT、时空DiT、3D VAE、Rectified Flow、因果卷积等Diffusion视频生成的经典知识点。本篇博客从Open-Sora的代码出发，深入解读背后的原理。
Unet已死，Transformer当立！详细解读基于DiT的开源视频生成大模型EasyAnimate
沉迷单车的追风少年
06-21 1671
最近阿里云PIA团队开源了基于Diffusion Transformer结构的视频生成模型EasyAnimate，并且提出了专门针对视频的slice VAE，对于目前基于Unet结构的视频生成最好如SVD形成了降维打击，不论是生成质量、生成时长上都是遥遥领先。这篇博客详细解读一下EasyAnimate的技术报告《EasyAnimate: A High-Performance Long Video Generation Method based on Transformer Architecture》
深度学习-理论知识
qq_63961628的博客
10-31 384
深度学习（Deep Learning）是机器学习的一个子领域，它利用多层人工神经网络来模拟人脑的结构和功能，从而在复杂数据的分析、理解和生成上表现出色。深度学习是当前人工智能（AI）研究的核心技术之一，已广泛应用于图像识别、自然语言处理、自动驾驶等领域。下面，我将为你详细介绍深度学习的理论知识。
【车辆车型识别】Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+算法模型
子午的博客
11-01 548
车辆车型识别，使用Python作为主要编程语言，通过收集多种车辆车型图像数据集，然后基于TensorFlow搭建卷积网络算法模型，并对数据集进行训练，最后得到一个识别精度较高的模型文件。再基于Django搭建web网页端操作界面，实现用户上传一张车辆图片识别其类型。局部感知能力：通过卷积层，CNN能够捕捉图像的局部特征，如边缘和纹理信息，这使得它在处理图像时具有空间感知能力。参数共享：卷积层中的权重在整个输入图像上共享，减少了模型的参数数量，降低了过拟合的风险，并提高了训练效率。平移不变性。
深度学习基础知识-残差网络ResNet
lqq
11-01 1133
是由何恺明等人于 2015 年提出的一种深层卷积神经网络结构。它在 ILSVRC 2015 比赛中取得了图像分类、检测等多个任务的突破性成果。ResNet 的主要创新在于引入了“残差连接”（Residual Connections），有效地解决了深层神经网络的梯度消失和梯度爆炸问题，使得网络可以堆叠更多层，显著提升模型的表达能力和分类效果。
【果实种子识别】Python+深度学习+人工智能+CNN卷积神经网络算法+TensorFlow+算法模型训练
最新发布
2301_78372746的博客
11-01 599
果实种子识别系统，使用Python语言进行开发，通过TensorFlow搭建卷积神经网络算法模型，对10种坚果果实（‘杏仁’, ‘巴西坚果’, ‘腰果’, ‘椰子’, ‘榛子’, ‘夏威夷果’, ‘山核桃’, ‘松子’, ‘开心果’, ‘核桃’）等图片数据集进行训练，得到一个识别精度较高的模型文件，让后使用Django搭建Web网页端界面操作平台，实现用户上传一张坚果图片 识别其名称。
【深度学习】DreamClear：提升图片分辨率的模型
q742971636的博客
11-01 123
DreamClear是由发布的一个开源项目，旨在通过高容量的模型和隐私安全的数据集构建方法，实现真实世界图像的高效修复。该项目在 NeurIPS 2024 上发表，论文题为《DreamClear: High-Capacity Real-World Image Restoration with Privacy-Safe Dataset Curation》。
《Keras3 深度学习初探：开启Keras3 深度学习之旅》
zheng_ruiguo的专栏
11-01 719
Keras3 以其易于使用、模块化和高度可扩展性等特点，为深度学习开发者提供了强大而灵活的工具。无论是新手还是经验丰富的专家，都能在 Keras3 中找到适合自己的开发方式，实现创新和突破。Keras3 作为一个强大的深度学习框架，具有巨大的发展潜力。在未来，它将继续为深度学习开发者提供强大的工具，推动深度学习技术的不断发展和应用。
【机器学习】19. CNN 卷积神经网络 Convolutional neural network
weixin_48846514的博客
11-01 883
CNN 卷积神经网络 Convolutional neural network
Nature文章《deep learning》文章翻译
vyvyvyvtfr的博客
10-30 885
这篇文章是对Nature上《deep learning》文章的翻译。原作者 Yann LeCun, Yoshua Bengio& Geoffrey Hinton。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值