[论文笔记] Open-Sora 1、sora复现方案概览 (旧repo)

已于 2024-03-18 20:47:25 修改
阅读量1.2k 收藏
点赞数 32
分类专栏： 论文笔记 文章标签： 论文阅读
于 2024-03-06 16:56:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Trance95/article/details/136460257
版权
本文档介绍了Open-Sora项目，这是一个针对OpenAI Sora的开源复现，旨在提供Sora算法的完整复现流程，包括数据处理、性能优化和训练推理。项目特点包括动态分辨率支持、多模型结构和多种视频压缩方法。在数据准备部分，详细说明了使用MSR-VTT数据集和其他自定义数据集的方法。此外，文中还分享了训练过程中的经验与解决方案。
摘要由CSDN通过智能技术生成

https://github.com/PKU-YuanGroup/Open-Sora-Plan/blob/main/docs/Data.md

GitHub - hpcaitech/Open-Sora: Unofficial implementation of OpenAI's Sora

        目前两个开源的复现sora的git，其中colossal用的是STDiT架构，北大用的是VideoGPT(vqvae+gpt)。

Open-Sora已涵盖：

  • 提供完整的Sora复现架构方案，包含从数据处理到训练推理全流程。

  • 支持动态分辨率，训练时可直接训练任意分辨率的视频，无需进行缩放。

  • 支持多种模型结构

了解本专栏 订阅专栏 解锁全文 超级会员免费看
心心喵
关注
专栏目录
订阅专栏
[论文笔记] Open-Sora 4、sora复现训练过程 (新repo)
心宝的博客
03-19 540
然而，它几乎没有透露任何有关其细节的信息。为了让AI更加“开放”，致力于打造Sora的开源版本。通过 VAE 下采样 4 倍和补丁大小下采样 2 倍，我们有 1440x1024≈1.5M 令牌。这与 Latte 论文中的变体 3 类似。然而，我们不控制这些变体的类似数量的参数。为了降低计算成本，我们希望利用现有的 VAE 模型。的 2x4x4 VAE 在我们的实验中质量较低。因此，出于效率考虑，我们选择STDiT（顺序）。的 4x4x4 VAE 不是开源的，而。没有开源的高质量时空VAE模型。
高效复现类 Sora 视频生成方案开源！Open-Sora 最佳实践教程来啦！
2301_78285120的博客
03-19 2585
近期，HPC-AI Tech团队在GitHub上正式公开了Open-Sora项目（https://github.com/hpcaitech/Open-Sora），该项目致力于复现OpenAI的Sora模型核心技术，并已取得实质性进展。作为开源社区内的开创性工作，Open-Sora 率先提供了全球首个类Sora视频生成方案。我们也迅速跟进并深入学习了这一研究成果，以期促进技术交流与应用落地。喜欢这一块的小伙伴可以加入我们社群讨论，
VALSE 2024 Workshop报告分享┆Open-Sora Plan视频生成开源计划——进展与不足
audyxiao001的博客
05-07 753
本文总结了VALSE 2024的Workshop报告《Open-Sora Plan视频生成开源计划——进展与不足》的精彩内容，方便读者学习。
Open Sora 1.1 升级版本发布！
weixin_50377901的博客
04-26 940
AI 视频生成开源项目 Open Sora 发布 1.1 版本！
Open-Sora1.0环境搭建&推理测试
zzq1989_的专栏
04-03 1132
Sora最主要有三个优点：第一，“60s超长视频”，之前文本生成视频大模型一直无法真正突破AI视频的4秒连贯性瓶颈，而Sora直接做到了60秒连贯视频。第二，单视频既能有多角度镜头也能一镜到底，可以很好地展现场景中的光影关系、各个物体间的物理遮挡、碰撞关系，并且镜头丝滑可变。说明OpenAI也亲自下场来卷文生图的这个领域了，当然我们现在没办法直接试用Sora看效果，那么今天的主角出场，Open-Sora，北京大学与兔展智能联合发起的Sora复现计划，旨在联合开源社区力量完成对Sora的复现。
open-sora 镜像Open-Sora-main.zip
03-27
这个镜像文件 "Open-Sora-main.zip" 包含了Open-Sora的核心代码库和其他必要的资源，方便用户进行开发和实验。下面我们将深入探讨Open-Sora的相关知识点。 1. **软件无线电（Software Defined Radio, SDR）**： ...
Open-Sora代码详细解读(1)：解读DiT结构
沉迷单车的追风少年
09-07 721
目前开源的DiT视频生成模型不是很多，Open-Sora是开发者生态最好的一个，涵盖了DiT、时空DiT、3D VAE、Rectified Flow、因果卷积等Diffusion视频生成的经典知识点。本篇博客从Open-Sora的代码出发，深入解读背后的原理。
视频生成Sora的从零复现：从Latte、Open-Sora(含1.0及其升级版)到StreamingT2V
结构之法 算法之道
03-19 5284
目前比较接近sora的开源路线是：Stable Video Diffusion(关于SVD的介绍请看的第4部分]) + Stable Diffusion3的结构(SD3的详细介绍见的第4部分。
终于等到open Sora开源，解读open- Sora1.0文生视频模型
zengzizi的博客
03-18 734
Colossal-AI团队全面开源了名为「Open-Sora 1.0」的视频生成模型，该模型采用类Sora架构，基于Diffusion Transformer (DiT) 架构设计，并扩展到视频数据领域。同时，他们在训练效率上也取得了显著成果，借助Colossal-AI加速系统，不仅降低了训练成本，还在视频训练过程中实现了高效的加速效果。3. 高质量视频数据微调：针对高分辨率、高质量和更长时长的视频数据进行微调，显著提升了视频生成的质量，实现了从低分辨率向高分辨率、短时长向长时长的高效过渡。
[论文笔记] Open-sora 2、视频数据集介绍 MSR-VTT
心宝的博客
03-06 578
用于视频理解的大规模视频基准，特别是将视频翻译为文本的新兴任务。这是通过从商业视频搜索引擎收集 257 个热门查询（每个查询对应 118 个视频）来实现的。每个片段都由 1,327 名 AMT 工作人员注释了约 20 个自然句子。，涵盖了最全面的类别和最丰富的视觉内容，代表了最大的句子和词汇数据集。目前版本，MSR-VTT提供了。每个视频由4帧图片表示，并有5个文本描述。
【论文阅读】PERCEIVER-ACTOR: A Multi-Task Transformer for Robotic Manipulation
qq_33673253的博客
09-16 986
transformers凭借其对大型数据集的扩展能力，彻底改变了视觉和自然语言处理。但在机器人操作中，数据既有限又昂贵。通过正确的问题表述，操纵仍然可以从变形金刚中受益吗？我们使用peract来研究这个问题，peract是一种用于的。peract使用感知器transformer[1]对语言目标和rgb-d体素观测值进行编码，并通过“。与在2d图像上操作的框架不同，体素化的3d观察和动作空间为有效学习6-dof动作。
Weakly-Supervised Video Moment Retrieval via Semantic Completion Network 论文阅读
weixin_44609958的博客
09-11 1402
视频片段检索旨在根据给定的自然语言查询搜索与之最相关的片段。现有方法大多在全监督设置下进行训练，这需要为每个查询手动标注其对应的时间边界。然而，手动标注这些时间边界实际上既费时又昂贵。在本文中，我们提出了一种新颖的弱监督片段检索框架，仅需要粗略的、视频级别的标注用于训练。具体而言，我们设计了一个提案生成模块，该模块聚合上下文信息，一次性生成并评分所有候选提案。然后，我们设计了一种结合利用与探索的算法，选择前K个提案。
【论文阅读】Act3D: 3D Feature Field Transformers for Multi-Task Robotic Manipulation
qq_33673253的博客
09-17 918
3d感知表示非常适合机器人操作，因为它们。许多操作任务在末端执行器姿态预测中，这对于处理来说计算成本很高。因此，大多数操作policies直接在2d中运行，上述3d归纳偏差。在本文中，我们介绍了act3d，一种操作policy transformer，它使用自适应分辨率的3d特征场来表示机器人的工作空间，该场依赖于手头的任务。该模型利用感知深度将 2d 预训练特征提升到 3d，并关注它们来计算采样 3d 点的特征。
论文笔记：基于LLM和多轮学习的漫画零样本角色识别与说话人预测
zly_Always_be的博客
09-12 1323
论文笔记：基于LLM和多轮学习的漫画零样本角色识别与说话人预测
论文笔记：交替单模态适应的多模态表征学习
zly_Always_be的博客
09-17 562
整理了CVPR2024 Multimodal Representation Learning by Alternating Unimodal Adaptatio的阅读笔记
论文阅读： SigLit | SigLip |Sigmoid Loss for Language Image Pre-Training
最新发布
a486259的博客
09-17 600
论文地址：https://arxiv.org/pdf/2303.15343项目地址：https://github.com/google-research/big_vision发表时间：2023年3月27日我们提出了一种用于语言图像预训练（SigLIP）的简单成对 Sigmoid 损失。与使用 softmax 归一化的标准对比学习不同，sigmoid 损失仅对图像-文本对进行操作，并且不需要对归一化的成对相似性进行全局视图。
[论文笔记]ChatQA: Surpassing GPT-4 on Conversational QA and RAG
日积月累，天道酬勤
09-11 1737
⭐ 作者介绍了 ChatQA，一种两阶段指令微调方法，提高了 RAG 的表现。还引入了一种针对多轮对话 QA 优化的密集检索器。
论文阅读笔记 --- 图模互补：知识图谱与大模型融合综述 --- 按参考文献整理
shizidushu的博客
09-13 710
# 论文阅读笔记 --- 图模互补：知识图谱与大模型融合综述 --- 按参考文献整理 # 关于 - 首次发表日期：2024-09-13 - 论文原文链接：http://xblx.whu.edu.cn/zh/article/doi/10.14188/j.1671-8836.2024.0040/ - 将文章中的参考文献整理一下，基本保持原文的目录结构
OpenAI Sora模型发布：视频生成技术重大突破
"OpenAI发布了Sora AI视频生成模型，标志着视频生成技术的突破性升级。该模型能够根据用户文本描述生成长达60秒、1080P高清视频，包括复杂的场景、角色表情和镜头运动。Sora的特点包括更长的视频生成时间、单视频内...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

心心喵

喵喵(*^▽^*）

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值