[论文笔记] Open-Sora 4、sora复现训练过程 (新repo)

已于 2024-03-24 00:39:44 修改
阅读量550 收藏 1
点赞数
分类专栏： 论文笔记 文章标签： 论文阅读
于 2024-03-19 12:22:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Trance95/article/details/136808872
版权
本文记录了Open-Sora项目中复现Sora视频生成模型的训练过程，包括选择架构的效率考量，环境安装，数据下载（如HD-VG-130M和Inter4k）及处理，模型训练的挑战，以及遇到的Transformer Engine Extensions错误的解决方法。
摘要由CSDN通过智能技术生成 
sudo -H pip install --upgrade youtube-dl -i https://pypi.doubanio.com/simple/

一、概况

        OpenAI 的 Sora 在生成一分钟高质量视频方面非常出色。然而，它几乎没有透露任何有关其细节的信息。为了让AI更加“开放”，致力于打造Sora的开源版本。本报告描述了colossal-ai首次尝试训练基于 Transformer 的视频扩散模型。

选择架构的效率

        为了降低计算成本，我们希望利用现有的 VAE 模型。Sora 使用时空 VAE 来减少时间维度。然而我们发现目前还没有开源的高质量时

了解本专栏 订阅专栏 解锁全文 超级会员免费看
心心喵
关注
专栏目录
订阅专栏
[论文笔记] Open-Sora 1、sora复现方案概览 (旧repo)
心宝的博客
03-06 1253
在Sora的技术报告中，Sora使用了一个视频压缩网络将各种尺寸的视频压缩成一个隐空间(latent space)的时空块序列(a sequence of patial temporal patch)，然后使用了Diffusion Transformer进行去噪，最后进行解码生成视频。Open-Sora将Sora可能使用的训练pipeline归纳为下图。
[论文笔记] Open-sora 2、视频数据集介绍 MSR-VTT
心宝的博客
03-06 583
用于视频理解的大规模视频基准，特别是将视频翻译为文本的新兴任务。这是通过从商业视频搜索引擎收集 257 个热门查询（每个查询对应 118 个视频）来实现的。每个片段都由 1,327 名 AMT 工作人员注释了约 20 个自然句子。，涵盖了最全面的类别和最丰富的视觉内容，代表了最大的句子和词汇数据集。目前版本，MSR-VTT提供了。每个视频由4帧图片表示，并有5个文本描述。
Open-Sora
AI + 工程
07-20 748
一、关于 Open-Sora 📰 资讯 最新的 Demo 🎥 二、安装 1、从源头安装 2、使用Docker 三、模型权重 Open-Sora 1.2 模型权重 四、Gradio演示 1、本地部署 2、入门 五、推理 1、Open-Sora 1.2 命令行推理 2、序列并行推理 3、GPT-4o 快速细化 六、数据处理 七、训练 Open-Sora 1.2 训练 八、评估 九、VAE 训练与评估
Open-Sora 开源项目教程
gitblog_01079的博客
08-08 875
Open-Sora 开源项目教程 Open-SoraOpen-Sora：为所有人实现高效视频制作项目地址:https://gitcode.com/gh_mirrors/op/Open-Sora 1. 项目目录结构及介绍 Open-Sora 的目录结构设计简洁明了，便于理解和操作。以下是对主要目录和文件的简介： docs: 包含项目相关的文档和说明。 examples: 提供示例数据和脚本，用于...
OpenAI Sora的详细教程与使用指南
qq_52030698的博客
02-19 1169
OpenAI Sora是一种新的AI大模型，可以根据简单的文本提示生成逼真和富有想象力的60秒视频。用户可以通过以下步骤启用OpenAI Sora：
多模态教案：Open-Sora 1.2 报告
weixin_40941102的博客
06-18 898
Open-Sora 1.2 引入了一系列新的功能和改进，主要包括视频压缩网络、改进的模型训练流程、多阶段训练和评估方法等。通过结合文本和视觉内容，本教案旨在帮助学生深入理解这些技术，并通过实际操作来强化知识。
视频生成Sora的从零复现：从Latte、Open-Sora(含1.0及其升级版)到StreamingT2V
结构之法 算法之道
03-19 5329
目前比较接近sora的开源路线是：Stable Video Diffusion(关于SVD的介绍请看的第4部分]) + Stable Diffusion3的结构(SD3的详细介绍见的第4部分。
open-sora 镜像Open-Sora-main.zip
03-27
这个镜像文件 "Open-Sora-main.zip" 包含了Open-Sora的核心代码库和其他必要的资源，方便用户进行开发和实验。下面我们将深入探讨Open-Sora的相关知识点。 1. **软件无线电（Software Defined Radio, SDR）**： ...
Open-Sora代码详细解读(1)：解读DiT结构
沉迷单车的追风少年
09-07 734
目前开源的DiT视频生成模型不是很多，Open-Sora是开发者生态最好的一个，涵盖了DiT、时空DiT、3D VAE、Rectified Flow、因果卷积等Diffusion视频生成的经典知识点。本篇博客从Open-Sora的代码出发，深入解读背后的原理。
【论文阅读】BGE M3-Embedding：通过自知识蒸馏实现多语言、多功能、多粒度的文本嵌入
AI小白的学习记录，欢迎交流~
09-19 666
在本文中，作者介绍了一种称为 M3-Embedding 的新嵌入模型，该模型因其在多语言、多功能 和 多粒度上的通用性而与众不同。它为 100 多种工作语言的语义检索提供统一支持。它可以同时完成三种常见的检索功能：密集检索、多向量检索和稀疏检索。此外，它还能够处理不同粒度的输入，从短句子到最多 8192 个token的长文档。 M3-Embedding 的有效训练呈现出一系列技术贡献。尤其，作者提出了一种新的自知识蒸馏方法，其中来自不同检索功能的相关性分数可以整合为teacher信号，以提升训练质量。作者还
ChartLlama: A Multimodal LLM for Chart Understanding and Generation论文阅读
moment8aVry的博客
09-18 870
多模态大型语言模型在大多数视觉语言任务中表现出令人印象深刻的表现。但是，该模型通常缺乏对特定域数据的理解能力，尤其是在解释图表图片时。这主要是由于缺乏相关的多模态指令微调数据集。在本文中，我们利用 GPT-4 创建了一个高质量的指令微调数据集。我们开发了一个多步骤的数据生成流程，包括生成表格数据，创建图表图形，并分别设计指微调数据。我们方法能够高效地生成多样化、高质量的指令调整数据，同时保持较低的资源支出，此外，它还允许我们整合现有数据集中尚未包含的更广泛的图表和任务类型。接下来，我们介绍。
【论文阅读】Slim Fly: A Cost Effective Low-Diameter Network Topology 一种经济高效的小直径网络拓扑
最新发布
Messiah___的博客
09-19 1005
Slim Fly 一种高性能、经济高效的网络拓扑，它接近理论上的最佳网络直径。Slim Fly网络拓扑是基于一种图论方法，这种方法试图近似解决度-直径问题（degree-diameter problem）。度-直径问题是图论中的一个经典问题，指的是在给定图的度数（每个节点连接的边的数量）和直径（两个节点之间的最大最短路径长度）约束下，寻找具有最大节点数的图。换句话说，就是在限制网络中每个节点连接的数量（度）和网络的最大通信距离（直径）的条件下，设计一个尽可能大的网络。
llama3论文阅读
bliblisukabulie的博客
09-12 678
稠密Transformer（Dense Transformer）是指传统的Transformer模型，其中所有的注意力头和前馈网络层都是稠密的，即每个输入位置都会参与到每个输出位置的计算中。MOE架构的一个著名变体是稀疏门控MOE（Sparse Gated Mixture of Experts），它在Google的Switch Transformer模型中得到了应用，该模型通过使用稀疏门控机制来减少计算资源的消耗，同时保持模型的性能。小小模型的验证误差预测大模型的验证误差，但并不代表大模型的能力。
论文阅读笔记 --- 图模互补：知识图谱与大模型融合综述 --- 按参考文献整理
shizidushu的博客
09-13 835
# 论文阅读笔记 --- 图模互补：知识图谱与大模型融合综述 --- 按参考文献整理 # 关于 - 首次发表日期：2024-09-13 - 论文原文链接：http://xblx.whu.edu.cn/zh/article/doi/10.14188/j.1671-8836.2024.0040/ - 将文章中的参考文献整理一下，基本保持原文的目录结构
论文阅读-Demystifying Misconceptions in Social Bots Research
qq_40671063的博客
09-16 1027
对社交机器人的研究旨在增进知识，并为最受争议的网络操纵形式之一提供解决方案.然而，社会机器人的研究却受到普遍偏见、夸大结果(hyped results)和误解的困扰（plague），这些都为模棱两可、不切实际(unrealistic)的期望和看似不可调和的结果埋下了伏笔。克服这些问题有助于(instrumental)确保可靠的解决方案并重申科学方法的有效性.在这篇文章中，我们回顾了社交机器人研究的一些最新成果，强调并修正了事实错误以及方法和概念偏差。
DEPLOT: One-shot visual language reasoning by plot-to-table translation论文阅读
moment8aVry的博客
09-19 726
理解图表需要很强的推理能力，之前的最先进 （SOTA） 模型至少需要数以万计的训练示例，然而推理能力仍然非常有限，尤其是在复杂的人工编写的查询中。这篇论文提出了第一个用于视觉语言推理的少样本（few-shot）解决方案，我们将视觉语言推理的挑战分解为两个步骤：（1）图表到文本的翻译，（2）对翻译后的文本进行推理。该方法的关键在于一个模态转换模块，称为DEPLOT，它将图表的图像转换为线性化的表格。DEPLOT的输出可以直接用于提示预训练的大型语言模型（LLM），利用LLM的少样本推理能力。
[论文笔记]MRRNET
cheng_xuzhu的博客
09-18 1154
摘要：随着物联网（IoT）的大规模部署，道路场景中实时感知和环境理解的需求变得越来越迫切。同时，语义分割作为像素级场景解析得到了广泛的研究。然而，资源有限的物联网设备在语义分割时应考虑实时性和准确性性能。在本文中，我们介绍了一种快速高效的语义分割网络，用于交通场景中的道路感知，部署在云服务器上。为此，我们提出了一种有效且高效的语义分割网络，称为多分辨率细化网络（MRRNet）。它采用编码器-解码器架构，可以有效地通信分支特征。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

心心喵

喵喵(*^▽^*）

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值