Sora没体验资格？开源项目：Open-Sora，复现类Sora视频生成方案

最新推荐文章于 2024-09-12 19:15:58 发布
最新推荐文章于 2024-09-12 19:15:58 发布
阅读量1.3k 收藏 11
点赞数 16
分类专栏： AIGC 人工智能 大模型训练 文章标签： AIGC 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/specssss/article/details/136851365
版权
Open-Sora是一个采用开源原则的项目，旨在通过先进的视频生成技术和用户友好的界面简化视频制作。它提供模型权重、训练加速、数据修复工具等，支持多种规格的视频生成，并公布了从图像到视频扩散模型的训练过程。Open-Sora1.0版本降低了成本并支持视频构建和加速训练。
摘要由CSDN通过智能技术生成

3ffccaa52d7da97ee3bea1c58af6477c.jpeg项目简介

Open-Sora项目是一项高效制作高质量视频的工作，明确所有权使用其模型、工具和内容的计划。通过采用开源原则，Open-Sora 不仅实现了先进的视频生成技术的普及，还提供了一个专业且用户界面的方案，简化了视频制作的复杂性。通过 Open-Sora，我们希望更多的开发者一起探索内容创作领域的创新、创造和遏制。

项目展示

bec3e00f2055fe8a7521c8e2870a8112.jpeg04152ed78e74e851ba1ea88a66e86c30.jpeg75eff32807ce8c06b44779188183a479.jpeg

项目地址

https://github.com/hpcaitech/Open-Sora

新功能

  • Open-Sora-v1 已发布。这里提供了模型权重。只需400K视频片段和在单卡H800上训200天（类比稳定视频扩散的152M样本&#x
最低0.47元/天 解锁文章
AI 研习所
关注
专栏目录
[论文笔记] Open-Sora 1、sora复现方案概览 (旧repo)
心宝的博客
03-06 1247
在Sora的技术报告中，Sora使用了一个视频压缩网络将各种尺寸的视频压缩成一个隐空间(latent space)的时空块序列(a sequence of patial temporal patch)，然后使用了Diffusion Transformer进行去噪，最后进行解码生成视频。Open-Sora将Sora可能使用的训练pipeline归纳为下图。
torch、torchvision、torchaudio安装对应cuda版本（cuda 12.1情况下）
qq_61661957的博客
07-03 3348
如果安装cuda 11.8版本的，把最后的cu121改成cu118即可。目前支持最高cuda 12.2。因为网上 pip install torch 等全部默认安装cpu版本，推理速度慢。所有安装cuda版本的包会更快。
视频生成Sora的从零复现：从Latte、Open-Sora(含1.0及其升级版)到StreamingT2V
结构之法 算法之道
03-19 5242
目前比较接近sora的开源路线是：Stable Video Diffusion(关于SVD的介绍请看的第4部分]) + Stable Diffusion3的结构(SD3的详细介绍见的第4部分。
高效复现类 Sora 视频生成方案开源！Open-Sora 最佳实践教程来啦！
2301_78285120的博客
03-19 2573
近期，HPC-AI Tech团队在GitHub上正式公开了Open-Sora项目（https://github.com/hpcaitech/Open-Sora），该项目致力于复现OpenAI的Sora模型核心技术，并已取得实质性进展。作为开源社区内的开创性工作，Open-Sora 率先提供了全球首个类Sora视频生成方案。我们也迅速跟进并深入学习了这一研究成果，以期促进技术交流与应用落地。喜欢这一块的小伙伴可以加入我们社群讨论，
VGM之Sora：Open-Sora的简介、安装和使用方法、案例应用之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
03-20 2981
​ VGM之Sora：Open-Sora的简介、安装和使用方法、案例应用之详细攻略 目录 Open-Sora的简介 Open-Sora的安装和使用方法 Open-Sora的案例应用 Open-Sora的简介 2024年3月18日，Colossal-AI团队重磅发布Open-Sora项目是一项致力于高效制作高质量视频，并使所有人都能使用其模型、工具和内容的计划。 通过采用开源原则，Open-Sora 不仅实现了先进视频生成技术的低成本普及，还提供了一个精简且用户友好的方案，简
视频生成Sora的全面解析：从AI绘画、ViT到ViViT、TECO、DiT、VDT、NaViT等
热门推荐
结构之法 算法之道
02-18 4万+
真没想到，举例视频生成上一轮的集中爆发才过去三个月，没想OpenAI一出手，该领域又直接变天了自打2.16日OpenAI发布sora以来，不但把同时段Google发布的Gemmi Pro 1.5干没了声音，而且网上各个渠道，大量新闻媒体、自媒体(含公号、微博、博客、视频)做了大量的解读，也引发了圈内外的大量关注，很多人因此认为，视频生成领域自此进入了大规模应用前夕，好比NLP领域中GPT3的发布一开始，我还自以为视频生成这玩意对于有场景的人，是重大利好，比如在影视行业的；
Open-Sora：开源版的Sora
AI_SHELL的博客
04-24 876
本项目希望通过开源社区的力量复现Sora，由北大-兔展AIGC联合实验室共同发起，当前我们资源有限仅搭建了基础架构，无法进行完整训练，希望通过开源社区逐步增加模块并筹集资源进行训练，当前版本离目标差距巨大，仍需持续完善和快速迭代，欢迎Pull request！！！
Open-Sora Plan：开源视频生成技术的未来
gitblog_00329的博客
08-09 508
Open-Sora Plan：开源视频生成技术的未来 Open-Sora-Plan由北大-兔展AIGC联合实验室共同发起，希望通过开源社区的力量复现Sora项目地址:https://gitcode.com/gh_mirrors/op/Open-Sora-Plan 项目介绍 Open-Sora Plan 是由北大-兔展AIGC联合实验室发起的一个开源项目，旨在通过社区的力量复现Sora（即Open...
没等来OpenAI，等来了Open-Sora全面开源
2301_81940605的博客
03-21 798
不久前 OpenAI Sora 以其惊人的视频生成效果迅速走红，在一众文生视频模型中突出重围，成为全球瞩目的焦点
这个项目旨在重现Sora（Open AI T2V模型），但我们只有有限的资源 我们衷心希望所有开源社区都能为这个项目做出贡献
05-01
《开源社区的力量：重建Sora AI T2V模型的挑战与机遇》 Sora，一个由Open AI开发的先进T2V（Text-to-Video）模型，已经在业界引起了广泛的关注。这种模型能够将文本转化为逼真的视频，展示了人工智能在多媒体生成...
[论文笔记] Open-Sora 4、sora复现训练过程 (新repo)
心宝的博客
03-19 535
然而，它几乎没有透露任何有关其细节的信息。为了让AI更加“开放”，致力于打造Sora的开源版本。通过 VAE 下采样 4 倍和补丁大小下采样 2 倍，我们有 1440x1024≈1.5M 令牌。这与 Latte 论文中的变体 3 类似。然而，我们不控制这些变体的类似数量的参数。为了降低计算成本，我们希望利用现有的 VAE 模型。的 2x4x4 VAE 在我们的实验中质量较低。因此，出于效率考虑，我们选择STDiT（顺序）。的 4x4x4 VAE 不是开源的，而。没有开源的高质量时空VAE模型。
Open-Sora 升级技术报告解读
安静的软件工程师
04-27 1050
Open-Sora 升级技术报告解读
【AIGC半月报】AIGC大模型启元：2024.09（上）
LeeZhao的博客
09-06 1013
【AIGC半月报】AIGC大模型启元：2024.09（上）
【AIGC数字人】EchoMimic:基于可编辑关键点条件的类人音频驱动肖像动画
qq_44091004的博客
09-08 865
EchoMimic:基于可编辑地标条件的类人音频驱动肖像动画
【AIGC】InstructPixPix:基于文本引导的图像编辑技术
qq_44091004的博客
09-09 1136
InstructPixPix:基于文本引导的图像编辑技术
OPENAIGC开发者大赛企业组AI黑马奖 | AIGC数智传媒解决方案
最新发布
RPA中国
09-12 290
目前公司主要业务包括三大产品（BextAI平台，AI智能体，AI工作流）和解决方案 目前市面上通用大模式无法全面支撑垂直领域的应用和拓展，我们采用大模型+小模型的解决方案，有效为客户降本增效，使客户做到模型驱动，业务智能，决策智能。希望通过这个解决方案，能够让AI技术更加深入地应用到企业化办公环境之中，对企业的信息处理、分析及优化、宣传方案等方面提供强大的技术保障，进一步提升办公效率并且赋能企业的业务延伸和拓展。针对文化交流与教育市场，提供智能生成和推荐系统，解决了多语言支持和内容生成效率低的问题。
AIGC在商业银行中的应用现状及债券业务落地领域分析
银行信息系统应用架构导论
09-10 270
此外，自研大模型所需的技术能力、试错成本及由此带来的时间成本也非常高，因此多数商业银行选择与外部厂商合作，借助第三方厂商的技术与大模型在预训练阶段的成果，利用商业银行金融数据进行精调，以实现AIGC的应用。从对AIGC的应用场景来看，几乎所有商业银行在布局或应用AIGC时均将其对话能力作为重点方向，智能客服是最主要的应用场景。因此，在业务经营管理数字化过程中，应注意传统AI与AIGC的配合使用，可以将智能客服等比较成熟的应用场景先试水，在部分场景实验结果的基础上尽快落地其他场景，以节约人力，降低人工成本。
AIGC浅记，什么是GAN模型,它有什么优点和缺点,以及在人脸生成领域有哪些应用
风信子的博客
09-09 1162
GAN模型，即生成对抗网络（Generative Adversarial Networks），是一种深度学习模型，通过生成器和判别器之间的对抗训练来学习生成数据的分布。GAN模型在图像生成、风格迁移、超分辨率等领域展现出强大的能力，并逐渐被应用于其他数据类型如音频和文本的生成。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值