智谱清影开源！

最新推荐文章于 2024-08-31 14:25:14 发布

AI生成曾小健

最新推荐文章于 2024-08-31 14:25:14 发布

阅读量1k

点赞数 24

文章标签：人工智能

本文链接：https://blog.csdn.net/sinat_37574187/article/details/140951231

版权

6小时前，智谱清影开源！

原创陆再谋 AI电影共创社 2024年08月06日 09:07

引言

2024年8月6日，智谱清影（THUDM）团队宣布开源其创新的视频生成模型CogVideoX系列，这标志着视频内容创作的一个新里程碑。开源不仅促进了技术的共享和进步，也为广大开发者和研究者提供了探索和创新的平台。

CogVideoX系列模型介绍

CogVideoX是智谱清影团队开发的一系列视频生成模型，它们能够根据文本提示生成视频内容。最新开源的CogVideoX-2B模型以其强大的生成能力和较低的资源需求，为视频生成领域带来了新的活力。

开源下载链接

网址：https://github.com/THUDM/CogVideo

主要特性

Prompt Language: 英语
GPU Memory Required for Inference: 使用SAT技术时需18GB，使用diffusers时需36GB（即将优化）
GPU Memory Required for Fine-tuning: 40GB
Prompt Max Length: 226 Tokens
Video Length: 6秒
Frames Per Second: 8帧
Resolution: 720 * 480
Quantized Inference: 不支持
Multi-card Inference: 不支持

历史意义

技术创新：CogVideoX-2B的开源，代表了视频生成技术的一大步，使得生成高质量视频内容变得更加容易和高效。
资源共享：开源促进了全球开发者和研究者之间的知识共享，加速了视频生成技术的发展和应用。
社区建设：智谱清影通过开源，建立了一个活跃的开发者社区，为模型的进一步优化和创新提供了土壤。

项目结构与使用

智谱清影团队提供了详细的项目结构和使用指南，包括：

Inference: 命令行界面和Web演示，展示如何使用CogVideoX-2B生成视频。
sat: 包含SAT权重的推理和微调代码，推荐基于CogVideoX模型结构进行改进。
Tools: 包含模型转换和字幕生成等工具。

开源计划

智谱清影团队的开源计划包括：

CogVideoX模型的开源。
3D Causal VAE的开源，该技术在CogVideoX中使用。
CogVideoX模型的推理示例（CLI/Web Demo）。
CogVideoX在线体验演示（Huggingface Space）。
CogVideoX开源模型API接口示例（Huggingface）。
CogVideoX模型的微调示例（SAT/Huggingface）。
CogVideoX-Pro的开源，专为CogVideoX-2B套件设计。
发布CogVideoX技术报告。

贡献与社区

智谱清影团队欢迎社区的贡献，并提供了详细的贡献指南。社区成员可以通过贡献代码、文档、示例或反馈来参与项目的发展。

AI电影共创社清影交流社区：

https://aimoviecs.feishu.cn/wiki/VlrVwnyTJiPNs1k24ZqcqlxXnkc

结语

智谱清影的开源行动不仅为视频生成领域带来了新的技术突破，也为全球的技术社区提供了宝贵的资源和学习机会。视频生成将迎来群雄争霸的“乱纪元”，无法预估的黑天鹅事件正不断上演，生态将更加繁荣、发展更加迅猛。智谱也将成为视频生成的引领者，随着更强大的模型和工具的不断推出，我们有理由相信，视频内容创作将迎来一个全新的时代。

编辑排版AI软件：智辑AI（aizhiji.com）