智谱AI视频生成模型CogVideoX v1.5开源 支持5/10秒视频生成

原创 已于 2024-11-08 17:06:08 修改 · 1.6k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#音视频 #人工智能 #AIGC

于 2024-11-08 17:01:45 首次发布

今日，智谱技术团队发布了其最新的视频生成模型 CogVideoX v1.5，并将其开源。这一版本是自8月以来，智谱技术团队推出的 CogVideoX 系列中的又一重要进展。

image.png

据了解，此次更新大幅提升了视频生成能力，包括支持5秒和10秒的视频长度、768P 的分辨率以及16帧的生成能力。同时，I2V（图像到视频）模型也支持任意尺寸比例，进一步增强了复杂语义的理解能力。

CogVideoX v1.5包含两个主要模型:CogVideoX v1.5-5B 和 CogVideoX v1.5-5B-I2V，旨在为开发者提供更强大的视频生成工具。

更值得关注的是，CogVideoX v1.5将同步上线至清影平台，并与新推出的 CogSound 音效模型结合，成为 “新清影”。新清影将提供多项特色服务，包括视频质量的显著提升、美学表现和运动合理性，支持生成10秒、4K、60帧的超高清视频。

image.png

官方介绍如下:

质量提升:在图生视频的质量、美学表现、运动合理性以及复杂提示词语义理解方面能力显著增强。

超高清分辨率:支持生成10s、4K、60帧超高清视频。

可变比例:支持任意比例，从而适应不同的播放场景。

多通道输出:同一指令/图片可以一次性生成4个视频。

带声效的 AI 视频:新清影可以生成与画面匹配的音效。

在数据处理方面，CogVideoX 团队专注于提升数据质量，开发了自动化筛选框架以过滤不良视频数据，并推出了端到端的视频理解模型 CogVLM2-caption，以生成精准的内容描述。这一模型能够有效处理复杂的指令，确保生成的视频与用户需求相符。

为了提升内容连贯性，CogVideoX

最低0.47元/天 解锁文章
CogVideoX: Text-to-Video Diffusion Models with An Expert Transformer
东风的博客
08-15 1267
清华 智普最新T2V模型,CogVideoX,能生成480x720的6s fps=8视频,经过测试位于第二梯队,弱于快手可灵,Luma等模型
【论文阅读】CogVideoX: Text-to-Video Diffusion Models with An Expert Transformer
weixin_57974242的博客
07-08 1383
CogVideoX是一种基于DiffusionTransformer的新型文生视频系统，通过3DVAE编码器、专家Transformer和渐进式训练等创新技术，实现了高质量的长视频生成（10秒/16fps/768×1360分辨率）。该系统解决了现有模型在运动连贯性、持续时间和叙事能力方面的不足，采用3D全注意力机制增强时空一致性，并通过自动视频字幕生成提升文本对齐效果。实验表明，50亿参数的CogVideoX-5B在各项指标上超越现有公开模型，20亿参数的CogVideoX-2B也表现出色。该系统还引入多分
CogVideoX高级应用：图像到视频生成
最新发布
gitblog_00411的博客
08-25 1189
CogVideoX的图像到视频（I2V）生成模型采用了先进的扩散模型架构，结合了3D卷积、时空注意力机制和条件编码技术，能够将静态图像转换为高质量的视频序列。该模型基于DiT（Diffusion Transformer）架构，包含图像编码器、文本提示词编码器、条件融合模块、3D扩散UNet和视频解码器等关键组件，通过条件扩散过程在保持输入图像内容一致性的同时生成时间维度上的动态变化。 ## I...
CogVideoX v1.5：智谱最新开源的 AI 视频生成模型，支持任意尺寸比例的图像到视频的转换
士多啤梨先生の博客
11-08 1684
CogVideoX 是智谱研发的开源 AI 视频生成模型，最新版本为 CogVideoX v1.5，支持生成 5 至 10 秒、768P 分辨率、16 帧的视频，以及任意尺寸比例的图像到视频的转换。模型在图生视频质量、美学表现、运动合理性及复杂语义理解方面有显著提升。
王炸！AI视频天花板CogVideoX1.5：重大升级，可商用开源模型！10秒&增强质量&任意分辨率，ComfyUI无缝体验
2401_85725028的博客
11-22 1426
模型为50亿参数的视频模型，能够生成10秒、768P、每秒16帧的视频，具有改善的质量、复杂的语义理解能力以及添加音效的能力。基于CogVideoX v1.5架构构建的全新商业化产品：清影AI视频生成工具，支持10秒、4K、每秒60帧的超高清晰度视频、任意长宽比和多通道输出。CogVideoX和Mochi两大主流，相信在社区的努力下，很快就会出现接近可商用的AI视频生成模型。AI视频生成将逐步的更加普及，另外这也要伴随着消费级显卡可运行的量化等模型性能优化。
CogVideoX：Text-to-Video Diffusion Models with An Expert Transformer
读书郎
10-14 2122
我们介绍了CogVideoX，这是一种大规模的扩散变压器模型，旨在基于文本提示生成视频。为了高效地建模视频数据，我们提出利用三维变分自编码器（VAE）来压缩视频的空间和时间维度。为了提高文本与视频的对齐性，我们提出了一个专家变压器和专家自适应层归一化，以促进两种模态之间的深度融合。通过采用渐进式训练技术，CogVideoX能够生成具有显著运动的连贯、长时间的视频。此外，我们还开发了一个有效的文本-视频数据处理流程，包括各种数据预处理策略和视频字幕生成方法。
智谱 AI 开源视频生成模型CogVideoX：单张 4090 显卡即可推理
specssss的博客
08-06 1798
随着大型模型技术的持续发展，视频生成技术正逐步走向成熟。以Sora、Gen-3等闭源视频生成模型为代表的技术，正在重新定义行业的未来格局。而近几个月，国产的AI视频生成模型也是层出不穷,像是快手可灵、字节即梦、智谱清影、Vidu、PixVerse V2 等。就在近日，智谱AI秉承“以先进技术，服务全球开发者”的理念，宣布将与“清影”同源的视频生成模型——CogVideoX开源，以期让每一位开发者、每一家企业都能自由地开发属于自己的视频生成模型，从而推动整个行业的快速迭代与创新发展。
丹摩｜智谱AI开源CogVideoX：革新视频生成，低资源环境下的6秒高质量创作
2302_80295181的博客
11-13 1093
在2024年8月6日，智谱AI宣布了一项重大的开源举措：他们将旗下的视频生成模型CogVideoX对公众开放。
有哪些开源的视频生成模型
kcarly的专栏
03-31 1797
这些模型的开源降低了AI视频生成门槛，推动了多领域创新，未来将进一步缩小与闭源模型的差距。
CogVideoX: Text-to-Video Diffusion Models with An Expert Transformer 论文解读
NPU 研0
12-22 2599
该论文提出了一个基于Diffusion Transformer的大规模文本到视频模型CogVideoX，可以实现生成与文本对齐的10s连续视频，分辨率为768*1360 pixels。为了解决现有视频模型存在移动空间有限，持续时间短，难以生成基于文本的连续视频问题，该论文提出了几种方法。
这一新的开源人工智能 CogVideoX 将永远改变我们制作视频的方式
weixin_41446370的博客
08-28 1442
CogVideoX 是源于清影的视频生成模型的开源版本。下表列出了我们目前提供的视频生成模型及其基础信息。模型名称模型描述推理精度单 GPU VRAM 消耗SATSAT多GPU推理 VRAM 消耗推理速度微调精度FP16BF16微调 VRAM 消耗 (per GPU)English*226 Tokens视频长度6秒帧率每秒8帧视频分辨率。
从文字到视频的魔法：CogVideoX让你的创意瞬间成真
holdcloud的博客
08-06 712
如果有一个工具能够让你轻松跨越这些障碍，瞬间成为短视频高手，你会心动吗？今天，这个梦想终于成为现实。智谱AI最新推出的CogVideoX，正是为你量身打造的AI视频创作神器！
CogVideoX - Fun：以 CogVideoX 框架为基，开启无限长 AI 视频生成新时代
寻道AI，探索AI无限可能！
10-18 8344
CogVideoX - Fun 是一款基于 CogVideoX 框架开发的 AI 视频生成工具，它是通过对 EasyAnimate 进行整合修改而得来的。CogVideoX - Fun 具备强大的多模态内容生成能力，支持从文字、图片到视频的内容创作。用户可以利用该工具生成不同分辨率的视频，其分辨率范围涵盖从 256×256 到 1024×1024，这一特性使得它能够很好地满足用户多样化的视频创作需求。
CogVideoX 初探与部署实践：从基础操作到视频生成
menetholl的博客
09-23 1802
在当今人工智能的发展浪潮中，生成式模型不断推陈出新，尤其是视频生成领域取得了突破性的进展。2023年8月6日，智谱AI发布了一款开源视频生成模型——CogVideoX，该模型具备强大的视频生成能力，为视频创作和自动生成领域提供了全新的思路。本篇博客将带领大家从创建实例、配置环境到生成视频，全方位了解如何在丹摩服务器上部署并使用CogVideoX模型。CogVideoX 是一款基于3D变分自编码器的视频生成模型。
[ComfyUI]CogVideoX：仅有的5B参数开源视频大模型，2B模型可商用，显著质量提升
2401_85725028的博客
08-31 1551
已经介绍过由智谱清言开源的与清影AICogVideoX。开源了。同时之前版本的模型开源协议已经修改为Apache 2.0 协议，意味着可以商用许可。开源 CogVideoX 系列更大的模型。大幅度优化了模型的推理性能，推理门槛大幅降低，可以在 GTX 1080TI 等早期显卡运行 CogVideoX-2B，在 RTX 3060 等桌面端显卡运行 CogVideoX-5B 模型。本次发布 CogVideoX模型 生成的视频进行增强，实现更高分辨率，更高质量的视频渲染。
又一个视频创作黑科技！“CogVideoX”秒生成优质艺术视频
jingtian2024的博客
10-28 1531
借助CogVideoX，你将成为下一个视频创作大师！无论是制作引人注目的广告、剪辑令人震撼的电影片段，还是打造热门短视频，这款工具都能轻松助你一臂之力。快来体验这位神奇的视频魔法师，让你的创意如同插上翅膀，自由飞翔吧！
探索智谱AI的视频生成神器：CogVideoX完全指南
不想宅的冷同学
08-06 4947
CogVideoX是智谱AI开发的视频生成大模型，通过深度学习和计算机视觉技术，能够将简短的文本描述或静态图片转化为高质量、具有视觉吸引力的动态视频。用户只需输入描述或图片，即可快速生成符合预期的视频内容，无需复杂的视频制作技能和工具。通过以上操作步骤和技术细节，您可以轻松使用CogVideoX创建符合预期的文生视频。无论是营销推广、教育培训还是娱乐创作，CogVideoX都为您提供了一个强大的工具，帮助实现创意的视觉表达和内容生产。
【CogVideoX：新一代视频生成模型体验分享】
2401_87642884的博客
09-25 1315
CogVideoX不仅是一款强大的视频生成工具，还通过开源和技术创新为开发者提供了巨大的创作空间。随着它不断迭代优化，我相信这款工具将为视频创作带来更多惊喜。对于寻求新技术突破的开发者来说，CogVideoX绝对值得一试。
CogVideoX 部署实践—DAMODEL平台
天黑请闭眼~缓解下眼睛疲劳
09-13 1864
CogVideoX 部署实践
cogvideoX-5b-1.5-T2V 下载地址
07-12
根据已知信息，CogVideoX-5b-1.5-T2V是一个文本到视频生成模型，由清华大学和智谱AI等机构开发。它是CogVideo模型的升级版本，具有50亿参数，支持从文本生成视频。 然而，由于模型规模较大（约20GB），并且可能...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值