添加图片注释,不超过 140 字(可选)
更多AI前沿科技资讯,请关注我们:
closerAI-一个深入探索前沿人工智能与AIGC领域的资讯平台
【closerAI ComfyUI】彻底疯狂!6G显存就能生成1分钟视频!FramePack技术拯救消费级显卡,普及从这一刻开始
大家好,我是Jimmy。2025年开源界的视频生成赛道依然卷,我追我赶从未停下脚步。这次历史时刻,让消费级的显卡,也能高效生成长达1分钟的视频。直接把其它开源视频生成模型打下。
FramePack项目介绍
仓库地址:https://github.com/lllyasviel/FramePack
项目来自敏神,开源了FramePack项目,它是一种面向视频生成的“下一帧(或下一帧片段)预测”神经网络结构,旨在通过压缩输入帧的上下文信息,使视频生成的计算负载与视频长度无关。其核心目标是让视频扩散模型(video diffusion)在消费级GPU(如笔记本显卡)上实现长视频生成,并提升训练效率。
说人话就是,它能像“自动补全”一样,根据你给的图片和一句话描述,生成连续动态的视频。比如你上传一张人站着的图,写“他在跳舞”,它就能生成这人跳舞的动画。
1、核心技术与创新
-
上下文压缩机制 将输入帧的上下文压缩为固定长度,确保生成工作量不随视频长度增加,支持处理超长视频(如60秒/1800帧)。 在低显存设备(如6GB显存的笔记本GPU)上运行13B参数模型。
-
性能优势 生成速度:RTX 4090可达1.5秒/帧(优化后)或2.5秒/帧(未优化);笔记本GPU(如3060)速度慢4-8倍。 训练效率:支持与图像扩散模型相当的大批量训练,降低显存占用。
-
实时生成反馈 逐帧或逐片段生成,用户可实时预览生成过程,无需等待完整视频生成。
2、硬件与软件需求
硬件GPU:NVIDIA RTX 30XX/40XX/50XX系列(支持fp16/bf16),显存≥6GB(GTX 10XX/20XX未测试)。<