[ComfyUI]AI视频生成领域又出王炸，下一帧预测模型，效果炸裂，最低只需 6G 显存！

敏神沉寂了一段时间以后出来就是王炸，开始进军 AI 视频生成领域了，基于混元视频模型训练并开源了通过预测下一帧画面来逐步生成视频的模型：FramePack。

FramePack 主要是通过将输入的视频帧进行编码和压缩，根据帧的重要性分配资源并预测生成下一帧画面，同时采用双向采样来防止画面质量下降，从而逐步生成视频。

简单来讲就是不仅可以根据前边生成的视频内容预测下一帧视频应该具备的动态，并且还会对之前的视频帧内容进行回顾来对接下来的视频帧进行动态调整，使视频生成更加符合常理，效果也更加稳定。

还有一个对低配置玩家很友好的点就是，FramePack 只需要最低 6G 显存就可以生成长达一分钟的视频。

好了，话不多说。我们直接开整。

参考图就不发了，第一帧就是参考图，动作还是很稳定丝滑的，提示词的遵循也很强。

提示词：The woman in the video slowly puts her hands on her legs

KJ 大佬已经制作了 FramePack 的 comfyui 插件，所以我们可以直接在 comfyui 中进行体验。

项目地址：
https://github.com/lllyasviel/FramePack

插件地址：
https://github.com/kijai/ComfyUI-FramePackWrapper

工作流如下，默认是生成 640 分辨率的的视频，也是官方推荐分辨率，操作也很简单，上传一张图片，然后填写提示词点击生成就行。

工作流以及对应的模型，听雨会放在文末的网盘里，需要的小伙伴自取。这里的模型大多数使用的都是混元的模型，如果本地已经下载过了可以不用下载。

这里需要注意的几个点，FramePack 是支持 flash_attn 和 sageattn 加速的，不过可能会影响最终的生成效果，官方推荐使用 adpa。

继续来看下边这个采样器节点，看红框中的两个功能，第一个功能是视频加速生成技术 TeaCache，FramePack 也是支持 TeaCache 的，不过也可能会导致视频的生成效果，这个主要也是看生成什么样的视频，有的视频影响很小。这个大家自己尝试一下就知道了，最终效果不好就关掉这个加速试试。

第二个红框中的参数决定占用显存的大小，值越大，占用显存越小，设置 6 的话，大概要 20G 显存。6G 显存的话，这里的值需要设置 20 以上，这个每台机器可能都不太一样，需要自己尝试一下。

这里生成视频是开了 TeaCache 加速的，可以看到视频也是很稳定的，而且动作也很流畅，动作幅度也很大，让她转身就转身。

提示词：The character in the video slowly turns around

再来看下这个视频开了 TeaCache 加速就有些不稳定了。生成 6 秒的视频耗时 388 秒，将近 7 分钟。

提示词：The girl dances gracefully, with clear movements, full of charm.

这个是没开 TeaCache 加速的效果，可以看到就稳定很多。生成 6 秒的视频耗时 769 秒，将近 13 分钟。

开 TeaCache 和不开的情况，生成速度将近相差一倍的样子，这个就看小伙伴们自己的需求了。

可以看到生成这么大幅度的跳舞动作的情况下，最终生成的视频的效果依旧保持稳定状态，这个应该是生成跳舞动作效果最好的模型了。当然不只是跳舞动作，大幅度的动作效果都很稳定。

不过这个插件现在还不是很完善，比如帧数还不能调整，默认只能生成 24 帧 6 秒的视频，后续应该会支持可以自己设置的。此处说法有误，具体看评论区！

好了，今天的分享就到这里了，感兴趣的小伙伴快去试试吧！

为了帮助大家更好地掌握 ComfyUI，我花了几个月的时间，撰写并录制了一套ComfyUI的基础教程，共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

由于篇幅原因，本文精选几个章节，详细版点击下方卡片免费领取

一、ComfyUI配置指南

• 报错指南
• 环境配置
• 脚本更新
• 后记
• …

二、ComfyUI基础入门

• 软件安装篇
• 插件安装篇
• …

三、 ComfyUI工作流节点/底层逻辑详解

• ComfyUI 基础概念理解
• Stable diffusion 工作原理
• 工作流底层逻辑
• 必备插件补全
• …

四、ComfyUI节点技巧进阶/多模型串联

• 节点进阶详解
• 提词技巧精通
• 多模型节点串联
• …

五、ComfyUI遮罩修改重绘/Inpenting模块详解

• 图像分辨率
• 姿势
• …

六、ComfyUI超实用SDXL工作流手把手搭建

• Refined模型
• SDXL风格化提示词
• SDXL工作流搭建
• …

由于篇幅原因，本文精选几个章节，详细版点击下方卡片免费领取