[ComfyUI]又降了,只需10G显存玩转CogVideoX5B图生视频,效果太惊艳!

上周听雨测试智谱开源的 CogVideoX5B 图生视频的时候还需要 16G 显存才能玩耍,没想开源社区这么快就把显存给打下来了,只需要 10G 显存就可以愉快的玩耍了,嗯,只需要一张 3060 12G 的入门显卡就可以了。

听雨之前介绍过 CogVideoX 的文生视频,作为一款开源的文生视频大模型,效果相当惊艳,尤其是后边推出的 CogVideoX5B 效果更佳,开源文生视频领域的 NO1。

当时就一直期待开源社区什么时候可以推出 CogVideoX 的图生视频,这不,他就在万众期待中走来了!

而且还没隔几天呢,CogVideoX5B 的 10G 量化版本就登场了!这不得好好来分享一波啊!

好了,话不多说,我们直接开整。


我们直接来上效果吧,具体的使用方式我们放在文末介绍。

可以看到质量还是很高的,还能看到晃动的头发以及起伏的肩膀。

动作幅度虽然很大,但是人物的一致性保持的非常不错。

可以看到宇航员头盔上的反光画面也是随着宇航员的动作在移动的。

这个运镜和一致性也是保持的相当不错呀,有种宁静致远的感觉。

这个看起来有点像延迟摄影的感觉有么有,而且地面上车辆经过的灯光也是相当真实有么有!

带有文字的图片也可以很好的保持一致性效果。

来个上帝之眼哈哈,这个眼球旁边的绒毛的浮动也是相当丝滑。

演示就到这里啦,剩下的就小伙伴们自己去发挥创作啦!

我们继续来讲讲具体如何操作!

需要用到的插件:GitHub - kijai/ComfyUI-CogVideoXWrapper

ComfyUI 管理器中还没有收录,我们直接通过 Git URL 进行下载就可以了,使用秋叶版的小伙伴也可以直接在绘世客户端版本管理进行安装。

插件同时支持文生视频和图生视频哦!

CogVideoX5B 的 10G 显存量化模型现在有两个版本,一个是官方原版的量化版本,一个是社区基于 CogVideoX 训练开发的 CogVideoX-Fun 的量化版本,这个社区版本支持自由分辨率哦!

听雨比较喜欢用 CogVideoX-Fun 版本,毕竟自由分辨率还是很香的,以下是 CogVideoX-Fun 版本的图生视频工作流。

上传一张图片,然后填写动画的描述提示词就可以了,参数可以直接使用默认的即可,最终的视频会按照我们上传的图片尺寸来生成。

第一次运行工作流的时候会自动下载模型,我们也可以手动下载,模型以及工作流放在文末的网盘里了,需要的小伙伴自取。

我们稍微来讲下几个可能会用到的节点参数。

video_length:帧数,最大 49 帧,帧率设置为 8 的话,可以生成 6s 的视频。

base_resolution:最终生成视频的分辨率,分辨率越高所需要的显存越大,生成 512 分辨率的视频需要 10G 显存。

最后的输出节点可以设置帧率,帧数除以帧率就是我们最终视频生成的时长了。其他参数就没啥好讲的了。

整体测试下来,虽然有时候视频不太稳定,但是多抽几次总是可以出来很棒的效果,作为一个开源的可以在消费级显卡上运行的视频大模型来说,已经相当不错了。

而且社区也一直在对模型更新迭代,未来视频效果只会越来越好,让我们再期待一下吧!

好了,今天的分享就到这里了,感兴趣的小伙伴快去试试吧!

网盘链接:模型以及工作流

### 使用 ComfyUI 创建视频 #### 安装与配置 为了利用 ComfyUI 进行视频生成,首先需按照官方提供的快速入门指南完成软件的安装和基本环境搭建[^2]。确保所有依赖项都已正确安装,并验证能否正常启动应用程序。 #### 准备素材 对于想要转换成动漫风格的人物视频项目来说,准备好待处理的真实人物视频片段至关重要。这些原始材料应该尽可能清晰稳定以便于后续操作能够取得良好效果[^5]。 #### 设置工作流 打开 ComfyUI 后,在界面上构建适合当前任务需求的工作流程。针对视频转动漫这一目标,可以考虑引入 Advanced ControlNet 插件来增强控制力和细节表现能力。此插件允许用户更加精细地调整每一帧之间的过渡平滑度以及其他视觉属性。 #### 参数调节 根据具体应用场景和个人偏好微调各个参数选项直到满意为止。例如,可以通过改变分辨率、采样方法等影响最终输出质量的关键因素来进行试验性探索[^3]。 #### 执行渲染 当一切都设定完毕之后就可以点击执行按钮让程序开始处理整个视频文件了。这个过程可能耗时较长取决于输入数据量大小及计算机性能状况等因素的影响[^4]。 ```python from comfyui import VideoProcessor, CustomNode processor = VideoProcessor() custom_node = CustomNode() video_output = processor.process_video(input_path="path/to/input.mp4", custom_node=custom_node) ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值