ComfyUI 完全入门:图生视频

大家好,我是每天分享AI应用的萤火君!

ComfyUI 是一个基于 Stable Diffusion 的AI绘画创作工具,最近发展势头特别迅猛,但是 ComfyUI 的上手门槛有点高,用户需要对 Stable Diffusion 以及各种数字技术的原理有一定的了解才行。这个系列将会介绍 ComfyUI 的一些基础概念和使用方法,让大家更快的掌握 ComfyUI 的使用技巧,创作出自己独特的艺术作品。

本文继续分享 ComfyUI 的使用方法:图生视频,也就是根据图片生成视频,使用的模型是SVD。

我之前的很多萌宠图片就是用它生成的,浏览量还不错:

SVD介绍

SVD是由 Stable Diffusion 的创作者 Stability AI 公司开源发布的。

SVD的全称是 Stable Video Diffusion,也就是稳定视频扩散的意思,目前最新版本是1.1。这个模型以静止图像作为条件帧,并从中生成视频,目前还不支持使用提示词引导。默认参数下生成的结果是分辨率为1024x576的25帧视频,不过ComfyUI中实测也可以生成多种分辨率和更长时长的视频。

SVD既可用于非商业用途,也可用于商业用途。你可以在许可下使用此模型进行非商业或研究用途,不过大家也要注意遵守相关法律和规定,并确保不侵犯他人的知识产权,具体使用许可协议可以看这里:https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt-1-1

安装ComfyUI

本地或手动安装

本系列的第一篇文章中已经详细的介绍过安装步骤,需要的同学请点此前往:ComfyUI 完全入门:安装部署

云环境使用

如果你的电脑没有配置高性能的Nvidia显卡,我建议你可以先在云环境试试,推荐两个云平台:

京东云:京东云最近大举进入AIGC领域,新上了AI服务器,价格同样美丽,萤火君正在制作相应的 ComfyUI 镜像,最重要的是还可以领取2个小时的代金券(领取方式见文末),先到先得,不妨先收藏起来。

京东云智算服务的地址:智算服务-京东云

AutoDL:AutoDL是一个云计算平台,提供显卡服务器租用服务,可按小时付(1-2元左右),显卡价格相比阿里云、腾讯云有明显的优势,我一直在用,推荐本地硬件性能不足的同学试试。

镜像地址:CodeWithGPU | 能复现才是好算法

镜像使用方法:打开镜像页面,点击右下角的“AutoDL创建实例”,按照使用说明操作即可。

使用SVD

下载SVD模型

官方模型下载地址:https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt-1-1

需要下载的文件名称:svd_xt_1_1.safetensors

如果你访问 huggingface 不方便,也可以给公众号“萤火遛AI”发消息:SVD,即可获取下载地址。

也可以下载我分享在 codewithgpu 的模型:CodeWithGPU | 能复现才是好算法

下载后放到这里:ComfyUI/models/checkpoints

使用SVD工作流

SVD的工作流比较简单,大家只要在“加载”中加载这个工作流就行了,不需要特别安装插件,工作流领取方式见文末。

我这里再做一个简单的标注,让大家了解其中的原理,并配置记得参数。

1、加载SVD模型,下载上一步介绍的模型到指定的位置,就可以在这里选择到。部署模型后请注意刷新页面,让节点尽快发现到模型。

2、上传图片,这里没什么限制,上传自己喜欢的就行了。SVD对风景或者移动物体图片的视频生成效果比较好,人物图片生成视频时需要控制动作幅度,否则容易崩溃。

3、设置帧数,这个参数影响视频的时长,默认值是25。因为默认的帧率是6,2秒就是12,4秒24。

4、设置帧率,帧率就是每秒的画面数,帧率越高视频越连贯,建议先从默认的6开始,逐步上调,看效果能否满意。

5、动态bucketID,这个参数控制视频中主体的动作幅度,值越小动作变化越小,以人或动物为主体时一定要设置为较小的值,否则容易崩溃。

其它就是一些通用操作了,刚接触 ComfyUI 或者不太明白的同学可以看我这篇文章:ComfyUI 完全入门:基本功能

生成视频

最后点击“添加提示词队列”,静待视频生成就好了,生成需要的时间取决于你的机器性能、视频的分辨率和帧数。

资源下载

  • SVD模型和工作流下载,请给公众号“萤火遛AI”发消息:SVD,即可获取。
  • 京东云代金券领取,请+V yinghuojun007 领取。


以上就是本文的主要内容,如有问题,欢迎留言交流。

用好 ComfyUI:

  • 首先需要对 Stable Diffusion 的基本概念有清晰的理解,熟悉 ComfyUI 的基本使用方式;
  • 然后需要在实践过程中不断尝试、不断加深理解,逐步掌握各类节点的能力和使用方法,提升综合运用各类节点进行创作的能力。

我将在后续文章中持续输出 ComfyUI 的相关知识和热门作品的工作流,帮助大家更快的掌握 Stable Diffusion,创作出满足自己需求的高质量作品,感兴趣的同学请及时关注。

  • 24
    点赞
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值