【AI绘画】ComfyUI 完全入门：图生视频

最新推荐文章于 2024-10-06 20:44:43 发布

爱绘画的彤姐

最新推荐文章于 2024-10-06 20:44:43 发布

阅读量1k

点赞数 12

文章标签： AI作画音视频人工智能 stable diffusion AIGC

本文链接：https://blog.csdn.net/A2421417624/article/details/142351235

版权

大家好，我是每天分享AI应用的彤姐！

ComfyUI 是一个基于 Stable Diffusion 的AI绘画创作工具，最近发展势头特别迅猛，但是 ComfyUI 的上手门槛有点高，用户需要对 Stable Diffusion 以及各种数字技术的原理有一定的了解才行。这个系列将会介绍 ComfyUI 的一些基础概念和使用方法，让大家更快的掌握 ComfyUI 的使用技巧，创作出自己独特的艺术作品。

本文继续分享 ComfyUI 的使用方法：图生视频，也就是根据图片生成视频，使用的模型是SVD。

我之前的很多萌宠图片就是用它生成的，阅读量还不错：

在这里插入图片描述

SVD介绍

SVD是由 Stable Diffusion 的创作者 Stability AI 公司开源发布的。

SVD的全称是 Stable Video Diffusion，也就是稳定视频扩散的意思，目前最新版本是1.1。这个模型以静止图像作为条件帧，并从中生成视频，目前还不支持使用提示词引导。默认参数下生成的结果是分辨率为1024x576的25帧视频，不过ComfyUI中实测也可以生成多种分辨率和更长时长的视频。

SVD既可用于非商业用途，也可用于商业用途。你可以在许可下使用此模型进行非商业或研究用途，不过大家也要注意遵守相关法律和规定，并确保不侵犯他人的知识产权，具体使用许可协议可以看这里：https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt-1-1

安装ComfyUI

本地或手动安装

本系列的第一篇文章中已经详细的介绍过安装步骤，需要的同学请点此前往：【AI绘画】ComfyUI零基础入门：安装部署

使用SVD

下载SVD模型

官方模型下载地址：https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt-1-1

需要下载的文件名称：svd_xt_1_1.safetensors

如果你访问 huggingface 不方便，也可以给公众号“萤火遛AI”发消息：SVD，即可获取下载地址。

下载后放到这个目录下：ComfyUI/models/checkpoints

使用SVD工作流

SVD的工作流比较简单，大家只要在“加载”中加载这个工作流就行了，不需要特别安装插件，工作流领取方式见文末。

我这里再做一个简单的标注，让大家了解其中的原理，并配置记得参数。

在这里插入图片描述

1、加载SVD模型，下载上一步介绍的模型到指定的位置，就可以在这里选择到。部署模型后请注意刷新页面，让节点尽快发现到模型。

2、上传图片，这里没什么限制，上传自己喜欢的就行了。SVD对风景或者移动物体图片的视频生成效果比较好，人物图片生成视频时需要控制动作幅度，否则容易崩溃。

3、设置帧数，这个参数影响视频的时长，默认值是25。因为默认的帧率是6，2秒就是12，4秒24。

4、设置帧率，帧率就是每秒的画面数，帧率越高视频越连贯，建议先从默认的6开始，逐步上调，看效果能否满意。

5、动态bucketID，这个参数控制视频中主体的动作幅度，值越小动作变化越小，以人或动物为主体时一定要设置为较小的值，否则容易崩溃。

其它就是一些通用操作了，刚接触 ComfyUI 或者不太明白的同学可以看我这篇文章：https://www.yuque.com/yvw351p9nn

生成视频

最后点击“添加提示词队列”，静待视频生成就好了，生成需要的时间取决于你的机器性能、视频的分辨率和帧数。
在这里插入图片描述

写在最后

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

在这里插入图片描述

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

在这里插入图片描述