【ComfyUI】轻松一键视频转动漫！太棒了！超强稳定视频转绘工作流，如此丝滑~!

最新推荐文章于 2024-10-11 09:44:02 发布

AI绘画小33

最新推荐文章于 2024-10-11 09:44:02 发布

阅读量878

点赞数 28

文章标签：人工智能 AIGC comfyui AI AI绘画 ai绘画

本文链接：https://blog.csdn.net/2401_84760527/article/details/142169115

版权

前言

视频转绘这么火的赛道下，老铁们怎么能不会呢。下面我们一起来看一看。

先看下小编简单转绘的6秒视频，整体耗时大概在10分钟左右，视频的转绘效果及流畅度老徐个人还是比较满意的。

DiffSynth-Studio介绍

**项目地址：
**

所有的AI设计工具，模型和插件，都已经整理好了，👇获取~

DiffSynth Studio 是一款 Diffusion 引擎。它重构了包括 Text Encoder、UNet、VAE 等在内的架构，在增强计算性能的同时保持了与开源社区模型的兼容性。并且提供了许多有趣的功能。

到目前为止，DiffSynth Studio 支持以下模型：

CogVideo、FLUX、ExVideo、Kolors、Stable Diffusion 3、Stable Video Diffusion、Hunyuan-DiT、RIFE、ESRGAN、Ip-Adapter、AnimateDiff、ControlNet、Stable Diffusion XL、Stable Diffusion

是的你没看错，连目前很火的Flux以及CogVideoX-5b也都是支持的。

视频合成：

长视频合成：

卡通着色：

视频风格化：

图像合成：

生成高分辨率图像，突破扩散模型的限制！支持Lora 微调。

好了，关于DiffSynth-Studio就简单介绍这么多，想了解更多详细的内容请访问上面的项目地址。

接下来我们看看基于DiffSynth-Studio的视频转动漫工作流。

工作流介绍

下载地址：

https://www.liblib.art/modelinfo/756c4a2875c0418d9a63cb4d29f2cae7

工作流下载后导入到ComfyUI中，如果存在缺失节点，请根据提示进行缺失节点的安装，安装成功后记得重启哦。

ComfyUI-DiffSynth-Studio节点地址：

https://github.com/AIFSH/ComfyUI-DiffSynth-Studio

本工作流涉及到以下模型（小编已将需要的模型整理到了网盘，可文末获取）：

AnimateDiff、RIFE、textual_inversion、Annotators、controlnet、stable_diffusion/flat2DAnimerge_v45Sharp.safetensors

模型放置位置：

AnimateDiff、RIFE、textual_inversion放置目录：

ComfyUI\custom_nodes\ComfyUI-DiffSynth-Studio\models

Annotators、controlnet放置目录：

ComfyUI\models

stable_diffusion/flat2DAnimerge_v45Sharp.safetensors放置目录：

models/stable_diffusion/

整个工作流相对也比较简单，前半部分是需要转换视频的上传及模型、ControlNet控制节点。

后面两个节点分别是视频转绘处理Diffutoon节点和视频预览节点。在Diffutoon节点中可以调整生成视频的参数。这里通过start参数可以控制从视频的哪一秒开始着色转换，length可调整视频的生成长度。如果您的本地配置不高可以尝试降低animatediff_batch_size和animatediff_stride的值。

为了帮助大家更好地掌握 ComfyUI，我在去年花了几个月的时间，撰写并录制了一套ComfyUI的基础教程，共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。