【ComfyUI】轻松一键视频转动漫！太棒了！超强稳定视频转绘工作流，如此丝滑~!

爱绘画的彤姐

于 2024-09-14 10:46:46 发布

阅读量599

点赞数 9

文章标签： stable diffusion AI作画人工智能 AIGC

本文链接：https://blog.csdn.net/A2421417624/article/details/142252307

版权

大家好，我是爱绘画的彤姐。

昨天有小伙伴询问有没有视频转动漫方面的工作流。我也是抽时间简单了解了下，从效果来看，觉得基于DiffSynth-Studio的这款工作流转绘效果目前来看是很不错的。今天就给大家带来了这一款超稳定视频转动漫风格工作流。

视频转绘这么火的赛道下，老铁们怎么能不会呢。下面我们一起来看一看。
DiffSynth-Studio介绍

项目地址：

https://github.com/modelscope/DiffSynth-Studio

DiffSynth Studio 是一款 Diffusion 引擎。它重构了包括 Text Encoder、UNet、VAE 等在内的架构，在增强计算性能的同时保持了与开源社区模型的兼容性。并且提供了许多有趣的功能。

到目前为止，DiffSynth Studio 支持以下模型：

CogVideo、FLUX、ExVideo、Kolors、Stable Diffusion 3、Stable Video Diffusion、Hunyuan-DiT、RIFE、ESRGAN、Ip-Adapter、AnimateDiff、ControlNet、Stable Diffusion XL、Stable Diffusion

是的你没看错，连目前很火的Flux以及CogVideoX-5b也都是支持的。

视频合成：

在这里插入图片描述

长视频合成：

在这里插入图片描述

卡通着色：

在这里插入图片描述

视频风格化：

在这里插入图片描述

图像合成：

生成高分辨率图像，突破扩散模型的限制！支持Lora 微调。

在这里插入图片描述

好了，关于DiffSynth-Studio就简单介绍这么多，想了解更多详细的内容请访问上面的项目地址。

接下来我们看看基于DiffSynth-Studio的视频转动漫工作流。

工作流介绍

在这里插入图片描述

工作流下载：扫码按需自取，无偿分享。
在这里插入图片描述

工作流下载后导入到ComfyUI中，如果存在缺失节点，请根据提示进行缺失节点的安装，安装成功后记得重启哦。

ComfyUI-DiffSynth-Studio节点地址：

https://github.com/AIFSH/ComfyUI-DiffSynth-Studio

本工作流涉及到以下模型（我已将需要的模型整理到了网盘，可文末获取）：

AnimateDiff、RIFE、textual_inversion、Annotators、controlnet、stable_diffusion/flat2DAnimerge_v45Sharp.safetensors

模型放置位置：

AnimateDiff、RIFE、textual_inversion放置目录：

ComfyUI\custom_nodes\ComfyUI-DiffSynth-Studio\models

在这里插入图片描述

Annotators、controlnet放置目录：

ComfyUI\models

stable_diffusion/flat2DAnimerge_v45Sharp.safetensors放置目录：

models/stable_diffusion/

在这里插入图片描述
整个工作流相对也比较简单，前半部分是需要转换视频的上传及模型、ControlNet控制节点。

在这里插入图片描述
后面两个节点分别是视频转绘处理Diffutoon节点和视频预览节点。在Diffutoon节点中可以调整生成视频的参数。这里通过start参数可以控制从视频的哪一秒开始着色转换，length可调整视频的生成长度。如果您的本地配置不高可以尝试降低animatediff_batch_size和animatediff_stride的值。

在这里插入图片描述

好了，今天的分享就到这里了，感兴趣的赶快下载试玩吧~~

写在最后

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

在这里插入图片描述

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

在这里插入图片描述