【ComfyUI】轻松一键视频转动漫！太棒了！超强稳定视频转绘工作流，如此丝滑~!

最新推荐文章于 2024-10-10 11:54:20 发布

AIGC安琪

最新推荐文章于 2024-10-10 11:54:20 发布

阅读量811

点赞数 25

文章标签：人工智能 AIGC AI作画人工智能作画 stable diffusion ai midjourney

本文链接：https://blog.csdn.net/2401_85725028/article/details/142174617

版权

大家好我是安琪！！！

在数字艺术领域，将视频转换为动漫风格一直是艺术家的追求。现在，ComfyUI推出了超强稳定的视频转绘工作流，让你轻松一键实现视频转动漫，让你的创意更加丝滑！
在这里插入图片描述

一键视频转动漫：轻松实现创意转换 ComfyUI的视频转绘功能，允许用户轻松实现视频转动漫。这种创新的图像处理方式，为数字艺术创作带来了全新的可能性，让创意绘画变得更加简单和高效。无论是制作动画短片、设计独特的场景还是创作创意插画，ComfyUI都能为你提供丰富的创作可能性。

超强稳定工作流：提升创作效率 ComfyUI的视频转绘工作流，特别适合提升创作效率。通过这个功能，你可以轻松实现视频转动漫，无需担心性能瓶颈。这意味着你可以更加自由地创作和存储大量的图像，提高工作效率，让你的创作过程更加顺畅。

创意无限：探索视频转动漫的无限可能 ComfyUI的视频转绘功能，不仅限于简单的视频转换。你还可以尝试不同的风格、色彩和细节处理，让你的创意作品更加独特和有趣。无论是抽象艺术、写实画作还是动漫角色，ComfyUI都能为你提供丰富的创作可能性。

视频转绘这么火的赛道下，老铁们怎么能不会呢。下面我们一起来看一看。

先看下老徐简单转绘的6秒视频，整体耗时大概在10分钟左右，视频的转绘效果及流畅度老徐个人还是比较满意的。

DiffSynth-Studio介绍

项目地址：

（需要的同学可自行扫描获取）

在这里插入图片描述

DiffSynth Studio 是一款 Diffusion 引擎。它重构了包括 Text Encoder、UNet、VAE 等在内的架构，在增强计算性能的同时保持了与开源社区模型的兼容性。并且提供了许多有趣的功能。

到目前为止，DiffSynth Studio 支持以下模型：

CogVideo、FLUX、ExVideo、Kolors、Stable Diffusion 3、Stable Video Diffusion、Hunyuan-DiT、RIFE、ESRGAN、Ip-Adapter、AnimateDiff、ControlNet、Stable Diffusion XL、Stable Diffusion

是的你没看错，连目前很火的Flux以及CogVideoX-5b也都是支持的。

视频合成：

在这里插入图片描述

长视频合成：

在这里插入图片描述

卡通着色：

在这里插入图片描述

视频风格化：

在这里插入图片描述

图像合成：

生成高分辨率图像，突破扩散模型的限制！支持Lora 微调。

在这里插入图片描述

好了，关于DiffSynth-Studio就简单介绍这么多，想了解更多详细的内容请访问上面的项目地址。

接下来我们看看基于DiffSynth-Studio的视频转动漫工作流。

工作流介绍

（需要的同学可自行扫描获取）
在这里插入图片描述

下载地址：

工作流下载后导入到ComfyUI中，如果存在缺失节点，请根据提示进行缺失节点的安装，安装成功后记得重启哦。

本工作流涉及到以下模型（我已将需要的模型整理到了网盘，可文末获取）：

在这里插入图片描述

模型放置位置：

AnimateDiff、RIFE、textual_inversion放置目录：

ComfyUI\custom_nodes\ComfyUI-DiffSynth-Studio\models

在这里插入图片描述

Annotators、controlnet放置目录：

ComfyUI\models

stable_diffusion/flat2DAnimerge_v45Sharp.safetensors放置目录：

models/stable_diffusion/

在这里插入图片描述

整个工作流相对也比较简单，前半部分是需要转换视频的上传及模型、ControlNet控制节点。

在这里插入图片描述

后面两个节点分别是视频转绘处理Diffutoon节点和视频预览节点。在Diffutoon节点中可以调整生成视频的参数。这里通过start参数可以控制从视频的哪一秒开始着色转换，length可调整视频的生成长度。如果您的本地配置不高可以尝试降低animatediff_batch_size和animatediff_stride的值。

在这里插入图片描述