【ComfyUI】轻松一键视频转动漫!太棒了!超强稳定视频转绘工作流,如此丝滑~!

视频转绘这么火的赛道下,老铁们怎么能不会呢。下面我们一起来看一看。

先看下简单转绘的6秒视频,整体耗时大概在10分钟左右,视频的转绘效果及流畅度个人还是比较满意的。

DiffSynth-Studio介绍

**项目地址:
**

https://github.com/modelscope/DiffSynth-Studio

DiffSynth Studio 是一款 Diffusion 引擎。它重构了包括 Text Encoder、UNet、VAE 等在内的架构,在增强计算性能的同时保持了与开源社区模型的兼容性。并且提供了许多有趣的功能。

到目前为止,DiffSynth Studio 支持以下模型:

CogVideo、FLUX、ExVideo、Kolors、Stable Diffusion 3、Stable Video Diffusion、Hunyuan-DiT、RIFE、ESRGAN、Ip-Adapter、AnimateDiff、ControlNet、Stable Diffusion XL、Stable Diffusion

是的你没看错,连目前很火的Flux以及CogVideoX-5b也都是支持的。

视频合成:

这份完整版的AIGC全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

长视频合成:

卡通着色:

视频风格化:

在这里插入图片描述

图像合成:

生成高分辨率图像,突破扩散模型的限制!支持Lora 微调。

好了,关于DiffSynth-Studio就简单介绍这么多,想了解更多详细的内容请访问上面的项目地址。

接下来我们看看基于DiffSynth-Studio的视频转动漫工作流。

工作流介绍

工作流下载后导入到ComfyUI中,如果存在缺失节点,请根据提示进行缺失节点的安装,安装成功后记得重启哦。

ComfyUI-DiffSynth-Studio节点地址:

https://github.com/AIFSH/ComfyUI-DiffSynth-Studio

本工作流涉及到以下模型(已将需要的模型整理到了网盘,可文末获取):

AnimateDiff、RIFE、textual_inversion、Annotators、controlnet、stable_diffusion/flat2DAnimerge_v45Sharp.safetensors

模型放置位置:

AnimateDiff、RIFE、textual_inversion放置目录:

ComfyUI\custom_nodes\ComfyUI-DiffSynth-Studio\models

Annotators、controlnet放置目录:

ComfyUI\models

stable_diffusion/flat2DAnimerge_v45Sharp.safetensors放置目录:

models/stable_diffusion/

整个工作流相对也比较简单,前半部分是需要转换视频的上传及模型、ControlNet控制节点。

后面两个节点分别是视频转绘处理Diffutoon节点和视频预览节点。在Diffutoon节点中可以调整生成视频的参数。这里通过start参数可以控制从视频的哪一秒开始着色转换,length可调整视频的生成长度。如果您的本地配置不高可以尝试降低animatediff_batch_size和animatediff_stride的值。

好了,今天的分享就到这里了,感兴趣的赶快下载试玩吧~~

这份完整版的AIGC全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

  • 16
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值