ComfyUI 高级实战:极速稳定视频风格转绘

大家好,我是每天分享AI应用的萤火君!

重绘视频一直是短视频平台上的热点内容,流量不错。重绘视频一般是将真实视频重绘为动漫风格,或者是使用新的人物形象重放视频中的人物动作,再或者只是重绘视频中的部分内容,形式上可以有很多玩法,可以创作出很多有趣的内容。

在之前的文章中我分享过使用 TemporalKit 和 EBSynth 转换视频风格的方法,不过生成出来的视频闪烁比较厉害,效果不是太好,而且生成过程特别繁琐,操作起来也比较困难。

最近我在使用 Animatediff 的过程中,发现这个工具也可以转换视频风格,而且可以把视频画面处理的十分稳定,基本上没有什么闪烁;同时再结合字节开源的闪电模型,还可以大幅提升视频的生成速度;另外使用 ComfyUI 还可以直接把音频合成进来。一站式生成,个人感觉可以媲美收费的DomoAI了。

这篇文章我将会分享两种转绘方法:姿势转绘、风格转绘。

话不多说,先看看效果吧(视频不方便,先放几张截图):

ComfyUI介绍

有的同学可能还不知道 ComfyUI 是什么,我这里做一个简单的介绍。

ComfyUI 是一个基于扩散模型的AI绘画创作工具,扩散模型就是大家常说的 Stable Diffusioin,简称SD。

使用SD进行AI绘画的常用工具还有 Stable Diffusion WebUI,有时也简称 SD WebUI,SD WebUI入门比较简单,适合新手,但是可定制性稍微差点,很多作品不容易传播复现,使用API进行操作也有一定的难度。

ComfyUI 使用工作流的方式,可定制性很强,可以让创作者们搞出各种新奇的玩意,也可以实现更高的自动化水平,创作方法更容易传播复现,发展势头特别迅猛。

不过 ComfyUI 的上手门槛有点高,用户需要对 Stable Diffusion 以及各种数字技术的原理有一定的了解才行。为了让大家能够快速地把这个工具用起来,我将会介绍 ComfyUI 的一些基础概念和基本使用方法,并分享一些热门AI绘画作品的创作方法,感兴趣的同学请及时关注。

ComfyUI安装

安装 ComfyUI 的难处

ComfyUI 本身是一个开源软件,大家可以安装到自己的电脑上使用。

但是但是事情往往没有说起来这么简单:

  • 首先你要通过Github来下载程序,后续还要下载大量的模型,这需要特殊网络设置;
  • 然后你还要懂点电脑技术,需要执行一大堆的命令;
  • 最后你还要有一个牛逼的Nvidia显卡,显存8G起步,越大越好。

前两个花点小钱就能解决,最后这个要求可是要花大价钱的,差不多的3090显卡就需要七八千,玩起来没压力的4090更需要1.5个W左右。

当然,如果上边的这三个要求对你来说都是小菜一碟,你可以看看我这篇文章:

ComfyUI 完全入门:安装部署

云环境免费使用

你可能只是想试试,也不知道自己能不能玩的起来,或者说就处理几张图片,难道就没有别的办法了吗?

有!使用云服务器。

  • 最近乘着AI的狂风,京东也大举进入AIGC领域了,新用户赠送两个小时的使用时长,足够我们应应急或者尝尝鲜了。这两天搞活动,每小时竟然降低到了1毛8,这个羊毛薅的都有点不好意思了~
  • 我也在京东云上制作了一个 ComfyUI 的镜像,内置了常见的模型和工作流(包括本文介绍的抠图工作流),不用费劲吧啦的安装,点点鼠标,就能开始创作。

也就是说你不用特殊网络,也不用自己安装,更不用花钱,就可以体验到这个强大的AI绘画工具。

京东云赠送的使用时长通过代金券的形式发放,发消息“京东云”到公众号“萤火遛AI”,即可领取。

下面介绍下在京东云快速启动 ComfyUI 实例的方法:

京东云官方地址:京东云,注册登陆就不说了,相信大家应该都能搞定。

领取到代金券后,请在“费用”-“代金券管理”中激活代金券,操作如下图所示。

然后我们就可以去开AI服务器了,访问地址:京东云控制台

请按照下边的步骤创建AI服务器:

1、首先在“实例列表”页面点击“创建”:

2、在打开的“购买GCS实例”页面点击“按配置”,这种就是按使用量计费,GCS目前按照分钟计费。页面上没有显示常见的显卡型号,不过经我实际测试,目前配置的是RTX 4090显卡的GPU实例。

3、还是在“购买GCS实例”页面,我们移动到下方,应用这里选择“ComfyUI”,注意其中提到这是“萤火遛AI定制版本”,是萤火君专门给大家定制的,填了很多坑。因为上边已经激活了代金券,所以直接点击“立即购买”就可以了。

4、返回到GCS实例列表页面,等待GCS实例创建成功。

实例启动成功后,状态会显示“运行中”,我们只要依次点击“应用”-“自定义应用”,就可以在浏览器中打开ComfyUI了,不用执行任何技术命令,是不是很爽!

当然如果你要进行一些技术操作,也可以通过实例提供的 JupyterLab 去完成。

目前京东云还没有停止服务器的功能(据打听正在开发中),用完了记得点击“释放”,以免继续扣费。

5、加载工作流:如下图所示,初次打开是英文界面,先切换到中文;然后“加载”按钮右侧有个下拉按钮,点击就可以加载镜像内置的工作流。如果你想加载本地工作流,点击“加载”按钮本身就可以了。

姿势转绘演示

加载工作流

首先加载 ComfyUI 工作流,当前演示工作流可在文末获取。我制作的镜像已经内置此工作流,请按照下图的方式,点击“加载”旁边的下拉按钮,依次点击“视频处理”-“人物动作转绘-闪电Animatediff”。

加载视频

工作流界面的最左边有个“加载视频”的节点,如下图所示:

注意这里有两个参数:

强制帧率:帧率就是每秒多少张画面,默认的帧率一般是30,但是实际上设置为16,看起来也差不多,帧数少了,处理的数据也少,可能更快的生成视频。

强制尺寸:上传的视频过大了,处理的慢,过小了效果不好,这里强制下视频的高度为1024,宽度自适应。

设置SD参数

这里用到了提示词反推,因为SD模型生成图片需要提示词,但是每次写提示词真的很烦,所以这里用了一个模型来反推提示词,再和通用的提示次组装到一起使用。

设置 ControlNet 参数

为了引用原视频中的姿势,这里使用了一个ControlNet。首先通过“DW姿态预处理器”提取人物的姿态,这个处理器提取出的姿态比较细腻,包括人物的手部动作,效果会好一些,然后再把这些图片送入ControlNet应用。

注意ControlNet模型区分SD1.5和SDXL版本,需要和SD基础模型匹配,不要选错了。

设置 Animatediff 参数

这里为了加速视频生成,使用了字节跳动开源的闪电模型,4步就可以生成高清图片。注意采样器中的步数也要设置为4,CFG设置为1,不要太大,容易崩图。

最后我们点击“添加提示词队列”,等着生成视频就行了。

生成好的视频会出现在工作流的最右侧,点击右键可以下载到本地。

风格重绘演示

加载工作流

首先加载 ComfyUI 工作流,本文演示使用的工作流请在文末获取。如果你使用的是我制作的镜像,请按照下图的方式,点击“加载”旁边的下拉按钮,依次点击“视频处理”-“精细风格转绘-闪电Animatediff”。

加载视频

在工作流最左侧有一个“加载视频”节点,我们需要选择要进行风格重绘的视频,操作如下图所示:

为了加快转换速度,这里调整了帧率和视频的尺寸,视频默认的帧率一般是30,也就是每秒30个画面,一般调整到一半也不会有太大的影响,但是要处理的数据就会减少一半;视频尺寸太大的话,处理起来慢,尺寸太小的话,效果不好,这里将高度调整为1080,宽度自适应。大家可以根据自己的实际情况进行调整。

设置SD参数

在工作流的中间找到“Checkpoint加载器”和“CLIP文本编码器”节点。“Checkpoint加载器”是用来加载SD基础模型的,这里就是选择你要重绘的风格模型。“CLIP文本编码器”是用来编码提示词的,提示词需要根据画面内容做一个简单的编写,不用太复杂,因为我们使用了4步闪电模型,反向提示词也不需要填写。

设置 Animatediff 参数

在“Checkpoint加载器”节点的右侧,我们可以看到“Animatediff加载器”和“K采样器”,这两个需要搭配使用。

  • “Animatediff加载器”这里需要设置Animatediff动画模型,我使用的是字节开源的4步闪电模型,速度很快,推荐大家也试试,模型可以在文末下载。
  • “K采样器”这里的步数需要和Animatediff动画模型适配,因为我使用的是4步闪电模型,所以这里采样步数设置为4就行了,CFG这里不要设置的太高,一是闪电模型支持的不好,二是太高了模型根据提示词发挥的太多,重绘效果可能不好。

设置完这几个参数,我们点击“添加提示词队列”,等着生成视频就行了,生成好的视频会出现在工作流的最右侧,点击右键可以下载到本地。

工作流中还用了两个ControlNet控制器,有兴趣的可以去调整下各个参数,看看效果如何。

不会用的可以链接我。

资源下载

本文用到的工作流、插件和模型,我已经整理好,发消息“视频重绘”到公众号“萤火遛AI”,即可领取。

另外我创建了一个AI绘画专栏。加入专栏,可以零门槛,全面系统的学习 Stable Diffusion 创作,让灵感轻松落地!如有需要请点击链接进入:https://xiaobot.net/post/03340243-9df6-4ea0-bad6-9911a5034bd6


以上就是本文的主要内容。

用好 ComfyUI:

  • 首先需要对 Stable Diffusion 的基本概念有清晰的理解,熟悉 ComfyUI 的基本使用方式;
  • 然后需要在实践过程中不断尝试、不断加深理解,逐步掌握各类节点的能力和使用方法,提升综合运用各类节点进行创作的能力。

我将在后续文章中持续输出 ComfyUI 的相关知识和热门作品的工作流,帮助大家更快的掌握 Stable Diffusion,创作出满足自己需求的高质量作品,感兴趣的同学请及时关注。

  • 16
    点赞
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值