Stable Diffusion Temporal-Kit和EbSynth 从娱乐到商用
免费的SD模型下载网站:
Civitai官网: https://civitai.com/
Liblib:https://www.liblib.art/
炼丹阁:https://www.liandange.com/(寄了)
HuggingFace:https://huggingface.co/
Stable Diffusion Models:https://cyberes.github.io/stable-diffusion-models/
更全的Stable Diffusion Models:https://rentry.co/sdmodels
Gitee:https://gitee.com/modelee
基于SD的风格化编辑主流方式:
- ControlNet-M2M
- ControlNet img2img
- Mov2mov extension
- SD-CN Animation extension
- Temporal Kit
- Temporal Kit + EbSynth
- EbSynth插件
问题:重绘幅度调整太小,基本上和换脸视频差不多,服装通过lora调整加入,关键词权重调很高,基本上不能把视频中的衣服换掉。尝试各种参数设置,效果可能都不是很好。
减少虚影:减少动画插帧数量。
1. Temporal Kit 和 EbSynth
Temporal Kit 和 EbSynth 都是视频风格转换的工具,用于提取关键帧、补全非关键帧。配合各种SD模型的使用方法:
- TemporalKit / Ebsynth提取关键帧
- Stable Diffusion 风格迁移
- TemporalKit / Ebsynth补全重绘后的关键帧图片之间的序列帧,并拼合出了视频。
区别:用Ebsynth进行补帧和合成,相比于Temporal-kit插件Ebsynth utility生成步骤清晰,后期还能指定更换背景。但Ebsynth utility插件生成的重绘效果有些图片会有阴影,需要单独挑出来再次图生图重绘。
1.1 提取关键帧
为什么要提取关键帧?提取关键帧就是把视频中动作变化比较大的画面转成图片,下一步就是对这些图片进行重绘。如果不提取关键帧,而是把视频的每一帧都重绘,一是工作量大,二是重绘的每张图片可能都有点不一样,画面可能闪烁比较严重。
https://zhuanlan.zhihu.com/p/677801384
在SD WebUI的主页签中找到 Temporal-Kit,点击打开。然后接着点击“Pre-Processing
”
参数setting:
-
Sides:生成的1张图片的边包含几张视频帧。如果是2就代表4个视频帧,也就是
2*2
;如果是3就代表9个视频帧,也就是3*3
;最小设置为1,也就是1张图包含1个视频帧。这个要结合后边的 Height Resolution一起设置。 -
Height Resolution:生成图片的高度的像素值,建议是:视频的高度 * Sides ,比如我这个视频是
1080*720
,单个视频帧的高度就是720,但是前边Sides设置的2,所以就是720*2=1440
。但是这个公式不是绝对的,你也可以写个720,或者写个2048。这个值需要考虑显卡的性能,如果显卡不太行,不要设置的太高。 -
frames per keyframe
:多少视频帧抽取一个关键帧,关键帧越密动作衔接越流畅,但是可能重绘的变化越多,导致画面闪烁。(一般动作幅度越大,抽帧越密集) -
EBSynth Model:因为我们后边要使用EBSynth来处理,所以这里勾选上它,生成的文件名会有一定的格式。
-
fps:视频每秒包含几帧,在电脑上查看视频详情一般可以获取到。
-
Target Folder:关键帧图片的输出位置,实际会输出到这个目录下创建的一个input文件夹,后续各种处理的中间文件都在这个文件夹下,相当于一个项目目录,所以建议为每个视频的不同处理创建不同的文件夹。注意如果是云端,这里需要是服务器上的目录。
-
Batch Settings:因为我们这里需要处理整个视频,所以需要把这个Batch Run勾选上。
-
EBSynth Settings:因为EBSynth可以处理的视频时间比较短,所以要把视频分割成几段来处理。
1.2 关键帧风格迁移
进入“图生图”界面,直接用一个线条简单点的模型:toonyou,这是一个漫画风模型,也不用搭配Lora模型了,Checkpoint模型在C站下载。
- step:
step太高细节太多,反而不利于中间帧的传播
,导致闪烁! - 提示词:a man, epic scene, a poster, flat color,
- 反向提示词:easy_negative,beard
- 图片的宽高:一般按照实际设置就好,如果数字太大,建议先调小一点,然后再用超分高清化放大。
- 重绘强度:这里开到了最大。