Stable Diffusion 长视频真人动画风格互转

Yuezero_

已于 2024-03-28 03:31:11 修改

阅读量1.9k

点赞数 16

文章标签： stable diffusion 音视频

于 2024-01-26 03:22:48 首次发布

本文链接：https://blog.csdn.net/weixin_54338498/article/details/135856294

版权

本文介绍了使用Stable Diffusion的Temporal Kit和EbSynth进行视频风格迁移，包括真人转卡通和卡通转真人的流程。通过提取关键帧、风格迁移和生成序列帧，实现视频的长片段风格转换。同时，文章提到了编辑技巧，如ControlNet和TemporalNet的使用，以及如何保证IP一致性。

摘要由CSDN通过智能技术生成

Stable Diffusion Temporal-Kit和EbSynth 从娱乐到商用

免费的SD模型下载网站：
Civitai官网: https://civitai.com/
Liblib：https://www.liblib.art/
炼丹阁：https://www.liandange.com/（寄了）
HuggingFace：https://huggingface.co/
Stable Diffusion Models：https://cyberes.github.io/stable-diffusion-models/
更全的Stable Diffusion Models：https://rentry.co/sdmodels
Gitee：https://gitee.com/modelee

基于SD的风格化编辑主流方式：

ControlNet-M2M
ControlNet img2img
Mov2mov extension
SD-CN Animation extension
Temporal Kit
Temporal Kit + EbSynth
EbSynth插件

问题：重绘幅度调整太小，基本上和换脸视频差不多，服装通过lora调整加入，关键词权重调很高，基本上不能把视频中的衣服换掉。尝试各种参数设置，效果可能都不是很好。

减少虚影：减少动画插帧数量。

1. Temporal Kit 和 EbSynth

Temporal Kit 和 EbSynth 都是视频风格转换的工具，用于提取关键帧、补全非关键帧。配合各种SD模型的使用方法：

TemporalKit / Ebsynth提取关键帧
Stable Diffusion 风格迁移
TemporalKit / Ebsynth补全重绘后的关键帧图片之间的序列帧，并拼合出了视频。

区别：用Ebsynth进行补帧和合成，相比于Temporal-kit插件Ebsynth utility生成步骤清晰，后期还能指定更换背景。但Ebsynth utility插件生成的重绘效果有些图片会有阴影，需要单独挑出来再次图生图重绘。

1.1 提取关键帧

为什么要提取关键帧？提取关键帧就是把视频中动作变化比较大的画面转成图片，下一步就是对这些图片进行重绘。如果不提取关键帧，而是把视频的每一帧都重绘，一是工作量大，二是重绘的每张图片可能都有点不一样，画面可能闪烁比较严重。

https://zhuanlan.zhihu.com/p/677801384

在SD WebUI的主页签中找到 Temporal-Kit，点击打开。然后接着点击“Pre-Processing”

参数setting：

Sides：生成的1张图片的边包含几张视频帧。如果是2就代表4个视频帧，也就是 2*2；如果是3就代表9个视频帧，也就是 3*3；最小设置为1，也就是1张图包含1个视频帧。这个要结合后边的 Height Resolution一起设置。
Height Resolution：生成图片的高度的像素值，建议是：视频的高度 * Sides ，比如我这个视频是 1080*720，单个视频帧的高度就是720，但是前边Sides设置的2，所以就是720*2=1440。但是这个公式不是绝对的，你也可以写个720，或者写个2048。这个值需要考虑显卡的性能，如果显卡不太行，不要设置的太高。
frames per keyframe：多少视频帧抽取一个关键帧，关键帧越密动作衔接越流畅，但是可能重绘的变化越多，导致画面闪烁。（一般动作幅度越大，抽帧越密集）
EBSynth Model：因为我们后边要使用EBSynth来处理，所以这里勾选上它，生成的文件名会有一定的格式。
fps：视频每秒包含几帧，在电脑上查看视频详情一般可以获取到。
Target Folder：关键帧图片的输出位置，实际会输出到这个目录下创建的一个input文件夹，后续各种处理的中间文件都在这个文件夹下，相当于一个项目目录，所以建议为每个视频的不同处理创建不同的文件夹。注意如果是云端，这里需要是服务器上的目录。
Batch Settings：因为我们这里需要处理整个视频，所以需要把这个Batch Run勾选上。
EBSynth Settings：因为EBSynth可以处理的视频时间比较短，所以要把视频分割成几段来处理。