Stable Diffusion 美女跳舞制作全流程 - SD插件Ebsynth_Utility

一、插件安裝

GitHub - s9roll7/ebsynth_utility: AUTOMATIC1111 UI extension for creating videos using img2img and ebsynth.

安裝後並重啓的界面： 

二、操作步驟

2.1 上傳視頻提取帧

設置工程目錄，我這裏設置的是/hy-tmp/works,然後上傳視頻

从原始视频中提取帧。
生成遮罩图像。

执行上面的generate操作，将会生成

• video_frame视频帧图
• video_mask遮罩图

2.2 选择关键帧

选择要给ebsynth的关键帧。设置最小关键帧间隙和最大关键帧间隙

执行generate操作生成关键字图片，图片在video_key目录下

2.3 选择关键帧图片进行图生图

选择关键帧图片进行图生图

设置controlnet

參考原图的风格或者角色，生成新图

人物姿态控制 

 生成图片：

2.4 开始生成图片需要的视频帧图片

选择脚本为ebsynth utility 

设置工作目录，其它可以保持不变，工作目录和上面的设置保持一直

开始进行批量设置，执行generate，经过很长时间后就会生成目录img2img_key

2.4 放大图片

放大图片，这一步非常简单 目的就是把上一步重绘的图，高清放大， 这样才能保证结果完美 直接回到ebs插件，点击第4步就可以

 2.5 生成ebs文件

这一步的目的很简单，就是根据之前做好的图片，生成ebs文件 这里的ebs文件是给Ebsynth软件使用的。下一步会详细介绍Ebsynth软件。 这里直接点击第5步生成即可

2.6 运行Ebsynth

下载软件：EbSynth - Transform Video by Painting Over a Single Frame

运行Ebsynth 特别注意这一步操作不在SD的ebs插件操作,要在电脑上运行Ebsynth软件。 重点介绍一下Ebsynth软件： 该软件可以做到按关键帧信息，把视频里的所有图片进行重绘 之前的步骤已经生成了视频所有帧，重绘后的关键帧 此时运行Ebsynth来完成其他帧的重绘 注意：上一步的.ebs只是这个软件的批量处理文件，核心还是那些图片

最终生成的目录，并且目录中有相关图片

 2.7 生成视频

最后一步，生成视频非常简单，之前的步骤已经把原料准备好了。 现在只需要回到SD的ebs插件，点击第7步，点击generate运行即可

会生成两个视频文件

stage7

blend_rate: 1
export_type: mp4
fps: 30.0
exported : /hy-tmp/works/20240803-013721.mp4
exported : /hy-tmp/works/20240803-013721_with_snd.mp4 

无声音：20240803-013721.mp4

有声音：20240803-013721_with_snd.mp4 

三、比较视频

原视频：

xavi_avaria

生成视频：

20240803-013721_with_snd

四、结论

这种方式生成模仿视频，需要很长时间，而且对显卡要求非常大，我的视频长度只有11s用的显卡是M40-24G * 1 卡，差不多半天时间才生成一个视频

而且我更倾向于通过视频帧图生成一张，然后通过人体姿势视频转化生成视频才是未来的视频生成之道。比如openai sora

看看显卡性能比较：

如果个人电脑是4090，应该会好很多