1.基础介绍
1.1 SD简介
Stable Diffusion XL 能够生成几乎任何艺术风格的高质量图像,是用来生成写实图像的最佳开放模型。
Stable Diffusion是一个可以和MJ相媲美的AI出图工具,简称SD
它是一个开源的、免费的项目,没有公司在经营,如果你想用,是需要安装到自己电脑上的,用自己的电脑来渲染出图,同时需要很多数据模型来训练这个工具,让它更加智能。
它的优点很明显,免费!除此之外,如果你懂电脑技术,那SD的可定制化会更高,你可以通过训练自己的数据,更好的控制AI出图的构图和姿势。
但劣势也很明显,很小白不够友好,尤其对于电脑并不是那么熟练的小伙伴,简直是噩梦。
这也是我们没有先讲它的原因。
其次,需要部署在自己电脑上出图,需要电脑的配置过关,要不然一运行就卡死!如果自己电脑配置不行,也不用担心,可以使用云服务器来部署。
1.2 本地部署
本地部署,推荐使用网上已经做好的一键安装包。
windows系统:
推荐秋叶的Stable Diffusion整合包,教程及整合包下载地址:
https://www.bilibili.com/video/BV1iM4y1y7oA/
当然,我也给大家做了备份,也可以到我公众号【小新杂谈社】回复AI获取 ,同样可以得到最新的秋叶整合包
2 插件安装
简单的说,AI美女转绘就是把已有的AI美女视频,通过AI绘画转成完全原创的视频。 这项技术同样适用于其他类型的视频。
在转绘中最关键的一步,就是把原视频里的图转成我们自己的图。
效果演示:
当然这只是一帧图,我们需要用Stable Diffusion把所有关键帧都重绘,最后再合成视频。
下面会一步步讲解。
制作美女转绘基本原理是把原视频逐帧重绘,也就是先把原视频的每一帧抽取成图片, 然后用Stable Diffusion把这些图重绘, 最后把这些重绘的图片合成视频,这样就得到原创视频了。
如果手工操作,这个过程会非常麻烦,幸好有人已经开发了一个Stable Diffusion 插件:ebsynth_Utility,使用这个插件只需要按步骤一步步操作就可以完成整个转绘。
2.1 插件名称:ebsynth_Utility
插件名称:ebsynth_Utility
插件地址:https://github.com/s9roll7/ebsynth_utility
在Stable Diffusion插件管理,直接输入这个地址,安装就可以,如下图:
2.2 八个步骤
现在可以打开ebs的插件,看一下info选项卡,可以看到一共8步
每一步都有具体说明,接下来我们就按照步骤一步步制作就可以了。
3 ebs第一步:抽帧
抽帧, 这一步关键是把原视频的每一帧抽取成图片
3.1 填写项目目录
注意,我们所有生成的图片需要有一个目录存储,叫项目目录
我们再ebs插件的第一步配置里,填写这个目录,比如下图中的pp目录地址
当然,右边需要选择第一步
3.2 上传原视频
在第一步左边的配置里,直接拖拽上传原视频,如下图所示:
3.3 点击生成
在第一步右侧,直接点击生成,过一会就可以看到结果信息里的完成字样
这样抽帧就完成了
3.4 抽帧结果
我们回到项目目录pp,发现抽帧之后会新生成一个目录,video_frame
这个目录里的图片就是抽帧的图片,如下图:
4 ebs第二步:关键帧提取
关键帧提取,在第一步抽帧之后图片非常多,真正的重绘用不了这么多图片
我们只需要抽取核心的关键帧就可以,这样效率会高一些
因此第二步要做关键帧抽取。
4.1 配置
点击ebs插件第二步,在左边配置关键帧间隔等参数。
在右侧选择第二步,点击生成,就可以了。
4.2 结果
还是在ebs插件,右侧看到了关键帧结果的信息,表示完成了关键帧抽取
4.3 关键帧图片
注意,回到我们的项目目录pp,此时又生成了一个目录,video_key
这里面的图片就是关键帧,接下来我们重绘这些图片就可以。
5 ebs第三步:关键帧重绘
关键帧重绘,这一步是整个重绘的核心步骤,里面有很多参数配置
大家要细心一点。
这一步用到的图片就是上一步抽取的关键帧,我们把每张图片重绘后
就达到了原创的目的
5.1 选择SD里的图生图
关键帧目录里的图片还是很多,我们先来重绘一张
配置一下参数,看看效果,如果一张图跑的不错
最后再批量跑。
注意在图生图模块输入正向提示词和反向提示词。
5.2 上传图片
现在上传一张关键帧图片,随便上传一张即可
5.3 配置
核心配置,重绘图片其实就是按当前图片重新生成一个原创图
配置采样方法,迭代步数,重绘尺寸
注意重绘尺寸一定要点击这个三角,让他和原图一致。
最后注意重绘幅度参数填0.9,表示重绘幅度很大,这样才能原创。
具体参加下图:
5.4 配置ControlNet
接下来是核心步骤,配置ControlNet
这一步关键是要控制图片生成,不要脱离原图的姿势
关键信息等等,这样才能保证出来的图和原图一样的优秀
点击启用ControlNet,点击完美模式
具体选项参看下图:
5.5 点击生成
配置结束直接点击生成,自己看一下出图效果 不满意可以继续调整参数
这个参数没有固定值,每个人要自己调整即可
5.6 查看日志
核心关键,此时要查看SD的运行日志,保证我们配置里的每一项都运行
不要出现配置了,但是日志里错误,没运行,这样的配置无效。
5.7 批量处理
全部检查完毕,就可以批量生成了
效率会大大提高。
5.8 结果
注意重绘之后,项目目录pp里会出现一个新的目录
检查一下,里面都是重绘后的图片
6 ebs第四步:放大图片
放大图片,这一步非常简单
目的就是把上一步重绘的图,高清放大, 这样才能保证结果完美
直接回到ebs插件,点击第4步就可以
7 ebs第五步:生成ebs文件
这一步的目的很简单,就是根据之前做好的图片,生成ebs文件
这里的ebs文件是给Ebsynth软件使用的。下一步会详细介绍Ebsynth软件。
这里直接点击第5步生成即可
8 ebs第六步:运行Ebsynth
又是关键的一步,运行Ebsynth
特别注意这一步操作不在SD的ebs插件操作,要在电脑上运行Ebsynth软件。
重点介绍一下Ebsynth软件:
该软件可以做到按关键帧信息,把视频里的所有图片进行重绘
之前的步骤已经生成了视频所有帧,重绘后的关键帧
此时运行Ebsynth来完成其他帧的重绘
注意:上一步的.ebs只是这个软件的批量处理文件,核心还是那些图片
8.1 打开Ebsynth软件
在自己电脑运行Ebsynth
8.2 打开ebs文件
用Ebsynth打开上一步生成的ebs文件
8.3 运行
导入ebs之后,直接点击run ALL就可以运行
8.4 结果
注意,Ebsynth运行结束应该生成一堆out文件夹
里面存储的是重绘后风格的图片,你一定要仔细检查一下
9 ebs第七步:生成视频
最后一步,生成视频非常简单,之前的步骤已经把原料准备好了。
现在只需要回到SD的ebs插件,点击第7步,运行即可
9.1 结果
最后会生成两个视频,如下图, 一个带原视频的声音,另外一个不带,你可以按自己需要选用。
10 ebs第八步:可选(换背景)
可以跳过这一步。下面我们直接看看成品效果吧(无音乐):
视频:https://www.bilibili.com/video/BV1v34y1c72t/
11 相关资料下载
文中涉及的:Ebsynth软件 ,相关提示词,相关Lora模型及所有AI工具资源和副业学习手册 可以移步公众号【小新杂谈社】 回复 AI 获取
12 相关资料截图
SD全套安装包以及各种模型安装包
各大AI工具资源导航
副业资料截图
AIGC自学资料
AI导航小程序