今天我将向大家推荐一款使用Stable Diffusion生成视频的插件Temporal Kit,它在将视频转换成不同风格的同时在稳定画面方面也有较大提升。
这是一段视频对比,左侧是原视频,右侧是运用Temporal Kit插件制作的视频。重绘幅度0.45,成功的将人物风格转换成偏动漫风格。当我们需要将真人视频变为动漫或将动漫视频变为真人时,利用这款插件可以达到更好的效果。
那么接下来我们进入今天的操作部分:
首先我们来到SD WebUI界面,在Web UI中点击“扩展”,
然后点击“从网址安装”,粘贴网址最后点击下方的“安装”。
来到已安装界面点击“重载前端”,接着我们就能看到Temporal Kit这个插件了。
第一步使用Temporal Kit进行预处理。
预处理会将原视频的关键帧提取出来,而提取关键帧的参数我们是可以自己进行设置的。上传一段原视频,然后调整输出关键帧图片的高度,这里建议大家不要调的太大。
然后在左侧的第一项参数,两边数值中填写1即可。
接下来我们设置每隔多少秒创建一个关键帧。如果视频较长想要加快处理速度,可以将这个数值调大一些。例如每10帧提取一个关键帧,比如视频时长为六秒,可以设置每五秒提取一个关键帧。如果想让画面更稳定,可以调小关键帧间隔,视频帧率设为30,后面的EBSynth模式务必勾选。视频帧率建议与原视频一直,否则可能会导致画面不一致。
接下来我们需要填写目标文件夹的路径及提取图片后将图片存放到哪个位置。首先来到Web UI的安装目录下,这里有两个输出目录。一个是outputs文件夹,我们平时进行文生图或图生图的图片会存放在这里;另一个是output文件夹,它是空的,我们可以把数据放在output这个文件夹里。
接下来我们复制output文件夹的路径并粘贴过来,然后在下方勾选“批量处理”。后面的边界关键帧数默认为2,这也是官方推荐值。如果我们想要生成速度更快,可以将它改为0。
接下来是EBSynth设置,我们要勾选分割视频,至此预处理部分的参数设置就完成了。
点击右侧的运行参数程序就会原视频中提取关键帧,运行完成后程序并不会输出图像预览,因为它是批量处理的。
我们可以回到output文件夹,程序创建了四个文件夹:分别是output 、input和两个数字文件夹。如果你的视频较长数字文件夹会更多。打开input文件夹就可以看到从原视频中提取出来的关键帧图片了。
接下来进行第二步。提取关键帧之后,我们要选一张图片来到“图生图”选项进行风格转换。
先上传一张关键帧图片输入正面提示词和负面提示词,然后来到下面的参数设置,采样方法大家可以根据自己的使用习惯进行选择。我启用了Face Editor面部修复插件,勾选启用后填写面部提示词即可。
然后在下方的Control Net设置中我开启了两个:第一个Control Net勾选启用、勾选低显存模式、勾选完美像素模式,控制类型选择Canny;第二个Control Net勾选启用、勾选低显存模式、勾选完美像素模式,控制类型选择Tile。如果大家想要控制动作,可以勾选Open Pose。
图生图的参数设置完毕,点击生成我们便可以看到人物发生了比较大的变化。
这张图的参数建议大家多尝试不同的数值,尽量调出一个整体效果较好的结果,因为接下来我们会进行批量处理转换,所有关键帧图片都会以这张图的参数及种子为参考。
接着复制这张图的种子,点击图生图里的批量处理将种子粘贴进去,这一步的目标是将所有原视频关键帧图片处理成我们想要的动漫风格。
这里的输入目录就是刚才提取关键帧图片的存储目录,也就是output文件夹下的input文件夹,将这2个路径复制粘贴过来,路径下方的其他参数就不要动了。
下面的Face Editor参数就沿用之前的,Control Net的参数也沿用之前的。这时候我们点击生成这个六秒多的视频,生成完毕后,我们可以在output下的output文件夹内看到处理好的图片,可以看到所有图片都成功转换成了动漫风格,共计38张。
第三步我们来到Temporal Kit插件进行EBSynth流程这一步的操作。这一步会将原视频里的其他帧提取为图片,并进行所有帧的风格转换,最后进行视频的组合生成最终的效果。
我们填写输入文件夹的路径,这里是此次运行的整个工程的文件夹路径,而不是里面的output文件夹。
然后上传原视频,下面的参数设置要与我们之前预处理时的设置保持一致。最大帧数我们要自己计算一下,这个六秒视频帧率为30那就是180帧,但这边通常要将它设置大一些,因为有边界帧数这个参数我这里设置为250,然后点击预处理。运行完毕后,我们在output文件夹下打开数字文件夹,里面的FARMS文件夹就是我们原视频的帧,Keys文件夹下是风格变换后的关键帧图片。
接下来我们要将所有原视频帧图转化为变换风格后的关键帧图效果。
这里我们要用到另外一个软件EBSynth,它需要下载后使用,支持Windows和Mac系统。
下载完,我们点击运行程序,在这个界面中Keyframes我们要选择数字文件夹下的Keys文件夹,Video要选择数字文件夹下的FARMS文件夹,程序就把所有的图片都排好了。
处理完毕后把程序直接关掉,再重新打开程序,进行下一个数字文件夹下的图片。同样选择数字文件夹下的Keys文件夹,Video要选择数字文件夹下的FARMS文件夹,选择完毕后点击运行所有,我们就可以看到输出结果。数字文件夹下增加了很多Out文件夹,我们设置的关键帧是每隔五帧提取一个关键帧,所以这边的文件夹名称都隔了五个数字。每个out文件夹里都有多张图片,这些图片全部转换成了目标风格,至此所有图片处理完毕。
我们来到Stable Diffusion的Temporal Kit插件下进行最后一步,将处理好的所有图片组成视频。生成完毕后是一个MP4文件。直接下载即可了。
关于AI绘画技术储备
学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!
对于0基础小白入门:
如果你是零基础小白,想快速入门AI绘画是可以考虑的。
一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案
包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!
零基础AI绘画学习资源介绍
👉stable diffusion新手0基础入门PDF👈
(全套教程文末领取哈)
👉AI绘画必备工具👈
温馨提示:篇幅有限,已打包文件夹,获取方式在:文末
👉AI绘画基础+速成+进阶使用教程👈
观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
温馨提示:篇幅有限,已打包文件夹,获取方式在:文末