让“老婆”动起来 Stable Diffusion进阶篇：AI动画-图生图批处理

本来今天是不想学习的，但是我去了一趟电玩节之后给我整闷了，人超级无敌多并且东西还没啥好玩的，光是我的老婆八重神子至少么有那么10个coser。

看来以后这种动漫节啥的还得去上海参加，好多卖东西的展会都是在清库存的感觉，而且可能是因为暑假超级多学生去买。

也可能是我老了对这些东西没那么喜欢了，当然更可能的是我喜欢的那种不适合放在公众场合卖，毕竟来玩的未成年不少。

今天就不说啥废话了，我心好累。

这篇笔记作为学完Stable Diffusion后的进阶篇，在这里将会简单学习一下AI动画是怎么制作的。

之前的Stable Diffusion只能生成冷冰冰的图片，我已经迫不及待想要让我的老婆们动起来啦！

---

AI动画是啥？

其实现在网络上随便一搜索AI动画都能看到有很多视频，但要认真来讲AI动画其实是指将一个视频片段利用AI“重制”成动画质感的特殊加工手段。

除了常见的二次元动画风格以外，AI绘画还可以套一层滤镜一样给视频变化为不同的风格。

https://www.bilibili.com/video/BV1kT411W7Bq/?spm_id_from=autoNext&vd_source=24f33eddf5587fb40e947798abce6715

像是这样以另一种形式来回味经典也是AI动画常见的用法，甚至有不少商业广告都在逐渐开始用AI绘画来实现一些实拍无法达到的效果或者是为视频带来更多的风格。

目前在市面上有很多可以用于AI动画的软件，大多都可以实现将视频转变为各类画风的视频，但是目前最受欢迎且常用的还是Stable Diffusion。

作为一个免费、开源且功能强大的Stable Diffusion，除了一时半会无法在手机上使用以外，其能实现的效果要强过市面上绝大部分的软件。

其实只是简单会一点也可以做，但是有了扎实的基础后做出来的效果肯定是要更好的。

当然如果是啥也不会看到这篇文章也可以跟着我的步骤尝试一下，毕竟我写到这里也不会，能踩的坑我都会踩一脚、

AI动画的原理

在之前的笔记中都是用Stable Diffusion来生成图片，好像没有找到什么可以用来生成动画的插件或者功能。

但是对于AI来说，无论是动画还是绘画都是生成图像+对图像进行转绘。

动画的原理简单来说就是用一张张静止的图片放到一块连续播放而成，这也是早期的动画制作者都是用定格动画的形式完成。

鹈鹕动画作品-腾讯游戏“乱世王者”定格动画_鹈鹕动画-站酷ZCOOL

这里的每一张图片都是一帧(Frame)，而像是打游戏常见的帧率也是由此而命名。

如今大部分的电影都是24帧每秒，这意味着一秒播放24张图片，像是电视、游戏、互联网等的帧率大多都是25/30帧每秒。

对于简单的眼睛感受来说，10帧每秒就会用动起来的感觉，只要大于24帧就能感觉看到的东西都很丝滑。

对于大部分游戏玩家来说30帧勉强能玩60帧体验丝滑也是这个道理，并且游戏掉帧（指帧数突然降低）卡成PPT也是这么来的。

帧数(Frames)，为帧生成数量的简称。由于口语习惯，我们通常将帧数与帧率混淆。每一帧都是静止的图像，快速连续地显示帧便形成了运动的假象，因此高的帧率可以得到更流畅、更逼真的动画。

-From 百度百科

在Stable Diffusion中制作AI动画其本质就是把每秒的20-30张画面拆开，在单独重绘每一张画面后回去做成一个完整的视频。

其实一开始就有人尝试用SD制作AI动画，从最开始的图生图再到后面Mov2Mov的出现，而现在又出现了“多帧渲染”、Ebsynth这样的创新工具。

这些都会讲，不过会拆分开来好方便大伙学习自己想要的。

图生图批处理

今天就先讲一个最简单也是最基础的方法，将视频手动拆分成一帧一帧的后批量图生图重绘。

在图生图功能的选项部分有一个批量处理的标签，在这个标签里可以选择一个装有图片的文件夹，然后再设定一个输出图片的文件夹。

下方的两个选项还可以批量导入重绘蒙版和骨骼图，可以在掌握了重绘和ControlNet之后进行一些进阶操作。

如果有过视频剪辑经验例如PermirePro的话，应该会知道PermirePro可以导入一段视频后以JPG/PNG的格式将视频导出为一张张图片。

不过没接触过PR的同学也不用慌，有一位来自国内的大佬开发了一个WebUI扩展

作者演示视频来源：https://www.bilibili.com/video/BV1Fh411G7dw/?spm_id_from=333.337.search-card.all.click&vd_source=f18a24315a35799d8d1912ad50652d90

**代码仓库地址：**https://github.com/ClockZinc/sd-webui-IS-NET-pro

这个名为IS-NET Pro的扩展可以用于视屏帧拆分、蒙版识别生成（抠像）等，几乎是专精于AI动画的制作。

安装方式可以看我之前安装扩展的方法，或者直接用代码仓库地址下载最简单，在下载完成之后重启WebUI就可以看到有一个isnet_Pro的选项。

左侧的那一块区域就是可以将视频拆分为帧的功能，在上传完自己想要重置的视频后可以看一下该区域的参数

第一行启用输出帧率控制在不勾选的时候会按照视频的默认帧率输出图片，如果不知道视频的默认帧率多少可以鼠标右键点击视频文件-属性-详细信息：

这个视频是每秒30帧，也就意味着每秒播放30张图片，属于一个标准流畅的视频。

下面的启用时间段裁剪则是用于控制视频中的某一段特定时间，如果上传的视频太长了可以用这个功能裁短。

视频输出地址就是完成视频后那里可以看到重制的视频，然后点击**gen_frame(**生成)后插件就会把视频拆散为一个个单独的帧。

这些被拆出来的图片就是一会要让AI重画的图片了

不过先别急，在正式制作动画之前需要先做一个小小的风格测试，也就是在被拆成一张一张的图片中挑选一张最具代表性的画面，将这个画面放进图生图后调试模型、提示词、参数生成一张想要的画面。

这里具体的选择什么的就看个人喜好了，但是有几点可以注意。

• 重绘尺寸最好和视频大小一致

• 重绘幅度最好0.5左右以免画面混乱

• 提示词不要给得太固定具体

• 因为其大批量的处理是针对每一帧的画面进行操作，提示词会用到每一帧的画面。

在这里关于提示词的使用原教程给出了一些建议(模版)：

• 第一行提示词可以用画质标准化的词：(masterpiece:1,2), best quality, masterpiece, hires, original,

• 第二行提示词描述人物特征: 1girl, brown, long hair, blue dress,

• 第三行提示词描述背景:white background, simple background,

像是我选择的原视频背景比较简单所以简单形容，如果视频转场什么的幅度较大可以用Dynamic Pose这类提示词增强动态感.

在得到差不多符合自己预期的图片之后，固定随机种子！

然后进点击上方的批量生成，设置好输入和输入的文件夹之后点击生成。

接下来这段时间就可以去洗个澡或者是干点别的，保持电脑运行不要熄屏了什么，因为这个过程会稍微漫长，等待时间取决于设备条件。

‍

在经历了漫长的等待之后（其实也不漫长，我在看宝可梦卡牌半个小时一下子就过去了）可以看到输出的文件夹中已经放好了AI重绘的图片。

生成图片之后还需要一步，那就是把重绘的图片重新拼合成视频，这一步还是可以让isnet_Pro来完成。

其实也就是Isnet_Pro右侧板块的功能：

输入地址就填写刚刚重绘后图片放置的地方，输出地址就找一个能找得到的位置即可。

要注意生成的帧率必须和原视频帧率一致，然后点击gene_video之后看到log info显示done就好啦！

可爱捏

因为我的成品效果不佳+视频太大了无法上传我就找一个大佬做的很棒的演示放在这里：

这个更像是局部重绘了脸部，让脸部偏向动漫效果，当然这个肯定比全部重新画一遍的工作量要小一些。

今天的内容就到这里结束啦！

**我的玛俐老婆嘿嘿嘿嘿
**

1girl, marnie (pokemon), solo, holding poke ball, poke ball, dress, holding, black jacket, jacket, pink dress, black hair, asymmetrical bangs, twintails, bangs, looking at viewer, hair ribbon, ribbon, poke ball (basic), choker, black choker, off shoulder, earrings, long sleeves, jewelry, black nails, looking back, long hair, asymmetrical hair, red ribbon, bare shoulders, strap slip, two-tone background, closed mouth, aqua eyes, from behind, green eyes, open clothes, cowboy shot

Negative prompt: Easy Negative, (worst quality:2), (low quality:2), (normal quality:2), lowers, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, (outdoor:1.6), (ugly:1.331), (duplicate:1.331), (morbid:1.21), (mutilated:1.21), (tranny:1.331), mutated hands, (poorly drawn hands:1.5), blurry, (bad anatomy:1.21), (bad proportions:1.331), extra limbs, (disfigured:1.331), (more than 2 nipples:1.331), (missing arams:1.331), (extra legs: 1.331), (fused fingers:1.61051) ,(too many fingers:1.61051), (unclear eyes:1.331), lowers, bad hands, missing fingers, extra digit, (futa:1.1), bad hands, missing fingers, (((extra arms and legs))), extra hair, (2girl:2.0),

• S****teps: 30

• Sampler: DPM++ SDE Karras

• CFG scale: 7

• Seed: 566421218

• Size: 512x512

• Model hash: e4a30e4607

• Model: majicmixRealistic_v6

• Denoising strength: 0.7

• Hires upscale: 2

• Hires upscaler: R-ESRGAN 4x+

• Version: v1.3.2

写在最后

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
 

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

若有侵权，请联系删除