Stable Diffusion｜儿童绘本全流程制作分享

上次分享了一个将小说转化为视频的全过程的教程。今天分享一个如何用Stable Diffusion制作儿童绘本，儿童绘本制作起来会稍微简单一些。

一个小想法

现在大部分的孩子或学生都会写作文，如果把孩子写的作文转化为一个生动的小视频，是不是能够提高他们的创作成就感，同时也能激发他们对阅读和写作的兴趣呢？

1

前期准备

本文将会用到“Stable Diffusion”、“极虎漫剪”、“剪映”以及一个Stable Diffusion的插件“Agent Scheduler”。对了，还有绘本内容，绘本内容可以用AI语言大模型生成，或者如果有现成也可以，然后直接复制粘贴到一个Word文档上即可。

Stable Diffusion以及剪映我就不介绍啦。

1. 极虎漫剪前面分享小说转视频的时候有分享过这个工具，感兴趣的可以去看看。（本文只用此工具里面的智能分镜以及关键词推理）

极虎漫剪的使用方法以及介绍：

2. Agent Scheduler插件安装，Agent Scheduler是一个Stable Diffusion里面的一个批量生成图片的插件。

Github地址：https://github.com/ArtVentureX/sd-webui-agent-scheduler

有三种安装方法：

1. 启动“Stable Diffusion”，点击“扩展”—“可下载”—在点击“加载扩展列表”，搜索关键词“agent scheduler”，点击“安装“，安装完成之后，重启一下“Stable Diffusion”即可。

2. 从网址安装，复制Github的URL，将插件的URL粘贴到“扩展的git仓库网址”上，在点击”安装“，安装完成之后，重启一下”Stable Diffusion“即可。

插件Github URL：https://github.com/ArtVentureX/sd-webui-agent-scheduler.git

3. 插件安装包安装，在Github下载该插件的安装包并安装到“Stable Diffusion”目录中的“extensions”文件夹中即可。

2

绘本制作

安装好所有的插件以及工具之后，就可以开始之后绘本啦。

1. 首先，启动“Stable Diffusion”，并打开“极虎漫剪”。

2. 打开“极虎漫剪”，没注册的可以点击右上角注册，已注册并登录的，点击“创作视频”，输入”项目名称”然后再点击“创建项目”。

3. 点击中间的“脚本文件导入”，分镜标识符选择“通过“智能解析”分镜”然后点击“导入文件”选择准备好的绘本导入即可。如果自己已经分好镜了，建议使用“Excel”导入。

4. 绘本导入了之后，它会自动帮我们进行智能分镜。分完镜之后，点击左上角的“推理关键词”按钮，关键词推理完之后，点击“下一步”即可。

5. 到了“批量绘图”这一步之后，它就会将关键词翻译成英文，极虎漫剪就可以用到这里了，我们只需要这里的分镜以及关键词。如果想继续用“极虎漫剪”可以直接“开始绘图”。之前已经详细介绍了使用“极虎漫剪”的方法，本文将介绍使用Stable Diffusion的插件“agent scheduler”来进行制作。

6. 打开刚刚已启动的Stable Diffusion，选择一个用于制作绘本的大模型。

这里的大模型我选择的是“manmaruMix_v30”很适合做儿童绘本的大模型，可以在“liblib”和“Civitai”上下载此模型。（在这里感谢这位模型作者的分享，谢谢！）

7. 输入正向提示词和反向提示词。反向提示词用一个通用的即可，正向提示词这里在最前面可以加一些质量的提示词，然后后面的加上刚刚用极虎漫剪推理出来的提示词。

对了，差点忘了！，点击菜单栏上的“Agent Scheduler”插件，然后点击“暂停”，在我们还未添加完所有镜头的提示词之前，最好先暂停，以防止在参数未设置好的情况下就开始生成。

8. 设置绘本生成的参数，这里根据自己的需求设置一下就行。

9. 设置好以上参数之后，点击“生成”下面的“排队”，它就会将这第一镜的提示词以及参数，发送到“Agent Scheduler”插件里面，然后将“任务ID”改为1或者第一镜的内容，这样可以更清晰的看到每一镜的参数。

对于剩余的镜头，只需将剩余镜头的提示词依次粘贴到正向提示词中，然后点击“排队”即可。生成参数可保持不变。

10. 将所有的镜头添加完之后，可以检查一下看还有没有遗漏的或者有没有需要改的参数，然后点击左上角的“Resumer”就开始生成啦。

11. 当图片生成完成后，点击“任务历史”可以查看刚刚生成的所有图片。如果对结果不满意，可以双击列表并调整提示词和参数。在调整后，点击右侧操作区的重新生成按钮，即可重新生成该镜头的图片。对满意的图片可以，点击保存，将图片保存下来。

图片都准备就绪之后，可以通过图片处理工具进行文字添加，由此，静态的绘本便得以呈现。对于希望将其转化为视频的，可以继续往下看。

3

视频合成

在制作视频之前，我们可以利用绘本内容生成一段音频，以便后续更便捷地生成字幕。

1. 打开“TTSMaker”，将绘本内容复制并粘贴到输入框中。接着，选择语言以及音色。如果要进行更多设置，可以点击“更多设置”；若对此保持默认，只需点击“转换为语音”，即可生成音频。

TTSMaker链接：https://ttsmaker.com/

2. 生成完成之后，点击下载音频即可。

3. 音频生成完之后，打开“剪映”，将刚刚准备好的图片以及音频导入到剪映。

4. 导入完成之后，可以把音频的气口处理一下。例如，如果某些地方的气口过长，可以适当剪短一些，这样会使听感更加舒适。

5. 处理完音频之后，就可以开始生成字幕了，点击左上角的“文本”-“智能字幕”-“文稿匹配”将绘本内容复制粘贴进去，然后点击开始匹配。

6. 字幕生成完成之后，选中所有的字幕，然后点击右侧有个锁的图标，将字幕锁住。（锁住字幕可以更方便的将图片与音频对上）

7. 这一步就比较繁琐了，需要将图片跟音频对上。可以一边看“极虎漫剪”生成分镜，然后一边手动的将图片对上音频（如果嫌麻烦，可以在“极虎漫剪”上完成）。

8. 接下来可以将字幕颜色以及字体稍微调整一下，然后添加一个背景音乐。

9. 将背景音乐剪到一个合适的长度，然后背景音乐的音量调整到“-13.0dB” 左右，然后配音的音量调整到“8.0dB”左右即可。确保背景音乐的声音不会超过配音的音量。

10. 目前的图片还是静态的，这里可以让图片稍微动起来一些。例如，可以给每张图片添加上下或左右移动的关键帧，这样可以让整个视频在视觉上更加生动、有趣。

这里我将每一张图片都放大到了120%，并且给每一张图片都打了上下移动的关键帧（第一张图片的起始帧为100，结束帧为-200；第二张图片的起始帧为-100，结束帧为200，以此类推）。

10. 到这里就制作完成啦，如果还想加点东西，可以稍微加一些音效、特效等等。调整完之后，点击左上方的“文件”-“导出”导出视频。

4

最后

以上就是今天的所有分享。现在大部分孩子或学生都具备写作的能力，如果将他们所写的作文转化为具有生动情节的绘本、小视频，或者以孩子或自己为主角生成绘本，将带来一种独特的代入感，使整个写作或阅读过程更加有趣。

如有侵权，请联系删除。

写在最后

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
 

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

若有侵权，请联系删除!