【SD插件AnimateDiff】：稳定扩散模型生成动画GIF

AnimateDiff采用控制模块来影响Stable Diffusion模型，通过大量短视频剪辑的训练，使其能够调整图像生成过程，生成一系列与训练视频剪辑相似的图像。与传统的SD模型训练方式不同，AnimateDiff通过大量短视频的训练来提高图像之间的连续性，使得生成的每一张图像都能经过AnimateDiff微调，最终拼接成高质量短视频。

可以使用colab体验（https://colab.research.google.com/github/camenduru/AnimateDiff-
colab/blob/main/AnimateDiff_colab.ipynb ）。也可以本地sd-webui安装使用。下面介绍sd-
webui安装方式。

AnimateDiff插件是一个可以让你在WebUI上方便地生成动画GIF的扩展，它支持多种运动模块（Motion
Module，MM），包括官方的v2版本，以及LoRA和ControlNet等创新的技术。AnimateDiff插件的主要功能和使用方法：

• 安装和准备 ：要使用AnimateDiff插件，需要先更新WebUI到v1.6.0 ，然后通过链接安装sd-webui-animatediff（https://github.com/continue-revolution/sd-webui-animatediff）这个插件扩展。同时还需要下载模型的ckpt文件，并放在stable-diffusion-webui/extensions/sd-webui-animatediff/model/目录下。可以在huggingface代码库https://huggingface.co/guoyww/animatediff/tree/main中找到可用的ckpt模型和LoRA模块。注意：mm_sd_v15_v2.ckpt仅支持SD1.5模型，如果要使用SDXL需要下载mm_sdxl_v10_beta.ckpt模型。

• 生成动画GIF ：在txt2img或img2img中使用AnimateDiff插件来生成动画GIF。选择一个SDM的检查点，写下绘图prompt，设置图片的宽度和高度等参数。如果想一次生成多个GIF，可以修改批次数量，而不是批次大小。然后需要启用AnimateDiff扩展，设置每个参数，然后点击Generate。就可以在输出画廊中看到输出的GIF了。也可以在stable-diffusion-webui/outputs/{txt2img或img2img}-images/AnimateDiff/{yy-mm-dd}中访问GIF输出。可以在stable-diffusion-webui/outputs/{txt2img或img2img}-images/{yy-mm-dd}中访问图片要在Settings/AnimateDiff中选择保存每次生成的帧到目录。相关web-ui参数设置：https://github.com/continue-revolution/sd-webui-animatediff?tab=readme-ov-file#webui-parameters

• 使用API ：可以通过API来使用AnimateDiff插件。API会返回一个base64格式的视频。在format中，PNG表示只保存帧到本地文件系统，而不返回所有的帧。如果想让API返回所有的帧，请在format列表中添加Frame。关于API最新的参数：https://github.com/continue-revolution/sd-webui-animatediff?tab=readme-ov-file#api。

• 使用LoRA和ControlNet ：AnimateDiff插件支持LoRA和ControlNet这两种创新的技术。LoRA是一种基于局部重建的运动模块，它可以生成更清晰和更连贯的动画。ControlNet是一种基于控制点的运动模块，它可以通过拖动控制点来改变图片的形状和方向。下载LoRA文件放置stable-diffusion-webui/models/Lora目录，并在prompt 增加<lora:v2_lora_PanDown:0.8>。

在SD-Web-UI扩展安装 ：

https://github.com/continue-revolution/sd-webui-animatediff.git


  * 1

下载模型：

https://huggingface.co/guoyww/animatediff


  * 1

• 注意：模型放置目录：stable-diffusion-webui/extensions/sd-webui-animatediff/model/。mm_sd_v15_v2.ckpt仅支持SD1.5模型，如果要使用SDXL需要下载mm_sdxl_v10_beta.ckpt模型。

• 下载LoRA文件放置目录stable-diffusion-webui/models/Lora

安装重启webui：

效果体验

---

但由于AIGC刚刚爆火，网上相关内容的文章博客五花八门、良莠不齐。要么杂乱、零散、碎片化，看着看着就衔接不上了，要么内容质量太浅，学不到干货。

这里分享给大家一份Adobe大神整理的《AIGC全家桶学习笔记》，相信大家会对AIGC有着更深入、更系统的理解。

有需要的朋友，可以长按下方二维码，免费领取！

AIGC所有方向的学习路线思维导图

这里为大家提供了总的路线图。它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。如果下面这个学习路线能帮助大家将AI利用到自身工作上去，那么我的使命也就完成了：

AIGC工具库

AIGC工具库是一个利用人工智能技术来生成应用程序的代码和内容的工具集合，通过使用AIGC工具库，能更加快速，准确的辅助我们学习AIGC

有需要的朋友，可以点击下方卡片免费领取！

精品AIGC学习书籍手册

书籍阅读永不过时，阅读AIGC经典书籍可以帮助读者提高技术水平，开拓视野，掌握核心技术，提高解决问题的能力，同时也可以借鉴他人的经验，结合自身案例融会贯通。

AI绘画视频合集

我们在学习的时候，往往书籍源码难以理解，阅读困难，这时候视频教程教程是就很适合了，生动形象加上案例实战，科学有趣才能更方便的学习下去。

有需要的朋友，可以长按下方二维码，免费领取！