[ComfyUI]AnimateDiff基础教程和使用心得

最新推荐文章于 2024-10-09 17:07:05 发布

AI极客菌

最新推荐文章于 2024-10-09 17:07:05 发布

阅读量1.4k

点赞数 18

本文链接：https://blog.csdn.net/2401_85688943/article/details/140619708

版权

大家好我是极客菌！！！

AnimateDiff是什么

AnimateDiff 是一个能够将个性化的文本转换为图像的扩展模型，它可以在无需特定调整的情况下实现动画效果。通过这个项目，用户可以将他们的想象力以高质量图像的形式展现出来，同时以合理的成本实现这一目标。随着文本到图象模型(例如，Stable Diffusion)和相应的个性化技术(例如，LORA和DreamBooth) 的进步，现在每个人都可以将他们的想象力转化为高质量的图像。随后，为了将生成的静态图像与运动动态相结合，对图像动画技术的需求也随之增加。
在这里插入图片描述

AnimateDiff使用场景

动画创建:通过文本输入，用户可以创建个性化的动画图像，将静态图像转变为动态图像，为创意表达提供了一种新的方式。

视频制作: 为视频制作人员提供了一种新的工具，可以将文本描述转换为动画图像，从而丰富视频内容。

安装comfyui

安装ComfyUI-AnimateDiff-Evolved之前，需要先安装ComfyUI，ComfyUI的安装和使用介绍请参考我的另一篇文章。本篇只介绍如何安装和使用AnimateDiff插件。
在这里插入图片描述

系统要求：

需要一台搭载 NVIDIA 显卡的 Windows 计算机，显存至少为 8GB（8G显存只能在512x512 分辨率下搭配 ControlNets）。

AnimateDiff节点安装

ComfyUI-AnimateDiff-Evolved用于加载AnimateDiff的模型，ComfyUI-VideoHelperSuite用于加载视频或将多张图片合成视频，ComfyUI-Advanced-ControlNet用于在AnimateDiff中使用ControlNet来控制动画中对象的动作。

ComfyUI-AnimateDiff-Evolved,
ComfyUI-VideoHelperSuite
ComfyUI-Advanced-ControlNet
FizzNodes

安装插件：

安装ComfyUI-Manager节点
界面中打开Manager助手，分别搜索安装以下节点：

ComfyUI-AnimateDiff-Evolved、ComfyUI-VideoHelperSuite、ComfyUI-Advanced-ControlNet

在这里插入图片描述

节点安装在custom_nodes目录下，安装完成后需要重启ComfyUI。

下载绘画大模型：

真人写实模型:

majicMIX realistic 麦橘写实

Dreamshaper 8

C站上的Dreamshaper 8这个模型

哩布上看排行榜TOP就对了：

在这里插入图片描述

下载好的模型放到ComfyUI > models > checkpoints目录。

下载AnimateDiff动态特征模型：

官方提供的motion modules包括mm_sd_v14, mm_sd_v15和mm_sd_v15_v2，V3_sd_v15_mm，推荐下载mm_sd_v15_v2和V3_sd_v15_mm，下载后放在ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models目录下

在这里插入图片描述

下载运动模块：

可选项：也可以下载motion lora来影响基于v2版本的运动模块，将下载的模型放在ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/motion-lora目录下

在这里插入图片描述

下载 VAE 模型：

下载VAE，放到ComfyUI > models > vae这个目录里。用的比较多的是8400这个VAE模型。将其放入 VAE 文件夹。

在这里插入图片描述

下载 ControlNet模型：

下载 controlnet模型，放到ComfyUI > models > controlnet文件夹。（如果是共用本地webui的不用操作此步骤）

使用 AnimateDiff 制作视频

animateDiff中最核心的节点是AnimateDIff Loader，输入中的model是sd的checkpoint模型；context_options是采样时使用的可选上下文窗口，如果传入，则动画总长度没有限制，如果未传入，动画长度将限制为 24 或 32 帧，具体取决于运动模块；motion_lora是motion module的lora模型，如果传入，会影响运动模型

要加载工作流程，可以单击 “加载” 或将工作流程拖到 ComfyUI 上。

节点解释

有些节点应该是很容易理解的，不过我会对大多数节点做一些说明。

在这里插入图片描述

AnimateDiff 加载器

在这里插入图片描述

Loader 是_使用 AnimateDiff 所需的唯一节点_，它输出一个模型，该模型在传递到采样节点时将执行 AnimateDiff 功能。

输入：

model：为 AnimateDiff 使用而设置的模型。
context_options：采样时使用的可选上下文窗口；如果传入，则动画总长度没有限制。如果未传入，动画长度将限制为 24 或 32 帧，具体取决于运动模型。
Motion_lora：可选运动LoRA输入；如果传入，会影响运动。
Motion_model_settings：影响运动模型的可选设置。
model_name：与 AnimateDiff 一起使用的运动模型。
beta_schedule：SD 噪声调度程序。sqrt_linear是使用 AnimateDiff 的预期方式，具有预期的饱和度。然而，linear也可以给出有用的结果，所以请随意尝试。
motion_scale：改变运动模型生成的运动量 - 如果小于1，则运动量减少；如果大于 1，则运动更多。

输出：

MODEL：注入模型以执行 AnimateDiff 函数

AnimateDiff LoRA 加载器

允许将运动 LoRA 插入运动模型。当前的运动 LoRA 仅正确支持基于 v2 的运动模型。不影响采样速度，因为这些值在模型加载后被冻结目前，我知道的基于 v2 的三个模型是mm_sd_v15_v2、mm-p_0.5.pth和mm-p_0.75.pth。

输入：

lora_name：放置在ComfyUI/custom_node/ComfyUI-AnimateDiff-Evolved/motion-lora目录中的 Motion LoRA 的名称。
强度：Motion LoRA 的效果应该有多强（或多弱）。值太高可能会导致最终渲染中出现伪影。
prev_motion_lora：可选输入，允许将 LoRA 堆叠在一起。

输出：

MOTION_LORA：motion_lora 对象存储其后面链接的所有 LoRA 的名称 - 可以插入另一个 AnimateDiff LoRA Loader 的后面，或插入 AnimateDiff Loader 的motion_lora 输入。

在这里插入图片描述

模型加载节点

在这里插入图片描述

基础的文生图模块，使用前需要加载模型（要注意区分是SD1.5还是XL模型），VAE加载器。

相关模型需要先放到对应的的文件夹，否则会报错。

Clip提示词节点

在这里插入图片描述

输入正向，负向提示词。

ControlNet节点

在这里插入图片描述

这是一个基本的 Controlnet 设置。根据我们所需要加载的Controlnet 设置（openpos,tile,deptp,lineart等）

FizzNodes 提示调度器

FizzNodes 的提示调度器，BathPromptSchedule.

pre_text - 提示之前要放在前面的文本（可以将正向质量提示词输入）。
app_text - 提示之后要放在后面的文本。

在这里插入图片描述

KSSampler采样器节点

以下是一些参数的解释：

步骤（Steps）：通常设为20 步-30步，如果使用LCM lora，则只需在2-5之间。
CFG：可以适当增加，超过通常的稳定扩散设置。
Sampler（采样器）：写实，二次元，对应不同的选择。
Denoise（降噪）：除非在进行 Vid2Vid，否则将其保持为 1。如果您在进行 Vid2Vid，可以降低这个值，以保持与原始视频更接近。

在这里插入图片描述

保存图片节点节点

在这里插入图片描述

以下是输出节点，最终将生成的结果存在下面路径：

在这里插入图片描述

请注意如何设置保存图像节点，以便将结果保存到文件夹中。
对于合并节点，默认会创建 GIF。请知道 GIF 看起来比单独的帧差很多，所以即使 GIF 看起来不太好，它在视频中可能看起来很棒。
frame_rate - GIF 的帧速率
loop_count - 在停止之前循环的次数。0 表示无限循环。
format - 更改输出格式，如 GIF、MP4 等。
pingpong - 视频将通过所有帧，然后返回，而不仅仅是单向播放。
save image - 保存视频的一帧图像（因为视频不包含元数据，这是一种保存工作流程的方法，如果您不同时保存图像的话）。

生成视频

点击Queue Prompt开始生成视频了.视频生成的进度可以在KSampler节点里面看绿色的进度条。

在这里插入图片描述

在ComfyUI的windows终端里也可以看到进度以及出现的错误信息：

在这里插入图片描述

生成结束后，视频会在AnimateDiff Combine这个组件里合成

在这里插入图片描述

4.示例

一个女孩的一生

在这里插入图片描述

生成效果如下：（无法插入MP4和大文件图片）

在这里插入图片描述

txt2img

在这里插入图片描述

txt2img

在这里插入图片描述

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

在这里插入图片描述

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
在这里插入图片描述