[ComfyUI]AnimateDiff基础教程和使用心得

最新推荐文章于 2024-08-23 09:45:00 发布

万天峰

最新推荐文章于 2024-08-23 09:45:00 发布

阅读量536

点赞数 5

文章标签：人工智能 AIGC ai绘画

本文链接：https://blog.csdn.net/text2204/article/details/140815071

版权

AnimateDiff是什么

AnimateDiff
是一个能够将个性化的文本转换为图像的扩展模型，它可以在无需特定调整的情况下实现动画效果。通过这个项目，用户可以将他们的想象力以高质量图像的形式展现出来，同时以合理的成本实现这一目标。随着文本到图象模型(例如，Stable
Diffusion)和相应的个性化技术(例如，LORA和DreamBooth)
的进步，现在每个人都可以将他们的想象力转化为高质量的图像。随后，为了将生成的静态图像与运动动态相结合，对图像动画技术的需求也随之增加。
在这里插入图片描述

AnimateDiff使用场景

动画创建:通过文本输入，用户可以创建个性化的动画图像，将静态图像转变为动态图像，为创意表达提供了一种新的方式。

视频制作: 为视频制作人员提供了一种新的工具，可以将文本描述转换为动画图像，从而丰富视频内容。

安装comfyui

安装ComfyUI-AnimateDiff-
Evolved之前，需要先安装ComfyUI，ComfyUI的安装和使用介绍请参考我的另一篇文章。本篇只介绍如何安装和使用AnimateDiff插件。

系统要求：

需要一台搭载 NVIDIA 显卡的 Windows 计算机，显存至少为 8GB（8G显存只能在512x512 分辨率下搭配 ControlNets）。

AnimateDiff节点安装

ComfyUI-AnimateDiff-Evolved用于加载AnimateDiff的模型，ComfyUI-
VideoHelperSuite用于加载视频或将多张图片合成视频，ComfyUI-Advanced-
ControlNet用于在AnimateDiff中使用ControlNet来控制动画中对象的动作。

ComfyUI-AnimateDiff-Evolved,
ComfyUI-VideoHelperSuite
ComfyUI-Advanced-ControlNet
FizzNodes

安装插件：

安装ComfyUI-Manager节点
界面中打开Manager助手，分别搜索安装以下节点：

ComfyUI-AnimateDiff-Evolved、ComfyUI-VideoHelperSuite、ComfyUI-Advanced-ControlNet

在这里插入图片描述

节点安装在custom_nodes目录下，安装完成后需要重启ComfyUI。

下载绘画大模型：

真人写实模型:

majicMIX realistic 麦橘写实

Dreamshaper 8

C站上的Dreamshaper 8这个模型

哩布上看排行榜TOP就对了：

在这里插入图片描述

下载好的模型放到ComfyUI > models > checkpoints目录。

下载AnimateDiff动态特征模型：

官方提供的motion modules包括mm_sd_v14,
mm_sd_v15和mm_sd_v15_v2，V3_sd_v15_mm，推荐下载mm_sd_v15_v2和V3_sd_v15_mm，下载后放在ComfyUI/custom_nodes/ComfyUI-
AnimateDiff-Evolved/models目录下

在这里插入图片描述

下载运动模块：

可选项：也可以下载motion lora来影响基于v2版本的运动模块，将下载的模型放在ComfyUI/custom_nodes/ComfyUI-
AnimateDiff-Evolved/motion-lora目录下

在这里插入图片描述

下载 VAE 模型：

下载VAE，放到ComfyUI > models > vae这个目录里。用的比较多的是8400这个VAE模型。将其放入 VAE 文件夹。

在这里插入图片描述

下载 ControlNet模型：

下载 controlnet模型，放到ComfyUI > models > controlnet文件夹。（如果是共用本地webui的不用操作此步骤）

使用 AnimateDiff 制作视频

animateDiff中最核心的节点是AnimateDIff
Loader，输入中的model是sd的checkpoint模型；context_options是采样时使用的可选上下文窗口，
如果传入，则动画总长度没有限制，如果未传入，动画长度将限制为 24 或 32 帧，具体取决于运动模块；motion_lora是motion
module的lora模型，如果传入，会影响运动模型

要加载工作流程，可以单击 “加载” 或将工作流程拖到 ComfyUI 上。

节点解释

有些节点应该是很容易理解的，不过我会对大多数节点做一些说明。

在这里插入图片描述

AnimateDiff 加载器

在这里插入图片描述

Loader 是_使用 AnimateDiff 所需的唯一节点 _，它输出一个模型，该模型在传递到采样节点时将执行 AnimateDiff 功能。

输入：

model：为 AnimateDiff 使用而设置的模型。
context_options：采样时使用的可选上下文窗口；如果传入，则动画总长度没有限制。如果未传入，动画长度将限制为 24 或 32 帧，具体取决于运动模型。
Motion_lora：可选运动LoRA输入；如果传入，会影响运动。
Motion_model_settings：影响运动模型的可选设置。
model_name：与 AnimateDiff 一起使用的运动模型。
beta_schedule：SD 噪声调度程序。sqrt_linear是使用 AnimateDiff 的预期方式，具有预期的饱和度。然而，linear也可以给出有用的结果，所以请随意尝试。
motion_scale：改变运动模型生成的运动量 - 如果小于1，则运动量减少；如果大于 1，则运动更多。

输出：

MODEL：注入模型以执行 AnimateDiff 函数

AnimateDiff LoRA 加载器

允许将运动 LoRA 插入运动模型。当前的运动 LoRA 仅正确支持基于 v2 的运动模型。不影响采样速度，因为这些值在模型加载后被冻结目前，我知道的基于
v2 的三个模型是mm_sd_v15_v2、mm-p_0.5.pth和mm-p_0.75.pth。

输入：

lora_name：放置在ComfyUI/custom_node/ComfyUI-AnimateDiff-Evolved/motion-lora目录中的 Motion LoRA 的名称。
强度：Motion LoRA 的效果应该有多强（或多弱）。值太高可能会导致最终渲染中出现伪影。
prev_motion_lora：可选输入，允许将 LoRA 堆叠在一起。

输出：

MOTION_LORA：motion_lora 对象存储其后面链接的所有 LoRA 的名称 - 可以插入另一个 AnimateDiff LoRA Loader 的后面，或插入 AnimateDiff Loader 的motion_lora 输入。

在这里插入图片描述

模型加载节点

在这里插入图片描述

基础的文生图模块，使用前需要加载模型（要注意区分是SD1.5还是XL模型），VAE加载器。

相关模型需要先放到对应的的文件夹，否则会报错。

Clip提示词节点

在这里插入图片描述

输入正向，负向提示词。

ControlNet节点

在这里插入图片描述

这是一个基本的 Controlnet 设置。根据我们所需要加载的Controlnet 设置（openpos,tile,deptp,lineart等）

FizzNodes 提示调度器

FizzNodes 的提示调度器，BathPromptSchedule.

pre_text - 提示之前要放在前面的文本（可以将正向质量提示词输入）。
app_text - 提示之后要放在后面的文本。

在这里插入图片描述

KSSampler采样器节点

以下是一些参数的解释：

步骤（Steps）：通常设为20 步-30步，如果使用LCM lora，则只需在2-5之间。
CFG：可以适当增加，超过通常的稳定扩散设置。
Sampler（采样器）：写实，二次元，对应不同的选择。
Denoise（降噪）：除非在进行 Vid2Vid，否则将其保持为 1。如果您在进行 Vid2Vid，可以降低这个值，以保持与原始视频更接近。

在这里插入图片描述

保存图片节点节点

在这里插入图片描述

以下是输出节点，最终将生成的结果存在下面路径：

在这里插入图片描述

请注意如何设置保存图像节点，以便将结果保存到文件夹中。
对于合并节点，默认会创建 GIF。请知道 GIF 看起来比单独的帧差很多，所以即使 GIF 看起来不太好，它在视频中可能看起来很棒。
frame_rate - GIF 的帧速率
loop_count - 在停止之前循环的次数。0 表示无限循环。
format - 更改输出格式，如 GIF、MP4 等。
pingpong - 视频将通过所有帧，然后返回，而不仅仅是单向播放。
save image - 保存视频的一帧图像（因为视频不包含元数据，这是一种保存工作流程的方法，如果您不同时保存图像的话）。

生成视频

点击Queue Prompt开始生成视频了.视频生成的进度可以在KSampler节点里面看绿色的进度条。

在这里插入图片描述

在ComfyUI的windows终端里也可以看到进度以及出现的错误信息：

在这里插入图片描述

生成结束后，视频会在AnimateDiff Combine这个组件里合成

在这里插入图片描述

4.示例

一个女孩的一生

在这里插入图片描述

生成效果如下：（无法插入MP4和大文件图片）

在这里插入图片描述

txt2img

在这里插入图片描述

txt2img

在这里插入图片描述

针对各位AIGC初学者，这里列举了一条完整的学习计划，感兴趣的可以阅读看看，希望对你的学习之路有所帮助，废话不多说，进入正题：目标应该是这样的：

第一阶段（30天）：AI-GPT从入门到深度应用

该阶段首先通过介绍AI-GPT从入门到深度应用目录结构让大家对GPT有一个简单的认识，同时知道为什么要学习GPT使用方法。然后我们会正式学习GPT深度玩法应用场景。

-----------

GPT的定义与概述
GPT与其他AI对比区别
GPT超强记忆力体验
万能GPT如何帮你解决一切问题？
GPT表达方式优化
GPT多类复杂应用场景解读
3步刨根问底获取终极方案
4步提高技巧-GPT高情商沟通
GPT深度玩法应用场景
GPT高级角色扮演-教学老师
GPT高级角色扮演-育儿专家
GPT高级角色扮演-职业顾问
GPT高级角色扮演-专业私人健身教练
GPT高级角色扮演-心理健康顾问
GPT高级角色扮演-程序UX/UI界面开发顾问
GPT高级角色扮演-产品经理
GPT高级技巧-游戏IP角色扮演
GPT高级技巧-文本冒险游戏引导
GPT实操练习-销售行业
GPT实操练习-菜谱推荐
GPT实操练习-美容护肤
GPT实操练习-知识问答
GPT实操练习-语言学习
GPT实操练习-科学减脂
GPT实操练习-情感咨询
GPT实操练习-私人医生
GPT实操练习-语言翻译
GPT实操练习-作业辅导
GPT实操练习-聊天陪伴
GPT实操练习-育儿建议
GPT实操练习-资产配置
GPT实操练习-教学课程编排
GPT实操练习-活动策划
GPT实操练习-法律顾问
GPT实操练习-旅游指南
GPT实操练习-编辑剧本
GPT实操练习-面试招聘
GPT实操练习-宠物护理和训练
GPT实操练习-吸睛爆款标题生成
GPT实操练习-自媒体爆款软件拆解
GPT实操练习-自媒体文章创作
GPT实操练习-高效写作推广方案
GPT实操练习-星座分析
GPT实操练习-原创音乐创作
GPT实操练习-起名/解梦/写诗/写情书/写小说
GPT提升工作效率-Word关键字词提取
GPT提升工作效率-Word翻译实现
GPT提升工作效率-Word自动填写、排版
GPT提升工作效率-Word自动纠错、建议
GPT提升工作效率-Word批量生产优质文章
GPT提升工作效率-Excel自动化实现数据计算、分析
GPT提升工作效率-Excel快速生成、拆分及合并实战
GPT提升工作效率-Excel生成复杂任务实战
GPT提升工作效率-Excel用Chat Excel让效率起飞
GPT提升工作效率–PPT文档内容读取实现
GPT提升工作效率–PPT快速批量调整PPT文档
GPT提升工作效率-文件批量创建、复制、移动等高效操作
GPT提升工作效率-文件遍历、搜索等高效操作
GPT提升工作效率-邮件自动发送
GPT提升工作效率-邮件自动回复
GPT接入QQ与QQ群实战
GPT接入微信与微信群实战
GPT接入QQ与VX多用户访问实战
GPT接入工具与脚本部署实战

第二阶段（30天）：AI-绘画进阶实战

该阶段我们正式进入AI-绘画进阶实战学习，首先通过了解AI绘画定义与概述，AI绘画的应用领域，PAI绘画与传统绘画的区别，AI绘画的工具分类介绍的基本概念，以及AI绘画工具Midjourney、Stable Diffusion的使用方法，还有AI绘画插件和模板的使用为我们接下来的实战设计学习做铺垫。