ComfyUI-AnimateDiff-Evolved(1)_节点和模型基础介绍

😄为什么要写这篇文章

网络上很多使用Comfyui来讲animatediff的视频和文章，但要么过于零碎，要么就是老版本的animatediff，这个插件既然火了这么久，而且持续在进化，那么我们不妨看看这个插件的原作者是怎么描述这个插件的使用场景的。

(animtediff的论文和本身的git我就不翻译了，网络上也比较好找，这里重点讲comfyui下这个evolved插件的用法。)

插件原作者地址，英文好的朋友可以直接去原作者这里看：

GitHub - Kosinkadink/ComfyUI-AnimateDiff-Evolved: Improved AnimateDiff for ComfyUI and Advanced Sampling Support

不过如果你感兴趣我的一些测试过程，不妨也看看这篇哈哈~

（内容比较长，所以可能会分几篇，并非为了水篇幅，是真的写不完。）

第一篇：ComfyUI-AnimateDiff-Evolved(1)_节点和模型基础介绍

第二篇：ComfyUI-AnimateDiff-Evolved(2)_GEN1和GEN2两种节点有何区别？以及怎么用？

第三篇：ComfyUI-AnimateDiff-Evolved(3)_上下文设置理解

第四篇（完结）：ComfyUI-AnimateDiff-Evolved(4)_采样器设置相关参数

🧨节点介绍：AnimateDiff for ComfyUI

改进了ComfyUI中使用AnimateDiff的方法，并且支持高级采样方法。请阅读 AnimateDiff 自述文件和 Wiki，了解有关其核心工作原理的更多信息。 原git。

AnimateDiff 工作流程通常会使用这些节点包：

• ComfyUI_FizzNodes：用于使用 BatchPromptSchedule 节点进行提示旅行功能，比如说之前“一个女孩的一生”类的视频，就使用了这类能力（并不一定非得是这个节点就是了哈哈）。如果不需要这类功能，可以先不装。
• ComfyUI-Advanced-ControlNet：用于使 ControlNet 与上下文选项配合使用并控制哪些潜在变量应受到 ControlNet 输入的影响，注意，这里使用ComfyUI自带的Controlnet是不能生成32帧以上的视频的，所以这个节点可以说是必装了。
• ComfyUI-VideoHelperSuite：用于加载视频、将图像组合成视频以及执行各种图像/潜在操作，如附加、分割、复制、选择或计数。简单理解就是，如果想要生成的不是一堆零散的图片而是一个完整的视频，那么必装。
• comfyui_controlnet_aux：用于 ControlNet 预处理器，在普通 ComfyUI 中不存在。众所周知，Controlnet中输入的图片并非是原始图片，需要预处理成Controlnet模型可以理解的特殊样式，比如说线条、边缘、人物骨骼、深度图等等，才能被controlnet的模型更好的识别和理解，所以也是必装了。
• ComfyUI_IPAdapter_plus：用于 IPAdapter 支持。比如说你想要生成的人物更像某个具体的人物，那么这个节点就很有用了，如果不需要这类功能，可以后续再装。

🎲安装（二选一即可）

如果使用 ComfyUI 管理器：

1. 寻找AnimateDiff Evolved并确定作者是Kosinkadink，安装就好了。 

如果手动安装：

1. 将此git库克隆到custom_nodes文件夹中。https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved.git

✨模型设置：

1. 下载运动模块，至少下载一个，不同的模块会产生不同的结果。
   1. 官方原版模型 mm_sd_v14, mm_sd_v15, mm_sd_v15_v2, v3_sd15_mm: HuggingFace | Google Drive | CivitAI
   2. 基于mm_sd_v14的微调优化模型，优化了画面稳定性， 作者：manshoety: HuggingFace
   3. 基于mm_sd_v15_v2的微调优化模型，作者 ：manshoety : HuggingFace
   4.  高分辨率优化模型TemporalDiff ，根据作者介绍，animatediff的原运动模型是基于256x256的数据集，而这个采用了512x512的数据集。作者：CiaraRowles: HuggingFace
   5. 普通运动模型的 FP16/safetensor 版本，作者：continue-revolution（占用较少的存储空间，但使用的时候与原版占用的显存一样大，所以按需选择咯~）：HuffingFace
2. 将模型放置在以下位置之一（如果您愿意，可以重命名模型）：
   • ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models
   • ComfyUI/models/animatediff_models
3. 或者，您可以使用运动 LoRA 来影响基于 v2 的运动模型（如 mm_sd_v15_v2）的运动方式。
   • Google Drive | HuggingFace | CivitAI
   • 将 Motion LoRA 放置在以下位置之一（如果您愿意，您可以重命名 Motion LoRA）：
     • ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/motion_lora
     • ComfyUI/models/animatediff_motion_lora
4. 使用的时候不必过于拘谨，发挥创意吧！如果一种方法适用于正常图像生成，那么它（可能）也适用于 AnimateDiff 生成。比如说放大潜空间变量，或者添加多个ControlNet，甚至使用ControlNet仅控制某一部分动画画面，没问题，都可以的。多试试看咯，万一能行呢~

此外，您还可以通过ComfyUI的extra_model_paths.yaml文件为模型、运动lora使用自定义位置，这样就可以在webui和comfyui里边只存放一份模型文件就好了，主要还是节省硬盘空间。运行模型的文件夹ID为：animatediff_models,运动lora文件夹的ID为：animatediff_motion_lora。

🎇模型简单测试

接下来我们测试下几个不同的运动模型，在卡通类大模型和写实类大模型下的表现，测试方法是锁定种子和提示词，看下不同运动模型下的效果：

卡通模型revanimated_v122:

mm_sd_15_v2	mm-p_0.5	mm-p_0.75	tempraldiff

写实模型majicMixRealistic_v7:

mm_sd_15_v2	mm-p_0.5	mm-p_0.75	tempraldiff

整体来说，短时间内看效果的话，貌似效果都差不多，但也可以武断的先得出一个结论，貌似不同的模型动画的幅度会差别很大，rev模型的动画都很细微，而majicV7模型的动画幅度会大很多，不同的动画模型，暂时看没有太多区别。

也欢迎大家评论区一起讨论。

🎆写在最后

大年初五，聚梦小课堂给大家拜年啦，祝福大家2024顺顺利利，股票大涨，加薪升职，事业腾飞哦~

聚梦小课堂的个人空间-聚梦小课堂个人主页-哔哩哔哩视频