做动画？Animatediff 和 ComfyUI 更配哦！

于 2024-08-29 09:30:00 发布
阅读量987 收藏 20
点赞数 16
分类专栏： AI绘画 SD教程 文章标签： 人工智能 AI作画 stable diffusion ComfyUI 动画制作
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_59162248/article/details/141636175
版权
AI绘画 同时被 2 个专栏收录
209 篇文章 15 订阅
订阅专栏
SD教程
182 篇文章 4 订阅
订阅专栏

之前我分享过 Animatediff 在 WebUI 中的应用，最近不是在分享 ComfyUI 嘛，那我们也来讲讲 Animatediff 在 ComfyUI 的应用。

如果从工作流和内存利用率的角度来说，Animatediff 和 ComfyUI 可能更配一些，毕竟制作动画是一个很吃内存的操作。

首先，我们需要在管理器中下载 Animatediff 插件，当然也可以直接导入听雨的工作流，然后在管理器的安装缺失节点中直接安装，对于管理器不太明白的小伙伴可以看下听雨的上一篇文章。

后续用到的工作流和模型听雨都会放到网盘上，小伙伴们可以直接在网盘中获取。

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

安装完插件以后，记得重启 ComfyUI 哦。

img

然后把网盘中对应的模型放入指定的文件夹目录下，v2 开头的文件放入以下文件夹下。

\ComfyUI_windows_portable\ComfyUI\custom_nodes\comfyui-animatediff\loras

img

然后把网盘中 models 中的文件放入以下目录：

\ComfyUI_windows_portable\ComfyUI\custom_nodes\comfyui-animatediff\models

img

以上就是 Animatediff 在 ComfyUI 中的安装步骤了。

使用方式也很简单了，只需要导入不同的工作流就可以体验 Animatediff 的不同用法。

我们先来一个最简单的工作流。只是通过文本来生成动漫效果。

img

虽然可以直接无脑用工作流文件，但是我们还是把 Animatediff 相关的几个工作流节点简单介绍一下。第一个节点动态扩散组件加载器，主要就是 Animatediff 的算法模型了，里边的模型都可以选，小伙伴们可以看看不同模型的动漫效果，选择一个自己最喜欢的。

img

第二个节点，基本的参数，用过 WebUI 的小伙伴应该都清楚，听雨这里就不讲了，我们把 Animatediff 相关的几个参数再介绍一下。

运动模块对应的就是动态扩散组件加载器。他们是需要连接的，不过工作流里已经连接好了。

**sliding_window_opts：**自定义滑动窗口选项，这个我们后续讲另外一个配置的一起讲。

模块插入方式，选择默认就可以了。

帧数：动画总共包括的画面数量。和后续的帧率是配套使用的。

img

帧率：每秒多少帧。如果帧数设置为16，帧率设置为8，则单个动画的播放时长为2秒。

循环次数：循环播放几次，0 代表一直重复播放。

是否保持：是否把动画保存到本地。

格式：输出的动漫的格式。默认输出 gif 格式，如果要输出视频格式的话，需要配合 ffmpeg 使用。

img

纯粹文本生成的动画可控性还是蛮差的。

动图封面

然后我们加入动态滑动窗口。

img

**动态滑动窗口：**能够在没有帧长度限制的情况下生成 GIF。它可以将总帧数拆分成多个批次生成，每个批次之间会有重叠的地方。主要是针对我们内存不够，但是又想要生成足够长的动漫情况下使用。

上下文帧长度：每个窗口的帧数，官方建议默认 16 帧，不过模型有长度上限设置，有些模型，最高只能设置 24 帧。

上下文帧步长：和采样步数类似。

上下文帧重叠：每个窗口之间的重叠帧数。

闭合循环：使GIF成为闭环。

img

看下效果，不过这种动态滑动窗口比较适合一些自然景观的场景。

动图封面

动图封面

动图封面

添加 Animatediff 动态 Lora 的工作流。

img

以下 Lora 分别代表了向上向下、向左向右、拉远拉近、顺时针逆时针运动。小伙伴们可以选择对应的运动 Lora。

img

看一下运用了拉近 Lora 的效果。

动图封面

通过上传开始图片和结束图片，来生成动漫。主要用到了 ControlNet 模型中的 tile 模型。相当于我们控制了动画的第一帧和最后一帧。

img

相比于第一个 gif ，是不是好了很多，这个就是 Animatediff + ControlNet 的魅力了，可控性太强了。

动图封面

接下来我们再来尝试一下 Animatediff + ControlNet 的 openpose，看看可以产生咋样的效果呢，openpose 小伙伴们应该都知道主要是控制动作的，配合 Animatediff 可以让动画中人物的动作更可控。不仅是真人转动漫或者动漫转真人，感觉离我们这些小白也可以做动画的时代不远了。

img

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错，但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小伙伴们一点帮助！

为了帮助大家更好地掌握 ComfyUI，我在去年花了几个月的时间，撰写并录制了一套ComfyUI的基础教程，共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、ComfyUI配置指南

  • 报错指南
  • 环境配置
  • 脚本更新
  • 后记
  • …

img

二、ComfyUI基础入门

  • 软件安装篇
  • 插件安装篇
  • …

img

三、 ComfyUI工作流节点/底层逻辑详解

  • ComfyUI 基础概念理解
  • Stable diffusion 工作原理
  • 工作流底层逻辑
  • 必备插件补全
  • …

img

四、ComfyUI节点技巧进阶/多模型串联

  • 节点进阶详解
  • 提词技巧精通
  • 多模型节点串联
  • …

img

五、ComfyUI遮罩修改重绘/Inpenting模块详解

  • 图像分辨率
  • 姿势
  • …

img

六、ComfyUI超实用SDXL工作流手把手搭建

  • Refined模型
  • SDXL风格化提示词
  • SDXL工作流搭建
  • …

img

img

这份完整版的学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

Python程序员小泉
关注
  • 16
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
AnimateDiff comfyui/webui
liguandong
08-21 212
运动定制：在推理阶段，将训练好的时序lora注入到预训练的视频扩散模型中，能从训练数据中学习到多样化运动的视频，如果训练数据是单个视频，学习到的运动将是特定运动，例如对象先向前运动，然后再左转，如果是一组视频，学习到的运动将是由他们提供的运动概念，比如举重或者高尔夫球。comfyui-animatediff中包括了基础的几个workflow，animatediff是文生视频的，不包括图生视频的链路，有controlnet链路来做可控。本篇文章的内容主要翻译自 AnimateDiff 的github项目。
一键生成AI动画视频？Animatediff 和 ComfyUI 更配哦！
2401_85688943的博客
06-27 849
大家好我是极客菌！之前我分享过 Animatediff 在 WebUI 中的应用，最近不是在分享 ComfyUI 嘛，那我们也来讲讲 Animatediff 在 ComfyUI 的应用。如果从工作流和内存利用率的角度来说，Animatediff 和 ComfyUI 可能更配一些，毕竟制作动画是一个很吃内存的操作。好了，话不多说，我们开干。首先，我们需要在中下载插件，当然也可以直接导入听雨的工作流，然后在的中直接安装后续用到的工作流和模型（可以文末自行扫描获取）
【ComfyUI】AnimateDiff基础教程和使用心得
2401_85116933的博客
08-06 875
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
ComfyUI-AnimateDiff-Evolved(1)_节点和模型基础介绍
聚梦小课堂
02-14 3408
网络上很多使用Comfyui来讲animatediff的视频和文章，但要么过于零碎，要么就是老版本的animatediff，这个插件既然火了这么久，而且持续在进化，那么我们不妨看看这个插件的原作者是怎么描述这个插件的使用场景的。
[ComfyUI]AnimateDiff基础教程和使用心得
2401_85688943的博客
07-23 1083
大家好我是极客菌！！！AnimateDiff是什么AnimateDiff 是一个能够将个性化的文本转换为图像的扩展模型，它可以在无需特定调整的情况下实现动画效果。通过这个项目，用户可以将他们的想象力以高质量图像的形式展现出来，同时以合理的成本实现这一目标。随着文本到图象模型(例如，Stable Diffusion)和相应的个性化技术(例如，LORA和DreamBooth) 的进步，现在每个人都可以将他们的想象力转化为高质量的图像。
ComfyUI+AnimateDiff+ControlNet的Tile生成动画.zip
05-04
这个名为"ComfyUI+AnimateDiff+ControlNet的Tile生成动画.zip"的压缩包文件，显然涉及到几个关键概念，包括ComfyUI、AnimateDiff和ControlNet，以及Tile生成动画。我们将逐一探讨这些概念。 首先，ComfyUI可能是指...
ComfyUI+AnimateDiff+ControlNet的Openpose+Depth生成动画.zip
05-04
总之，"ComfyUI+AnimateDiff+ControlNet的Openpose+Depth生成动画.zip"压缩包中的内容，揭示了一种现代动画制作的新趋势，即利用先进技术自动化和优化工作流程，提高生产力，同时也为动画艺术的创新提供了新的可能。...
ComfyUI+AnimateDiff+ControlNet的Openpose生成动画.zip
05-04
本文将深入探讨如何结合ComfyUI、AnimateDiff和ControlNet等技术，利用Openpose生成高质量的角色动画。 首先，Openpose是基于深度学习的实时多人关键点检测系统，它可以精确地识别图像或视频中的人体、面部、手部...
ComfyUI+AnimateDiff+ControlNet的Lineart生成动画.zip
05-04
这个名为"ComfyUI+AnimateDiff+ControlNet的Lineart生成动画.zip"的压缩包文件，从其标题和描述来看，似乎涉及到几个关键的技术概念：ComfyUI、AnimateDiff以及ControlNet，并且与线描（Lineart）动画的生成有关。...
python 实现convolution neural network卷积神经网络算法
luthane的博客
08-26 6828
卷积神经网络（Convolutional Neural Networks, CNN）是一种包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks, FNN），是深度学习的代表算法之一。基本原理CNN的核心思想是通过模拟人类视觉系统的工作方式，自动提取图像中的特征，并将其用于分类、检测、分割等任务。它主要受到了生物学上感知机制的启发，模拟了人类视觉系统中的感知细胞和复杂细胞的工作方式。
【小迪安全笔记V2022】信息打6~8
2202_75354817的博客
08-25 2868
小迪安全学习笔记
【python计算机视觉编程——1.基本的图像操作和处理】
m0_53694086的博客
08-26 6253
参数sigma为标准差（σ），是高斯滤波器的一个重要参数，它控制滤波器的平滑程度。标准差越大，高斯函数的曲线越宽，滤波器的影响范围就越大。标准差较大: 高斯滤波器会在更大范围内进行平滑，使得图像变得更加模糊，细节和边缘特征会被更强地平滑掉。标准差较小: 高斯滤波器会产生较小范围的平滑效果，图像的细节保留更多。还可以给定转换矩阵，将RGB图像转换为CIE XYZ色彩空间。图像像素值被分成128个区间，用于计算每个区间的像素值频率。可以返回目录中所有jpg图像的列表。
透明性和解释性AI：概念与应用
weixin_49007164的博客
08-25 2366
透明性AI指的是AI系统的操作过程、决策机制、数据流动和模型行为是可理解和可追踪的。换句话说，透明性AI使得人们可以清楚地看到AI系统是如何做出决策的，这一过程包括输入数据的处理方式、模型的内部计算过程、以及最终决策的产生机制。解释性AI是指AI系统不仅能够给出决策结果，还能够提供关于该决策如何产生的解释。解释性AI的目标是帮助用户理解AI的行为，尤其是当AI的决策与预期不符时，提供合理的解释来消除用户的疑虑。
【自由能系列（初级）】【开篇论文】自由能原理在多个领域的统一视角
神经美学_茂森的博客
08-27 1225
自由能原理作为一个统一的理论框架，成功地将多个看似不相关的领域（如神经科学、物理学、经济学、信息论、控制论、认知科学和生物学进化）联系在一起。通过自由能原理，我们可以更深刻地理解不同系统如何在给定条件下实现最优行为或状态。#自由能原理 #跨领域统一框架 #优化逻辑 #参数调节 #贝叶斯大脑 #预测编码 #最优控制 #注意力机制 #自然选择 #机器学习。：自由能原理、跨领域统一框架、优化逻辑、参数调节、贝叶斯大脑、预测编码、最优控制、注意力机制、自然选择、机器学习。
论大模型在金融行业的应用场景
m0_53773302的博客
08-25 1430
需要指出的是，虽然上面这些场景都是大家能够最先想到的，但真正要做的很好，也不是那么容易，必须结合优质的技术架构与工具设计，模型优化，数据准备与处理，以及反复的尝试与试错，同时也不可避免的需要对所在行业与场景知识的专业性通过实操深入理解。但如果想到达到90%以上的准确率，那就必须结合专业细致的行业数据、话术抽象、切分，上下文学习/RAG使用，知识图谱的构造，人类反馈的常态化，模型的选择，模型微调中参数调优、数据质量与混合比例的调优、减少遗忘的策略设计，甚至模型结构的创新改造设计等手段综合起来，才可以达到。
直播美颜API与视频美颜SDK的开发指南：构建高效实时美颜工具
q1031691172的博客
08-23 791
不同用户对美颜效果的需求各异，因此，直播美颜API与视频美颜SDK应具备良好的可扩展性和自定义功能。开发者可以通过提供丰富的接口和插件机制，允许用户根据自己的需求调整美颜参数或添加新的美颜效果，从而提升用户满意度。
均值漂移算法原理及Python实践
u013571432的博客
08-25 1420
均值漂移算法（Mean Shift Algorithm）是一种基于密度的非参数聚类算法，其原理主要基于核密度估计和梯度上升方法。
MobileStyleGAN:一种用于高保真图像合成的轻量级卷积神经网络
最新发布
qq_50465499的博客
08-28 832
MobileStyleGAN:一种用于高保真图像合成的轻量级卷积神经网络
如何用c++做简单动画？？？
05-31
在C++中，可以使用图形库（如graphics.h）来实现简单的动画效果。以下是一个简单的示例程序： ```c++ #include <graphics.h> #include <conio.h> int main() { int gd = DETECT, gm; initgraph(&gd, &gm, ""); int x = 100, y = 100; int dx = 5, dy = 5; while (!kbhit()) { cleardevice(); // 清屏 // 绘制图形 circle(x, y, 50); // 更新位置 x += dx; y += dy; // 碰撞检测 if (x + 50 >= getmaxx() || x - 50 <= 0) { dx = -dx; } if (y + 50 >= getmaxy() || y - 50 <= 0) { dy = -dy; } delay(50); // 延时 } closegraph(); return 0; } ``` 该程序使用了 `graphics.h` 库来绘制一个移动的圆形，每次更新位置后进行碰撞检测，并添加了延时效果，以达到简单的动画效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值