Comfyui｜AnimateDiff生成动画基础使用方法

于 2024-08-08 10:33:00 发布
阅读量244 收藏 4
点赞数 12
分类专栏： AI绘画 Stable Diffuison应用教程 文章标签： 人工智能 AI作画 AI绘画 Comfyui AI动画 AnimateDiff
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_55154866/article/details/141020286
版权

今天分享一个在Comfyui中使Amimatediff生成动画视频的小教程。与WebUI相比，ComfyUI在生成图片的速度更快，可控性更强，且所需的显存更小。

ComfyUI采用基于节点连接的工作流程，对于使用过Blender、C4D等三维软件的朋友来说应该会对它很熟悉。它并不难，使用过WebUI的朋友在使用ComfyUI时只要熟悉一下，就能很快的上手。

图片

1

前期准备

本文将会用到的插件：

ComfyUI-Advanced-ControlNet：https://github.com/Kosinkadink/ComfyUI-Advanced-ControlNet

AnimateDiff Evolved：https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved

ComfyUI-VideoHelperSuite：https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite

安装好AnimateDiff插件之后，记得去下载相关模型哦：

图片

AnimateDiff模型下载完之后放到这个目录里面即可：ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/model

Lora模型放到这个目录：ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/motion_lora

Tips：安装“ComfyUI-VideoHelperSuite”如有“ffmpeg”的报错，可以查看前面发的一篇文章有介绍怎么安装ffmpeg：Stable Diffusion｜Wav2Lip数字人制作全流程分享

Comfyui有三种安装插件的方法：

  1. 第一种安装方式：打开Comfyui根目录下的“custom_nodes”文件夹并且在上方的目录框输入“CMD”打开终端，然后输入“git clone （插件Git URL）”敲回车即可安装插件。

图片

  1. 第二种安装方式：打开“Comfyui”，点击右侧的“管理器”插件管理器（如果是第一次使用Comfyui可以先用第一种或者第三种安装方式安装此插件，插件链接：https://github.com/ltdrdata/ComfyUI-Manager），并且点击“安装节点”，然后在右上角“搜索输入框”输入插件名称搜索插件，点击安装，安装完成时，重启Comfyui即可。

图片

  1. 第三种方式：打开插件的GitHub，点击右侧的绿色按钮“Code”，然后点击下方的“Download ZIP”下载插件安装包，将插件安装包放到Comfyui根目录下的“custom_nodes”文件夹里面即可。

图片

2

生成动画

插件以及模型都安装好之后就可以开始用AnimateDiff生成动画啦。

  1. 打开“Comfyui”，双击搜索或右击添加节点，在“加载器”中找到“Checkpoint加载器”节点并添加，然后选择一个大模型。此节点用于加载大模型。

图片

  1. 在添加一个“Clip设置停止层”节点，将“Checkpoint加载器”中的“CLIP”连接到“Clip设置停止层”中的“CLIP”。CLIP为“-2”，它就是WebUI里面在VAE旁边的那个CLIP参数。

图片

  1. 在添加两个“CLIP文本编码器”，然后在将“Clip设置停止层”右侧的“CLIP”分别给两个“CLIP文本编码器”连接上。CLIP文本编码器是用于写正向提示词和反向提示词。

图片

Tips：在相关的节点上右击可以给节点换个颜色，有助区分。

  1. 在添加两个“K采样器”，然后分别将两个“CLIP文本编码器”右侧的“条件”连接到“K采样器”的“正面条件”和“负面条件”。创建两个“K采样器”是因为一个是用于正常生成，另一个是用于将生成好的内容放大。

图片

  1. 在创建一个“空Latent”和一个“Latent按系数缩放”，然后将“空Latent”连接到一个“K采样器”中的“Latent”。

图片

然后在将“Latent按系数缩放”右侧的“Latent”连接到另一个“K采样器”中，然后在将左侧的“Latent”连接到有“空Latent”的“K采样器”右侧的“Latent”中。

图片

“空latent”用于控制宽度、高度以及批次大小，“Latent按系数缩放”用于放大，类似webUI的高清修复。

  1. 在添加一个“动态扩散加载器(上下文)”，然后将右侧的“模型”和两个“K采样器”连接上，再将左侧的“模型”和“Checkpoint加载器”连接上。此节点是AnimateDiff插件节点。

图片

  1. 在添加一个“动态扩散上下文选项”，然后将“上下文设置”连接到“动态扩散加载器(上下文)”的“上下文设置”中。

图片

这里如果要加Animatediff的Lora模型，可以再添加一个“动态Lora加载器”节点，然后将它连接到“动态Lora”上即可。

图片

  1. 在添加一个“VAE加载器”和两个“VAE解码”，然后将“VAE加载器”的“VAE”连接到两个“VAE解码”中的“VAE”，再将两个“VAE解码”中的“Latent”连接到两个“K采样器”中即可（两个各一个）。

图片

  1. 在添加一个“Primitive元节点”，然后分别在两个“K采样器”上方右击，点击“转换随机种为输入”。最后将“Primitive元节点”的“connect to widget input”连接到两个“K采样器”上的“随机种”即可。Primitive元节点可以理解为，你想要它是什么它就是什么。

图片

  1. 在添加两个“合并为视频”，然后将两个“VAE解码”的“图像”连接到两个“合并为视频”节点的“图像”上即可（各一个）。此节点用于输出视频。

图片

  1. 好啦，节点都添加完啦，可以在调整一下参数，然后输入正向提示词和反向提示词，在点击右侧的“提示词队列”就可以开始生成啦。

图片

生成速度相比WebUI快了很多。

图片

视频生成完啦，效果还是很不错的，我们再看一下放大后的。

图片

我们可以看到，相比放大前细节更多了。

如果觉得添加和连接节点麻烦的，我这里也将工作流整理好啦，可以直接下载，然后拖入到“Comfyui”即可直接使用。（有需要的可以在底部领取）

图片

3

最后

以上就是对Comfyui AnimateDiff的介绍。这也只是AnimateDiff的最基础用法，后续还会分享一些更高阶的用法。如果本文对你有帮助或者给你带来了一些创作灵感，欢迎点赞、在看、转发，谢谢～

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错，但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小伙伴们一点帮助！

为了帮助大家更好地掌握 ComfyUI，我在去年花了几个月的时间，撰写并录制了一套ComfyUI的基础教程，共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、ComfyUI配置指南

  • 报错指南
  • 环境配置
  • 脚本更新
  • 后记
  • …

img

二、ComfyUI基础入门

  • 软件安装篇
  • 插件安装篇
  • …

img

三、 ComfyUI工作流节点/底层逻辑详解

  • ComfyUI 基础概念理解
  • Stable diffusion 工作原理
  • 工作流底层逻辑
  • 必备插件补全
  • …

img

四、ComfyUI节点技巧进阶/多模型串联

  • 节点进阶详解
  • 提词技巧精通
  • 多模型节点串联
  • …

img

五、ComfyUI遮罩修改重绘/Inpenting模块详解

  • 图像分辨率
  • 姿势
  • …

img

六、ComfyUI超实用SDXL工作流手把手搭建

  • Refined模型
  • SDXL风格化提示词
  • SDXL工作流搭建
  • …

img

img

这份完整版的学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

程序员王饱饱
关注
  • 12
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Sklearn学习】Sklearn的数据集介绍
一条咸鱼
08-07 386
sklearn数据集的介绍，方便后面学习使用的对应的数据集。
【OpenCV C++20 学习笔记】阈值操作—分离图片对象
TeamLee的博客
08-04 945
简单介绍了OpenCV中二值化、反二值化等阈值操作的原理和代码实现。
jupyter下载
Einstein·Jun
08-06 408
Anaconda下载 参考链接：https://blog.csdn.net/qq_48372575/article/details/125630622 设置Jupyter Notebook的代码路径 在“此电脑”中搜索。删除最后一个""后面的的内容，包括“\”。 用记事本打开它。 按下ctrl+F就可以开始查找。查找内容如下： 找到之后，右键该文件，找到“发送到”，找到“桌面快捷方式”。然后就会发现桌面上已经建立好了！
电脑技巧：9个免费的AI图片无损放大工具和网站
08-05 728
今天小编给大家介绍9款免费的AI图片放大工具和网站，帮助你提高图片清晰度，感兴趣的朋友可以自己试一试！美图设计室是美图秀秀公司推出的一款在线图片编辑和设计工具箱，提供包括AI 抠图、AI海报、AI PPT、AI消除、AI文生图、AI变清晰、AI无损放大等AI图片编辑工具。其提供的图片无损放大功能，目前是限时免费中，可以帮助用户将JPG、JPEG、PNG、HEIC等格式的图片放大清晰不失真，细节更丰富。✅ 产品优点由美图推出，产品功能稳定，处理速度较快支持免费进行图片放大到8倍。
【Python】Numpy概述安装及使用
Q20011102的博客
08-03 559
Numpy是科学计算基础库，提供大量科学计算相关功能，比如数据统计，随机数生成等。其提供最核心类型为多维数组类型（ndarray），支持大量的维度数组与矩阵运算，Numpy支持向量处理ndarray对象，提高程序运算速度。数组计算、数组存取函数、加权平均函数可让其在python中使用向量和数学矩阵在数据科学、人工智能（包括深度学习、语言处理分支）发挥重要作用。
RPA+AI有什么应用？6大技术融合方向分析 | 实在RPA研究
SHIZAIZHINENG的博客
08-06 831
随着数字化转型的加速，企业正寻求更高效、智能的方法来优化业务流程。机器人流程自动化（RPA）作为一种快速兴起的技术，已经证明了其在自动化重复性任务方面的能力。然而，当RPA与各种人工智能（AI）技术相结合时，其潜力将得到更全面的释放。本文将探讨不同的AI技术如何与RPA结合，以及这种结合为企业带来的变革性应用方向。机器学习 (ML)使系统能够从数据中学习和改进提高预测准确性，自动化决策制定风险管理、欺诈检测、个性化推荐银行使用ML增强RPA进行信用评分和欺诈识别计算机视觉 (CV)
线性代数课程概要介绍
08-07 672
线性代数课程内容丰富，主要围绕向量、矩阵和线性变换等核心概念展开，旨在培养学生的空间直观和想象能力、抽象思维和逻辑推理能力。线性代数是理工科大学生必修的数学基础课之一，也是硕士研究生入学全国统一考试中必考的数学课程之一。它不仅是离散化和数值计算的理论基础，还广泛应用于自然科学、社会科学、工程技术、军事和工农业生产等领域。
打造智能障碍物检测系统：从零开始的深度学习项目
a871923942的博客
08-05 1012
随着自动驾驶技术的发展，障碍物检测成为保障行车安全的重要一环。通过深度学习模型，尤其是YOLO（You Only Look Once）模型，可以高效、准确地检测道路上的障碍物，从而提高自动驾驶系统的安全性和可靠性。
【深度学习】P1 深度学习数据结构
最新发布
weixin_43098506的博客
08-07 541
深度学习的数据结构——张量的概念与其基本操作
动手学强化学习 第 19 章 目标导向的强化学习 训练代码
人工智能
08-02 135
这节改动不大，官方代码基本可以直接运行，应该只有一个warning。
sheng的学习笔记-AI-k近邻学习（kNN)
coldstarry的专栏
08-07 240
k近邻（k-Nearest Neighbor，简称kNN）学习是一种常用的监督学习方法，是一种基本的分类与回归方法。分类问题：对新的样本，根据其 k 个最近邻的训练样本的类别，通过多数表决等方式进行预测。回归问题：对新的样本，根据其 k 个最近邻的训练样本标签值的均值作为预测值。
NRK3301识别语音芯片在智能按摩椅中的应用与体验提升
jiuxindianzi的博客
08-02 270
NRK3301语音识别芯片应用于按摩椅，实现高识别准确率、快速响应、远场识别、降噪及离线操作，提供便捷高效且保护隐私的交互体验，期待在更多健康设备中应用。
【编译原理文法概述】
武帝为此的博客
08-05 661
文法（Grammar）是描述语言语法结构的一种形式化系统，用于定义合法字符串的集合。在编译原理中，文法是用于定义编程语言语法的一套规则。通过这些规则，我们可以确定某个字符串是否属于该语言，及其结构如何。这些规则定义了如何从起始符号生成语言中的字符串，进而描述了语言的语法。
Pytorch版BERT模型实战：使用Hugging Face进行Fine-tune文本分类
lazycatlove的博客
08-02 406
数据集，打开网页下载THUCNews.zip文件即可，里面一共有10个类别，这里只使用了2类，为了加快训练速度，分别用了体育和娱乐。这里直接使用了，transformers下面的AutoTokenizer，使用bert-base-chinese来编码，输出的结果如下。可以看到，这里定义了max_seq_length=20，不足加padding，超过自动截断，头尾加入101，102代表截断。这里的预测准确率为98.9%左右，BERT模型还是YYDS的。训练过程如下所示，训练完成会保存模型。
昇思基础课程打卡（SPONGE课前学习）9.使用静态图加速
cftang9999的专栏
08-06 502
AI编译框架分为两种运行模式，分别是动态图模式以及静态图模式。MindSpore默认情况下是以动态图模式运行，但也支持手工切换为静态图模式。
医疗AI新突破！多模态对齐网络精准预测X光生存，自动生成医疗报告！
m0_61574757的博客
08-02 769
随着大型视觉语言模型（LVLMs）在医疗保健应用中的日益重要，包括医疗视觉问题解答和成像报告生成，这些模型在展现强大能力的同时，也继承了基础大型语言模型（LLMs）的幻觉倾向。幻觉指的是生成看似事实但无根据的内容，这在医疗领域尤其危险，因为容错率极低。然而，目前医疗领域缺乏针对幻觉检测和评估的专用方法和基准。为了填补这一空白，本文提出了Med-HallMark，首个专为医疗多模态领域设计的幻觉检测和评估基准。该基准提供了多任务幻觉支持、多面幻觉数据和层次化幻觉分类。
新一代AI软件基础设施 | ZStack AIOS平台“智塔”发布
ZStack_io的博客
08-06 759
ZStack正式发布新一代AI基础设施AIOS平台“智塔“，在算力层、模型层、运营层帮助企业实现以AI为核心的重构，同时解耦算力竖井和模型竖井，优化AI应用性能和成本，解锁千亿级企业AI市场。
人工智能在教育上的应用3-脑洞大开高中数学与人工智能的出题方向，未来的趋势方向
weixin_42878111的博客
08-07 725
大家好，我是微学AI，今天脑洞大开，想到高中数学与人工智能的出题方向，未来的趋势方向。在当前人工智能迅速发展的背景下，将高中数学知识与人工智能技术相结合，不仅可以加深学生对数学概念的理解，还能激发他们对人工智能的兴趣。本文通过自己的奇思妙想，结合人工智能技术的高中数学题目。
使用torch.rand()生成 [-1, 1)之间的张量
Never Give Up
08-04 175
这段代码主要涉及到Python的torch库（PyTorch），用来生成随机数据，并且展示了如何用函数列表来调用函数。让我们详细解释一下每一部分。
comfyui生成的图片添加遮罩
02-24
comfyui是一个基于CSDN开发的前端UI库，用于快速构建用户界面。它提供了丰富的组件和样式，可以轻松地创建漂亮的界面效果。 关于comfyui生成的图片添加遮罩的问题，comfyui本身并没有提供直接添加遮罩的功能。但是你可以通过CSS来实现图片添加遮罩的效果。 以下是一种常见的方法来为图片添加遮罩： 1. 首先，给图片所在的容器元素设置一个相对定位（position: relative），这样可以使得后续添加的遮罩元素相对于容器进行定位。 2. 在容器元素内部创建一个遮罩元素，可以使用一个div元素作为遮罩层。设置该遮罩层的宽度、高度和背景颜色，以及透明度（opacity）来实现遮罩效果。 3. 调整遮罩层的位置和大小，可以使用绝对定位（position: absolute）和top、left、right、bottom属性来控制。 4. 最后，将图片放置在容器元素内部，并设置合适的宽度和高度。 下面是一个示例代码： ```html <div class="image-container"> <div class="mask"></div> <img src="your-image-url" alt="Your Image"> </div> ``` ```css .image-container { position: relative; width: 300px; height: 200px; } .mask { position: absolute; top: 0; left: 0; width: 100%; height: 100%; background-color: rgba(0, 0, 0, 0.5); /* 设置遮罩层的背景颜色和透明度 */ } ``` 通过上述代码，你可以将图片放置在名为`image-container`的容器元素内，然后使用名为`mask`的遮罩层元素来实现图片的遮罩效果。你可以根据需要调整容器元素和遮罩层的样式。 希望以上信息对你有所帮助！如果你还有其他问题，请继续提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值