5分钟制作丝滑的AI视频-ComfyUI+AnimateDiff

最新推荐文章于 2025-03-08 11:02:58 发布
最新推荐文章于 2025-03-08 11:02:58 发布
阅读量5k 收藏 31
点赞数 14
文章标签： 人工智能 音视频 AI作画 AI绘画 前端 stable diffusion
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/maiya_yayaya/article/details/138600359
版权

用AnimateDiff Prompt Travel video-to-video搭配ComfyUI制作AI视频，效果丝滑

制作Stable Diffusion动画

1. AnimateDiff的技术原理

AnimateDiff可以搭配扩散模型算法（Stable Diffusion）来生成高质量的动态视频，其中动态模型（Motion Models）用来实时跟踪人物的动作以及画面的改变。

2. 环境搭建

这里我们使用ComfyUI来搭配AnimateDiff做视频转视频的工作流。我们预设ComfyUI的环境以及搭建好了，这里就只介绍如何安装AnimateDiff插件。

3. ComfyUI AnimateDiff视频转视频工作流

  • 找到一个真人跳舞视频
  • 提取视频帧，并用ControlNet Openpose提取人物动作信息
  • 根据视频帧里面的动作信息，使用SD重新绘制每一帧视频
  • 组合出完整视频

3.1 读取ComfyUI工作流

直接把下面这张图拖入ComfyUI界面，它会自动载入工作流，在ComfyUI里面载入文件信息。

3.2 安装缺失的node组件

第一次载入这个工作流之后，ComfyUI可能会提示有node组件未被发现，我们需要通过ComfyUI manager安装，它会自动找到缺失的组件并下载安装（！！需要网络通畅）。

点击ComfyUI Manager按钮打开组件管理

再点击Install Missing Custom Nodes安装组件

最低0.47元/天 解锁文章
[ComfyUI进阶教程] Comfyui-AnimateDiff节点安装和使用说明
细节控-AI先行者的博客
12-29 3788
除了示例中的例子，还有很多种AnimateDiff的组合方式，可以说文生图中的工作流都适用于AnimateDiff，只需要在model后添加motion module和motion lora即可。如果SD checkpoint选择的是SDXL，那motion module也要与之对应，选择支持SDXL的motion module。
AI变现之Comfyui普通女孩的一生
Maynor的博客
11-20 1103
使用的工具是 Stable Diffusion 的 ComfyUI 和 AnimateDiff 插件，制作出这种小女孩或者小男孩从出生，幼儿园，小学，大学，工作，结婚，自己生孩子，中年，老年，直到去世。抖音上一篇完全由 AI 生成的《大多数普通女孩的一生》的短视频火了，获得各大官方账号转发，作者从一位几千粉的账号，在短短三天涨到16万。链接：https://pan.baidu.com/s/1ZyF3bTF2MXisTGY_1rT5ew?随着AI技术的不断普及，从这个视频可以看出，创意会是流量的来源。
一键生成AI动画视频？Animatediff 和 ComfyUI 更配哦！
2401_85116933的博客
02-17 2287
大家好我是极客菌！之前我分享过 Animatediff 在 WebUI 中的应用，最近不是在分享 ComfyUI 嘛，那我们也来讲讲 Animatediff 在ComfyUI 的应用。如果从和内存利用率的角度来说，Animatediff和 ComfyUI 可能更配一些，毕竟制作动画是一个很吃内存的操作。好了，话不多说，我们开干。首先，我们需要在中下载插件，当然也可以直接导入听雨的工作流，然后在的中直接安装后续用到的工作流和模型（可以文末自行扫描获取）安装完插件以后，记得重启 ComfyUI 哦。
【ComfyUI进阶1】5分钟制作丝滑的AI视频-+AnimateDiff
weixin_66363548的博客
10-25 8547
用AnimateDiff Prompt Travel video-to-video搭配ComfyUI制作AI视频，效果丝滑。
ComfyUI神级工作流大揭秘！手把手教你用WAN2.1节点炼成AI视频生产线
最新发布
m0_71745754的博客
03-08 2968
（附节点配置全流程图解+避坑指南）刚入坑ComfyUI却被节点连线逼疯？这份全网独家的WAN2.1万相视频工作流配置手册，将用16个核心节点解锁AI视频工业级流水线！从零搭建只需三步，小白也能做出动态分镜+双语字幕+无损压缩的爆款视频，一、工作流全景图：16个节点如何化身AI视频工厂Mermaid二、核心节点拆解：6大必装神器详解（⚠这些节点配置错1个，整个流水线直接崩！\1. 双文本核弹：Clip+T5双编码器。
从零开始快速使用comfyUI进行文生图或者图生视频制作！
2401_84760527的博客
10-08 3697
今天花时间试了试怎么用 ComfyUI，今天晚上就来介绍一下，怎么简单使用。上面是用 comfyUI 生成的视频。
AI绘图的场景应用：文生图、图生图
qq_41314882的博客
03-15 5144
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
Comfyui｜AnimateDiff生成动画基础使用方法
z19981的博客
06-17 2571
今天分享一个在中使Amimatediff生成动画视频的小教程。与WebUI相比，ComfyUI在生成图片的速度更快，可控性更强，且所需的显存更小。ComfyUI采用基于节点连接的工作流程，对于使用过Blender、C4D等三维软件的朋友来说应该会对它很熟悉。它并不难，使用过WebUI的朋友在使用ComfyUI时只要熟悉一下，就能很快的上手。
comfyui + animateDiff，花跳舞工作流，植物跳舞工作流
qq_21307687的博客
06-08 1694
此外，如本文后面提供的工作流程所示，与其他 AI 绘图软件相比，comfyUI 是视频生成的更好选择，效率更高，效果更好。主要的工作流是从原始视频中提取骨骼关节图，让AI在视频中生成相应的动作，视频中其他内容的生成则由提示词控制，因此如果绕过上面提到的controlNet节点，这个工作流自然就变成了一个文本驱动的视频生成工作流。在左上角的输入区中，根据原视频的宽高比调整视频的宽和高，建议保留其中一个值为512，修改另一个值，以保证生成的视频与原视频保持相同的比例。4.重要注意事项简介。
从零开始快速使用comfyUI进行文生图或者图生视频制作
soleiltree的博客
07-21 6398
简单介绍一下如何使用comfyUI进行文生图以及视频制作
【AI绘画】ComfyUI 完全入门：图生视频
A2421417624的博客
09-19 3557
大家好，我是每天分享AI应用的彤姐！ComfyUI 是一个基于 Stable Diffusion 的AI绘画创作工具，最近发展势头特别迅猛，但是 ComfyUI 的上手门槛有点高，用户需要对 Stable Diffusion 以及各种数字技术的原理有一定的了解才行。这个系列将会介绍 ComfyUI 的一些基础概念和使用方法，让大家更快的掌握 ComfyUI 的使用技巧，创作出自己独特的艺术作品。本文继续分享 ComfyUI 的使用方法：图生视频，也就是根据图片生成视频，使用的模型是SVD。
[ComfyUI]AnimateDiff基础教程和使用心得
m0_64365896的博客
11-28 1512
AnimateDiff是什么是一个能够将个性化的文本转换为图像的扩展模型，它可以在无需特定调整的情况下实现动画效果。通过这个项目，用户可以将他们的想象力以高质量图像的形式展现出来，同时以合理的成本实现这一目标。随着文本到图象模型(例如，Stable Diffusion)和相应的个性化技术(例如，LORA和DreamBooth)的进步，现在每个人都可以将他们的想象力转化为高质量的图像。随后，为了将生成的静态图像与运动动态相结合，对图像动画技术的需求也随之增加。AnimateDiff使用场景。
做动画？Animatediff 和 ComfyUI 更配哦！
2401_84760719的博客
06-19 1872
如果从工作流和内存利用率的角度来说，Animatediff 和 ComfyUI 可能更配一些，毕竟制作动画是一个很吃内存的操作。首先，我们需要在中下载插件，当然也可以直接导入听雨的工作流，然后在的中直接安装，对于不太明白的小伙伴可以看下的上一篇文章。安装完插件以后，记得重启 ComfyUI 哦。然后把网盘中对应的模型放入指定的文件夹目录下，v2 开头的文件放入以下文件夹下。以上就是 Animatediff 在 ComfyUI 中的安装步骤了。
ComfyUI 完全入门：图生视频
z099164的博客
05-31 2476
SVD是由 Stable Diffusion 的创作者 Stability AI 公司开源发布的。SVD的全称是 Stable Video Diffusion，也就是稳定视频扩散的意思，目前最新版本是1.1。这个模型以静止图像作为条件帧，并从中生成视频，目前还不支持使用提示词引导。默认参数下生成的结果是分辨率为1024x576的25帧视频，不过ComfyUI中实测也可以生成多种分辨率和更长时长的视频。
【comfyui教程】ComfyUI 完全入门：图生视频
2401_84760527的博客
11-27 2764
ComfyUI 是一个基于 Stable Diffusion 的AI绘画创作工具，最近发展势头特别迅猛，但是 ComfyUI 的上手门槛有点高，用户需要对 Stable Diffusion 以及各种数字技术的原理有一定的了解才行。这个系列将会介绍 ComfyUI 的一些基础概念和使用方法，让大家更快的掌握 ComfyUI 的使用技巧，创作出自己独特的艺术作品。本文继续分享 ComfyUI 的使用方法：图生视频，也就是根据图片生成视频，使用的模型是SVD。
ComfyUI 安装教程 Animatediff 1000张工作流分享 请收藏
赵KK的博客
01-31 2606
当我们想要构建一副脑海中的画面，我们先构思画面来书写提示词，下面我们会专门介绍关于提示词部分的书写，然后由模型解析文本，反推汉字或者文本到Clip学习，接着由U-Net端到端的生成图片，然后由VAE来上色，那么一个简单的绘画流程就完成了，这个图片由噪点逐步变为清晰的过程，我们称之为扩散。下载官方整合包到本地，解压到非C盘路径，如果你已经安装了SD，webui那真是太好了，省去了大部分的基础环境安装，解压缩文件夹。跟我们日常下载SD的插件方式一样，个人分为3种，但记住一种：只有显示了可卸载的才是成功安装的。
基于ComfyUI的AnimateDiff的使用总结
金闪闪_Li的博客
10-30 6699
AnimateDiff是一个可以对文生图模型进行动画处理的实用框架。框架的核心是将新初始化的运动模块插入到冻结的文生图模型中，从而产生多样化和个性化的动画图像。简单的说，AnimateDiff是一个可以从文本到动画的框架
【奶奶看了都会】ComfyUI+SVD制作AI视频教程，附效果演示
龙大
12-25 2124
AI一天，人间一年。大家好啊，我是小卷，最近AI绘画又发展出一些新玩意了，小卷因为工作的关系有一个月没关注AI的发展了，都有点跟不上版本节奏了。。。
comfyui 视频抠像工作流
01-12
### 使用 ComfyUI 实现视频抠像工作流 #### 准备环境与安装依赖 为了顺利运行 ComfyUI 及其扩展模块，确保已正确设置 Python 环境并安装必要的库。对于特定于视频处理的任务，如使用 Robust Video Matting 或 BRAIAI-RVMBG v1.4 技术，需额外配置 GPU 支持以加速计算过程[^1]。 #### 导入模型文件 下载所需的预训练模型文件，并按照指示将其放置到指定目录 `ComfyUI\custom_nodes\ComfyUI-1.4` 下。这一步骤至关重要，因为这些模型负责执行实际的图像分割操作[^4]。 #### 配置输入输出参数 启动 ComfyUI 后，在界面上定义好待处理视频源的位置以及期望保存结果的地方。通过简单的拖拽方式可以直观地连接各个组件，形成完整的数据流动管线。 #### 执行视频处理任务 利用集成好的工具链一键发起视频分析请求。系统会自动调用后台服务完成逐帧解析、前景提取等工作项。期间用户可以通过实时预览窗口观察进度情况。 #### 输出最终成果 当整个流程结束后，导出经过优化后的透明度通道（Alpha Channel），即实现了所谓的“绿幕效果”。此时可进一步调整合成其他背景或将素材应用于各类多媒体创作场景之中。 ```python from comfyui_video_matting import process_video input_path = "path/to/input/video.mp4" output_path = "path/to/output/transparency_mask.png" process_video(input_path=input_path, output_path=output_path) ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值