comfyui + animateDiff，花跳舞工作流，植物跳舞工作流

最近全网流行的植物跳舞视频如何制作的呢，今天教会你。

使用稳定扩散 + animateDiff 技术制作视频的热度激增。接下来教你使用 comfyUI + animateDiff 的工作流程并制作相关动画视频的过程。本文分为以下几个主要部分：

1.设置工作环境

2.生成第一个视频

3.继续制作更多视频

4.重要注意事项简介

设置工作环境

comfyUI 简介

comfyUI是一款出色的 AI 绘图软件，具有基于节点和自定义工作流程的多功能功能。它提供文本转图像、图形生成、图像放大、修复和加载控制网控件进行生成等便捷功能。此外，如本文后面提供的工作流程所示，与其他 AI 绘图软件相比，comfyUI 是视频生成的更好选择，效率更高，效果更好。

安装 comfyUI

详细安装说明请参考我们comfyUI视频教程。安装好 Python 环境后，按照步骤安装必要的依赖项，最终完成 comfyUI 的安装。此过程需要熟悉 Python 语言和 pip 安装。本文不提供详细安装指南。如果你的电脑上已经安装了 comfyUI，则可以进入下一步加载工作流和视频开始生成。

生成第一个视频

我们的目标是让AI学习该视频中的手势和动作，最终制作出一个新的视频。

为了实现这一点，我们将采用以下工作流程：

对于没有使用animatediff模型的用户，请自行下载工作流程中的相关模型，模型下载成功后放到指定文件夹，可以参考下图中的animatediff模型。

ComfyUI应该能够自主下载其他控制网相关模型。

在搭载 4060ti 的显卡上，生成大约需要 3 分钟。生成的视频如下所示：

想学的家薇fwz029

继续制作更多视频

这个流程中，得益于清华大学最新的 LCM 技术，采样过程只需要 6 步就可以生成相应的视频。同样，一段时长约两秒的视频，在 4060ti 的显卡上，利用 20 步采样，原本需要 8 分钟，现在使用 LCM lora 只需要 3 分钟。如果需要反复生成视频，所需时间就更短了。因此，使用这个流程，你可以尝试制作更长的视频。

重要注意事项

在视频合并节点的格式设置部分，您可以灵活地调整视频的输出格式。默认格式目前设置为 MP4，但您可以随意将其切换为 GIF、WebP 或任何其他适合您的共享偏好的格式。

设置视频宽度和高度

在左上角的输入区中，根据原视频的宽高比调整视频的宽和高，建议保留其中一个值为512，修改另一个值，以保证生成的视频与原视频保持相同的比例

设置种子值

当前工作流程具有固定的种子值。如果您希望多次尝试以获得更好的结果，请考虑将种子值设置为随机。

控制 controlnet

当前工作流程为 controlnet 分配 0.6 的权重。建议将此值设置在 0.3 到 0.6 之间以获得最佳视频生成效果。避免将其设置得太高，因为这可能会影响生成的视频的质量。

总结：

主要的工作流是从原始视频中提取骨骼关节图，让AI在视频中生成相应的动作，视频中其他内容的生成则由提示词控制，因此如果绕过上面提到的controlNet节点，这个工作流自然就变成了一个文本驱动的视频生成工作流。想要定制comfyUI工作流或系统学习AI可以跟着我们新火苗(全网可搜)团队学。