5分钟制作丝滑的AI视频-ComfyUI+AnimateDiff

用AnimateDiff Prompt Travel video-to-video搭配ComfyUI制作AI视频，效果丝滑

制作Stable Diffusion动画

1. AnimateDiff的技术原理

AnimateDiff可以搭配扩散模型算法（Stable Diffusion）来生成高质量的动态视频，其中动态模型（Motion Models）用来实时跟踪人物的动作以及画面的改变。

2. 环境搭建

这里我们使用ComfyUI来搭配AnimateDiff做视频转视频的工作流。我们预设ComfyUI的环境以及搭建好了，这里就只介绍如何安装AnimateDiff插件。

3. ComfyUI AnimateDiff视频转视频工作流

• 找到一个真人跳舞视频
• 提取视频帧，并用ControlNet Openpose提取人物动作信息
• 根据视频帧里面的动作信息，使用SD重新绘制每一帧视频
• 组合出完整视频

3.1 读取ComfyUI工作流

直接把下面这张图拖入ComfyUI界面，它会自动载入工作流，在ComfyUI里面载入文件信息。

3.2 安装缺失的node组件

第一次载入这个工作流之后，ComfyUI可能会提示有node组件未被发现，我们需要通过ComfyUI manager安装，它会自动找到缺失的组件并下载安装（！！需要网络通畅）。

点击ComfyUI Manager按钮打开组件管理

安装完成后要重启ComfyUI才能完成载入刚才缺失的组件。

如果网络状态不好，可能会导致下载组件失败，需要多试几次

3.3 下载一个AI绘画模型

这里比较推荐C站上的Dreamshaper 8这个模型，实测动画人物效果比较好，当然大家也可以自己去测试其他的模型，有好的效果，欢迎评论留言。

下载好的模型放到ComfyUI > models > checkpoints目录。

然后刷新页面

在Load Checkpoint这个组件里可以选择不同的模型

3.4 再下载一个VAE模型

下载VAE，放到ComfyUI > models > vae这个目录里。

然后刷新页面

在Load VAE里可以选择不同的编码器模型

3.5 下载AnimateDiff动态特征模型

下载mm_sd_v15_v2.ckpt，放到ComfyUI > custom_nodes > ComfyUI-AnimateDiff-Evolved > models文件夹。

刷新页面

在AnimateDiff Loader里，可以选择我们需要的动态特征模型

3.6 下载Openpose ControlNet模型

下载control_v11p_sd15_openpose.pth，放到ComfyUI > models > controlnet文件夹。

刷新页面

在 Load ControlNet Model (Advanced) 里，选择对应模型

3.7 上传原视频

以这个视频作为示例

在Load Video（Upload） 选择视频素材

3.8 生成视频

然后就可以点击Queue Prompt开始生成视频了

视频生成的大部分时间都集中在KSampler这个组件里，在生成过程中上面有一个进度条

另外在打开ComfyUI的windows终端里也可以看到进度以及错误信息

生成结束后，视频会在AnimateDiff Combine这个组件里合成

下面是一个结果的对比示例

4.Debug

其中有三个组件会储存中间信息帮助分析错误

视频帧

ControlNet OpenPose处理结果

结果视频帧

5. 其他设置

5.1 通过改变图片种子值（seed）来修改图片内容

5.2 修改人物提示词

prompt prefix: 图片主体

prompt travel: 变化的背景内容，会根据不同的frames添加进图片

在这个例子中：

第0-23帧，画面提示词是：

High detail, girl, short pant, t-shirt, sneaker, a modern living room

第24-59帧：

High detail, girl, short pant, t-shirt, sneaker, beach and sun

第60帧之后：

High detail, girl, short pant, t-shirt, on the moon

5.3 输入视频参数

frame_load_cap : 载入视频的最大帧数

select_every_nth : 每隔～帧载入1帧画面，这样会导致跳过一些帧，导致视频不连贯，但是由于减少了需要处理的帧数，这样可以提高处理速度

写在最后

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。
​

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
 

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

​