AI绘画AnimateDiff-Lightning让文生视频生成速度提升多倍！【含模型及工作流获取】

大家好，我是程序员晓晓

视频生成模型一直很受到大家的关注，近年来在深度学习技术的推动下取得了显著进展。传统的动画生成方法往往面临效率低下和质量不高等问题，而深度学习模型通过学习和理解大量的数据，能够生成更加逼真、流畅的动画视频。尤其是近两年，更是“百模”齐放，“百模”争鸣~

然而，视频生成的速度和质量一直是研究者们面临的挑战。在保证高质量的同时，提高生成速度，是视频生成领域的重要研究方向。因为对于实际应用来说，快速且高质量的生成能够大大提高制作效率和用户体验。

今天介绍的这款AnimateDiff-Lightning模型是由字节跳动推出的。相信不少朋友也已经看到过。该款模型已经推出一段时间了。晓晓有点姗姗来迟。

主要特色功能

• 仅需 4-8 步推理，就能生成高质量视频，速度快效果好。

• 与 Contorlnet 配合，提升视频转绘工作流程。

• 提供 Comfyui 工作流程，方便开发者使用。

• 推荐使用运动 LoRA，增强运动效果

这是晓晓通过demo体验的结果，短短几秒，就生成了一小段2S的视频。觉得生成的速度方面的确是提升了很多。有人与 AnimateDiff 模型做了对比，据说提升了 6-8 倍。

AnimateDiff-Lightning 是从 AnimateDiff SD1.5 v2 模型中提炼出来的，包含 1 步、2 步、4 步和 8 步共 4 个蒸馏模型。其中 2 步、4 步和 8 步模型的生成质量较好，1 步模型目前仅用于研究目的。官方有在线体验网站，支持 8 种镜头运动，测试了一下 10 秒内就能生成一个 2s 的视频， 并且步数越高的模型生成的质量也越好。

官方表示 AnimateDiff-Lightning 模型非常适合用于视频转视频，对此有人也进行了测试。同样一段 6 秒的真人视频将转绘为动漫风，AnimateDiff-Lightning 4step 模型需要 3 分钟，而 mm_sd_v15_v2 模型则需要 15 分钟，速度差了 5 倍；并且 AnimateDiff-Lightning 的转换效果还要好于 mm_sd_v15_v2，可见 AnimateDiff-Lightning 的确能有效提升视频转绘的速度。

二、在 ComfyUI 中使用 AnimateDiff-Lightning

AnimateDiff-Lightning 模型资源已经开源，官方还提供了 ComfyUI 适配模型和工作流，所以在本地部署起来也非常轻松。下面介绍一下文生视频（t2v）和视频生成视频（v2v2）的使用方法。（文末获取模型包）

① 安装插件

首先需要安装两款插件 ComfyUI-AnimateDiff-Evolved 和 ComfyUI-VideoHelperSuite ，可以在扩展中安装，也可以通过 Git 克隆，安装完成后重启 ComfyUI

ComfyUI-AnimateDiff-Evolved插件地址： https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved

ComfyUI-VideoHelperSuite插件地址： https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite

如以上链接无法打开下载，请看文末扫描获取本地插件安装包

② 安装模型

需要两类模型。一是 AnimateDiff-Lightning 模型的，推荐 4 步或者 8 步模型。下载完成后，将模型放到根目录的 custom_nodes/ComfyUI-AnimateDiff-Evolved/models 文件夹中。

下载地址：请看文末扫描获取哦

https://huggingface.co/ByteDance/AnimateDiff-Lightning/tree/main

安装 motion lora 模型，它可以为视频添加镜头运动，包括推进、拉远、平移、旋转等。与 AnimateDiff-Lightning 模型配合使用可以让视频动态更加明显。下载后放置在根目录的 custom_nodes/ComfyUI-AnimateDiff-Evolved/motion_lora 文件夹中。

下载地址：请看文末扫描获取哦

https://huggingface.co/guoyww/animatediff/tree/main

③ 文生视频工作流

工作流地址：请看文末扫描获取

https://huggingface.co/ByteDance/AnimateDiff-Lightning/tree/main/comfyui

官方提供了文生视频和视频风格转换 2 款工作流，上面的资源都安装好之后，将文生视频工作流拖入 ComfyUI 中就能使用了。

使用文生视频工作流时，需要注意的点包括：

1. 可以多尝试风格化的大模型

2. Ksampler 中得生成步数必须与选择的 AnimateDiff-Lightning 对应，4 步模型就填 4，8 步模型就填 8；默认采样器 Euler，调度器选 sgm_uniform；

3. Motion LoRA 的运动方式可以自定义，老徐这里就略过了

④ 视频转绘工作流

如果想使用 AnimateDiff-Lightning v2v 功能，提升视频转绘速度，则需要再安装 Controlnet 插件和对应的 Openpose 模型，再导入 v2v 工作流：

1. ComfyUI-Advanced-ControlNet 插件：https://github.com/Kosinkadink/ComfyUI-Advanced-ControlNet ；

2. ComfyUI_controlnet_aux 插件：https://github.com/Fannovel16/comfyui_controlnet_aux ；

3. Openpose 模型下载：https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main （模型放到models/controlnet/目录）

   注意：如以上链接都无法下载，请看文末获取本地模型插件安装包哦~

使用视频转绘工作流时，需要注意的内容有：

1. 上传视频的不宜太长，分辨率也不要太高，官方使用的是一个 8 秒 576x1024 px 的视频；

2. 使用的是 DWPose 预处理器，首次使用时会自动下载预处理器模型，可以在控制台查看下载进度；

3. 视频的帧率设置要与上传的视频素材一致，否则会影响视频生成效果；

4. Ksampler 中得生成步数必须与选择的 AnimateDiff-Lightning 对应，4 步模型就填 4，8 步模型就填 8；默认采样器 Euler，调度器选 sgm_uniform；

好了今天的分享就到这里了~感兴趣的快试一试吧。

写在最后

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
 

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

若有侵权，请联系删除