10倍加速，字节开源极快视频生成模型Animatediff-Lightning

.markdown-body pre,.markdown-body pre>code.hljs{color:#333;background:#f8f8f8}.hljs-comment,.hljs-quote{color:#998;font-style:italic}.hljs-keyword,.hljs-selector-tag,.hljs-subst{color:#333;font-weight:700}.hljs-literal,.hljs-number,.hljs-tag .hljs-attr,.hljs-template-variable,.hljs-variable{color:teal}.hljs-doctag,.hljs-string{color:#d14}.hljs-section,.hljs-selector-id,.hljs-title{color:#900;font-weight:700}.hljs-subst{font-weight:400}.hljs-class .hljs-title,.hljs-type{color:#458;font-weight:700}.hljs-attribute,.hljs-name,.hljs-tag{color:navy;font-weight:400}.hljs-link,.hljs-regexp{color:#009926}.hljs-bullet,.hljs-symbol{color:#990073}.hljs-built_in,.hljs-builtin-name{color:#0086b3}.hljs-meta{color:#999;font-weight:700}.hljs-deletion{background:#fdd}.hljs-addition{background:#dfd}.hljs-emphasis{font-style:italic}.hljs-strong{font-weight:700}

本文给大家分享一个改造过的 Animatediff 模型，使用它生成视频的速度相比原始模型可以提升10倍以上，这就是字节跳动最近开源的 Animatediff-Lightning，本文就来介绍下 Animatediff-Lightning 的原理和使用方法。

演示效果

下面三个视频，分别是精细视频转绘、姿态视频转绘和文本生成视频的生成效果，整个视频的前后一致性控制的相当不错，普通浏览不会发现什么明显问题。

Animatediff-Lightning介绍

Animatediff-Lightning 是一个跨模型扩散蒸馏模型，这里有两个关键词，特别介绍下；

跨模型：指的是训练时使用多个不同的 Stable Diffusion 基础模型来进行训练，比如 DreamShaper、ToonYou等现实模型和动漫模型。使用这种方法训练出的模型可以搭配各种 Stable Diffusion 基础模型，都有比较好的视频生成效果，可以说拥有较强的泛化能力。

蒸馏： 是神经网络模型压缩的一种方法，压缩后模型的体积更小，处理速度更快，但是模型的性能没有明显的损失，目前很多生成效率比较高的模型都是使用这种方法搞出来的，比如GPT-4 Turbo。在训练 Animatediff-Lightning 模型时，原始模型是 AnimateDiff v2 模型，训练时新模型不断学习 AnimateDiff v2 生成视频时的输出信息，从而逐步掌握到原始模型的大部分知识和能力。

在使用 Animatediff-Lightning 生成视频时，仅需要较少的步数即可完成图像采样，官方分别提供了 1、2、4、8步的Lightning模型，实测：1步效果不佳，仅作为测试和研究使用；2、4、8步质量较好，4步在速度和质量间找到了平衡，建议使用，8步质量最好，但是生成耗时较长。

另外文生视频时，Animatediff-Lightning 生成正方形视频的效果最好，长方形视频容易出现崩坏的情况，使用时需要注意。

关于 Animatediff-Lightning 的更多细节，请访问其研究论文：arxiv.org/abs/2403.12…

模型下载地址请前往文末。

使用Animatediff-Lightning

这里介绍下使用 Animatediff-Lightning 快速生成视频的三个小例子，希望能对你有所启发。

安装ComfyUI

视频生成工具使用的是 ComfyUI，这是一个工业级的AI绘画创作工具。

项目地址：github.com/comfyanonym…

本地安装

请参考 Github 项目主页的介绍，也可以搜索其他人的安装教程。本文主要介绍 Animatediff-Lightning，ComfyUI的安装过程就不介绍了，后续看大家的需求再决定是否出一篇本地安装说明。

云环境使用

本文演示使用的 ComfyUI 是我分享在 AutoDL 云平台上的一个容器镜像：yinghuoai-ComfyUI ，如果你本地没有8G以上的Nivida显卡，建议试试云环境。

创建容器实例时，选择“社区镜像”，输入：yinghuoai-ComfyUI，点击选择弹出的镜像即可。

实例启动成功后，在AutoDL的实例列表中点击对应实例的【JupyterLab】进入实例管理页面。在【启动器】页面点击下图中的这个【重启】按钮。

首次启动会下载一些模型，请耐心等待，后边再启动这个实例就快了。出现 “http://127.0.0.1” 字样后，代表启动成功。

最后返回 AutoDL 实例列表，点击对应实例的【自定义服务】，即可在浏览器访问 ComfyUI。

使用ComfyUI

ComfyUI 和 Stable Diffusion WebUI 的使用方式差别很大，它是基于工作流的思想构建的，生成图片的过程被构建为多个节点的连续处理过程，不过也不用担心上手困难，我们可以直接使用别人发布的工作流，完美复刻别人的作品，也不用自己从头开始设计工作流。

这里简单介绍下在 ComfyUI 中使用 Animatediff-Lightning 生成视频的方法。

加载工作流

在 ComfyUI 的使用界面找到下图这个“管理菜单”（一般在页面的右侧），其中有一个【加载】按钮，直接点击【加载】按钮会让我们从本地选择工作流文件或者包含工作流的图片，【加载】按钮右侧有个下拉小按钮，点击可以使用我内置的一些工作流，如下图所示：

工作流中的节点很多，全部讲清楚比价困难，这里主要介绍下其中几个通用的可以自定义的地方，方便大家生成满足自己需求的视频。

基础模型和提示词

首先是关于SD基础模型的选择，正向提示词和反向提示词的填写。SD基础模型通过这个【Checkpoint加载器】进行选择，正向提示词和反向提示词使用的都是【CLIP文本编码器】，它们会连接到采样器的不同输入参数上。在使用Animatediff-Lightning模型时，反向提示词不用写太多。

加载视频

如果你做视频重绘，需要通过【加载视频】这个节点来选择一个要被重绘的视频。这里有几个参数重点介绍下：

1. 这里是从ComfyUI的目录下选择视频，你可以把视频先放到这个目录下：ComfyUI/input
2. 原始视频有一个帧率，你可以强制缩小下，让视频生成的更快。比如原来是30，你修改为15，处理的视频画面就少了一半，速度自然提上去了。
3. custom_height: 这里是强制更改视频的高度为1080，宽度会自适应，如果你想放大或缩小视频，这很有用。
4. 可以在这里直接上传本地的视频。

Animatediff模型设置

上边介绍的两个部分都比较基础，Animatediff模型是本文的重点。

我们首先通过【AnimateDiff加载器】加载Lightning模型，模型需要放到ComfyUI的这个目录下：ComfyUI/models/animatediff_models

然后就可以在这里选择到，注意【K采样器】中的【步数】要和模型的步数匹配，比如这里我选择的模型是 4step 的，步数这里就需要设置为4。

为了生成更长时间的视频，以及保持视频中任务的一致性，我们还需要设置下 Animatediff 的上下文和采样设置。【上下文长度】使用默认的16就好了，Animatediff训练时使用的就是16。采样设置中的【噪波类型】选择 FreeNoise，这会让视频中的人物尽量保持一致，人物的形象和姿势会更趋于一致。

合成视频

合成视频是工作流的最后一步，这里有几个参数也很关键，给大家唠叨一下：

1. 格式：可以输出为图片格式，比如Gif动画，也可以输出为正常的 mp4 视频格式。
2. save_meradata：会生成一张png图片，可以通过在ComfyUI中加载这张图片来获取生成视频的工作流。
3. 保存到输出文件夹：一般都要选上，方便后续下载。默认是：ComfyUI/output，可以通过启动命令修改，我在 AutoDL 上的镜像已经修改为 autodl-tmp/output。
4. 文件名前缀：建议为不同的工作流使用不同的前缀，方便管理生成的视频。

Animatediff-Lightning 模型下载地址：文末领取！

写在最后

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。
​

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
 

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

​