AI绘画AnimateDiff-Lightning让文生视频生成速度提升多倍！【含模型及工作流获取】

最新推荐文章于 2024-10-17 11:14:21 发布
最新推荐文章于 2024-10-17 11:14:21 发布
阅读量1.5k 收藏 14
点赞数 18
文章标签： AI作画 stable diffusion 人工智能 AI绘画 AIGC ComfyUI
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cxyxx12/article/details/137464442
版权
本文介绍了字节跳动的AnimateDiff-Lightning视频生成模型，其通过深度学习实现快速且高质量的视频生成，尤其在动画转绘和视频转视频场景中表现出色。文章详细讲解了模型特点、使用方法以及与传统方法的对比，展示了AIGC技术在实际应用中的进步。
摘要由CSDN通过智能技术生成

大家好，我是程序员晓晓

视频生成模型一直很受到大家的关注，近年来在深度学习技术的推动下取得了显著进展。传统的动画生成方法往往面临效率低下和质量不高等问题，而深度学习模型通过学习和理解大量的数据，能够生成更加逼真、流畅的动画视频。尤其是近两年，更是“百模”齐放，“百模”争鸣~

然而，视频生成的速度和质量一直是研究者们面临的挑战。在保证高质量的同时，提高生成速度，是视频生成领域的重要研究方向。因为对于实际应用来说，快速且高质量的生成能够大大提高制作效率和用户体验。

今天介绍的这款AnimateDiff-Lightning模型是由字节跳动推出的。相信不少朋友也已经看到过。该款模型已经推出一段时间了。晓晓有点姗姗来迟。

主要特色功能

• 仅需 4-8 步推理，就能生成高质量视频，速度快效果好。

• 与 Contorlnet 配合，提升视频转绘工作流程。

• 提供 Comfyui 工作流程，方便开发者使用。

• 推荐使用运动 LoRA，增强运动效果

这是晓晓通过demo体验的结果，短短几秒，就生成了一小段2S的视频。觉得生成的速度方面的确是提升了很多。有人与 AnimateDiff 模型做了对比，据说提升了 6-8 倍。

AnimateDiff-Lightning 是从 AnimateDiff SD1.5 v2 模型中提炼出来的，包含 1 步、2 步、4 步和 8 步共 4 个蒸馏模型。其中 2 步、4 步和 8 步模型的生成质量较好，1 步模型目前仅用于研究目的。官方有在线体验网站，支持 8 种镜头运动，测试了一下 10 秒内就能生成一个 2s 的视频， 并且步数越高的模型生成的质量也越好。

官方表示 AnimateDiff-Lightning 模型非常适合用于视频转视频，对此有人也进行了测试。同样一段 6 秒的真人视频将转绘为动漫风，AnimateDiff-Lightning 4step 模型需要 3 分钟，而 mm_sd_v15_v2 模型则需要 15 分钟，速度差了 5 倍；并且 AnimateDiff-Lightning 的转换效果还要好于 mm_sd_v15_v2，可见 AnimateDiff-Lightning 的确能有效提升视频转绘的速度。

二、在 ComfyUI 中使用 AnimateDiff-Lightning

AnimateDiff-Lightning 模型资源已经开源，官方还提供了 ComfyUI 适配模型和工作流，所以在本地部署起来也非常轻松。下面介绍一下文生视频（t2v）和视频生成视频（v2v2）的使用方法。（文末获取模型包）

① 安装插件

首先需要安装两款插件 ComfyUI-AnimateDiff-Evolved 和 ComfyUI-VideoHelperSuite ，可以在扩展中安装，也可以通过 Git 克隆，安装完成后重启 ComfyUI

ComfyUI-AnimateDiff-Evolved插件地址： https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved

ComfyUI-VideoHelperSuite插件地址： https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite

如以上链接无法打开下载，请看文末扫描获取本地插件安装包

② 安装模型

需要两类模型。一是 AnimateDiff-Lightning 模型的，推荐 4 步或者 8 步模型。下载完成后，将模型放到根目录的 custom_nodes/ComfyUI-AnimateDiff-Evolved/models 文件夹中。

下载地址：请看文末扫描获取哦

https://huggingface.co/ByteDance/AnimateDiff-Lightning/tree/main

在这里插入图片描述

安装 motion lora 模型，它可以为视频添加镜头运动，包括推进、拉远、平移、旋转等。与 AnimateDiff-Lightning 模型配合使用可以让视频动态更加明显。下载后放置在根目录的 custom_nodes/ComfyUI-AnimateDiff-Evolved/motion_lora 文件夹中。

下载地址：请看文末扫描获取哦

https://huggingface.co/guoyww/animatediff/tree/main

③ 文生视频工作流

工作流地址：请看文末扫描获取

https://huggingface.co/ByteDance/AnimateDiff-Lightning/tree/main/comfyui

官方提供了文生视频和视频风格转换 2 款工作流，上面的资源都安装好之后，将文生视频工作流拖入 ComfyUI 中就能使用了。

在这里插入图片描述

使用文生视频工作流时，需要注意的点包括：

  1. 可以多尝试风格化的大模型

  2. Ksampler 中得生成步数必须与选择的 AnimateDiff-Lightning 对应，4 步模型就填 4，8 步模型就填 8；默认采样器 Euler，调度器选 sgm_uniform；

  3. Motion LoRA 的运动方式可以自定义，老徐这里就略过了

在这里插入图片描述

④ 视频转绘工作流

如果想使用 AnimateDiff-Lightning v2v 功能，提升视频转绘速度，则需要再安装 Controlnet 插件和对应的 Openpose 模型，再导入 v2v 工作流：

  1. ComfyUI-Advanced-ControlNet 插件：https://github.com/Kosinkadink/ComfyUI-Advanced-ControlNet ；

  2. ComfyUI_controlnet_aux 插件：https://github.com/Fannovel16/comfyui_controlnet_aux ；

  3. Openpose 模型下载：https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main （模型放到models/controlnet/目录）

    注意：如以上链接都无法下载，请看文末获取本地模型插件安装包哦~

在这里插入图片描述

使用视频转绘工作流时，需要注意的内容有：

  1. 上传视频的不宜太长，分辨率也不要太高，官方使用的是一个 8 秒 576x1024 px 的视频；

  2. 使用的是 DWPose 预处理器，首次使用时会自动下载预处理器模型，可以在控制台查看下载进度；

  3. 视频的帧率设置要与上传的视频素材一致，否则会影响视频生成效果；

  4. Ksampler 中得生成步数必须与选择的 AnimateDiff-Lightning 对应，4 步模型就填 4，8 步模型就填 8；默认采样器 Euler，调度器选 sgm_uniform；

好了今天的分享就到这里了~感兴趣的快试一试吧。

写在最后

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
 
在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
在这里插入图片描述

若有侵权，请联系删除
[ComfyUI进阶教程] Comfyui-AnimateDiff节点安装和使用说明
细节控-AI先行者的博客
12-29 3070
除了示例中的例子，还有很多种AnimateDiff的组合方式，可以说文生图中的工作流都适用于AnimateDiff，只需要在model后添加motion module和motion lora即可。如果SD checkpoint选择的是SDXL，那motion module也要与之对应，选择支持SDXL的motion module。
AI在线免费视频工具1：文生视频、风格转转换、生成数字人播报
weixin_42357472的博客
05-23 1584
https://dreamina.jianying.com/ai-tool/home （抖音下面）暂时只能选择平台上的模版进行图像创造。
文本转视频神器问世 - 字节出品AnimateDiff-Lightning（懒人包）
04-16 680
同时，团队进一步提出了跨模式扩散蒸馏，提高蒸馏模块泛化到不同的风格化基本模型的能力，而且最重要的是AnimateDiff-Lightning模型目前已开源。同时，字节还推出了对应的Comfyui工作流，这一开源工作流的实施，使得AnimateDiff-Lightning模型的应用更加到位。据了解，AnimateDiff-Lightning模型是从AnimateDiff SD1.5v2中提炼出来的，包含了1步、2步、4步和8步提炼模型的版本。输入提示词：跟使用其他AI大模型一样，输入图片，输入提示词。
【ComfyUI】轻松一键视频转动漫！太棒了！超强稳定视频转绘工作流，如此丝滑~!
最新发布
2401_84760719的博客
10-17 1086
昨天有老铁在群里交流有没有视频转动漫方面的工作流。月月也是抽时间简单了解了下，从效果来看，觉得基于DiffSynth-Studio的这款工作流转绘效果目前来看是很不错的。今天月月就给大家带来了这一款超稳定视频转动漫风格工作流。视频转绘这么火的赛道下，老铁们怎么能不会呢。下面我们一起来看一看。先看下月月简单转绘的6秒视频，整体耗时大概在10分钟左右，视频的转绘效果及流畅度月月个人还是比较满意的。**项目地址：**DiffSynth Studio 是一款 Diffusion 引擎。
四步轻松搞定！探索字节最新AnimateDiff-Lightning：高质量视频生成的秘密武器！
2401_85688943的博客
06-26 1134
该模型采用了渐进式对抗扩散蒸馏技术，恰似可以使用闪电般的快速视频生成。同时字节研发团队也提出了跨模式扩散蒸馏，提高蒸馏模块泛化到不同的风格化基本模型的能力。这一突破性进展也为 AI视频生成领域 带来了新的可能性。尤其是与 Contorlnet 的配合下，视频转绘 的工作流程有望迎来全新的升级。此外，字节团队还开源提供了对应的Comfyui工作流程，为开发者提供了一套完整且高效的解决方案。
用AnimateDiff插件在SD中实现文生视频
HJS123456780的博客
03-26 1553
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
最快视频转绘-AnimateDiff-Lightning
07-09 1000
control_v11p_sd15_openpose.pth下载链接：https://pan.quark.cn/s/28064c8c2e1d。「ComfyUI-aki-v1.3.7z」链接：https://pan.quark.cn/s/199a753292d8。4. DWPose 可能会卡在 UI 中，但管道实际上仍在后台运行。模型打包下载：https://pan.quark.cn/s/fc3172240d9f。模型打包下载：https://pan.quark.cn/s/f8ce7dce237b。
字节跳动发布SDXL-Lightning模型，支持WebUI与ComfyUI双平台，只需一步生成1024高清大图！
细节控-AI先行者的博客
03-05 1884
SDXL-Lightning 是一种快速的文本到图像生成模型。SDXL-Lightning模型的核心优势在于其创新的蒸馏策略，它可以通过几个步骤生成高质量的 1024px 图像。开源项目地址：Demo地址：目前 SDXL-Lightning 提供了 1步，2步，4步和8步的蒸馏模型 和 2步，4步和8步 的 Lora 模型（类似LCM）。
基于PyTorch与PyTorch-Lightning进行人工神经网络模型与CNN模型的构建.zip
07-09
资源包含文件：实验报告word+源码及数据 需要实现的模型：1. 基于 Backward Propagation 算法的人工神经网络；2. 卷积神经网络。 在 MNIST 手写字符识别数据集（http://yann.lecun.com/exdb/mnist/）上对实现的两个...
pytorch-lightning 用于预训练、微调和部署人工智能模型的深度学习框架
03-04
其中，新功能- Lightning 2.0 提供了简洁、稳定的应用程序接口（API)，使得在多个 GPU 和 TPU 上进行人工智能模型的预训练、微调和部署变得更加方便，无需修改代码。 简介如下; - 在不修改代码的情况下在 1000 个 ...
pytorch-lightning-bolts：AIML研究人员的模型，回调和数据集的工具箱
02-04
使用PyTorch Lightning和PyTorch进行预训练的SOTA深度学习模型，回调以及更多用于研究和生产的模型 •••••• • 持续集成 系统/ PyTorch版本 1.6（最低要求） 1.7（最新） Linux py3。{6,8} OSX py3。{6,8} ...
AI: 了解字节跳动的开源的奇迹 AnimateDiff-Lightning 文生视频大模型
十年运维开发经验的王义杰在此分享自己的知识和经验
07-09 1308
AnimateDiff-Lightning是字节跳动开发的大规模扩散模型。扩散模型是一类生成模型，在生成高质量图像、动画和其他多媒体内容方面表现出了非凡的成功。AnimateDiff-Lightning基于这一基础，提供了更精细和多功能的输出。总之，字节跳动的AnimateDiff-Lightning是开源合作力量的光辉典范。其令人印象深刻的功能，再加上Hugging Face提供的可访问性和支持，使其成为AI世界中的杰出工具。
Animatediff 工作流之神 Jerry Davos 新作! 使用Differential Diffusion使视频转绘生成稳定的背景。
AIGC Studio：分享AIGC前沿知识和好玩应用，公众号同名。
10-14 723
今天给大家介绍一个新的ComfyUI工作流程，是Animatediff 工作流之神 Jerry Davos 新作。利用 Differential Diffusion 确保视频转绘的时候生成稳定的背景。它可以使用蒙版对主体和背景进行不同的降噪值降噪，也可以设置它们的控制网为不同的强度。这样，你就可以拥有风格化的主体和稳定的背景。使用内置的舒适节点，通过微分扩散法 在主体和背景之间实现平滑过渡。
AI绘画专栏之Comfyui之AnimateDiffLCM更快效果更佳工作流分享
赵KK的博客
02-18 2305
我们没有直接在原始视频数据集上进行一致性学习，而是提出了一种解耦一致性学习策略，将图像生成先验和运动生成先验的蒸馏解耦，提高了训练效率，增强了生成视觉质量。我们没有直接在原始视频数据集上进行一致性学习，而是提出了一种解耦一致性学习策略，将图像生成先验和运动生成先验的蒸馏解耦，提高了训练效率，增强了生成视觉质量。AnimatediffLCM不仅仅是AnimateDiff与LCM的结合就完了，还对图像的质量，图像的一致性，和占用更低的显存做了优化，也就是说，两者兼得。那么关于两个LCM的工作流，和模型。
【comfyUI】视频转绘 工作流
资深网络工程师
11-30 1745
3：设置模型 lora 如果不需要lora 则将lora设为参数=0。例如：视频为11秒，帧率为30。1：导入视频，设置尺寸。4：设置control。
【保姆级教程】利用AI转绘成动漫风格，轻松打造稳定不闪的梦幻画风（云服务Linux部署）
Little_Carter的博客
07-29 1817
在本教程中，我们将详细介绍如何利用AI技术将你的照片转绘成动漫风格。无论你是艺术爱好者还是专业创作者，无论你是初学者还是有一定基础的艺术家，本教程都将为你提供详细而具体的步骤和技巧，帮助你轻松掌握AI转绘技术，打造出属于自己的梦幻动漫作品。
PyTorch与PyTorch-Lightning构建ANN和CNN模型教程
资源摘要信息: "本资源是一套基于PyTorch和PyTorch-Lightning框架构建的人工神经网络（ANN）和卷积神经网络（CNN）模型，用于处理MNIST手写字符识别数据集。资源包中包含实验报告、源代码以及数据集，并详细描述了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值