字节发布AnimateDiff-Lightning模型4步推理就能生成高质量视频

京娱AI大事件

演示站点： https://ai.uaai.cn 对话模块
官方论坛： www.jingyuai.com 京娱AI

一、字节跳动推出了AnimateDiff-Lightning

根据arXiv，字节跳动于3月19日推出了AnimateDiff-Lightning，一个用于快速生成视频的新模型。该模型使用渐进式对抗扩散蒸馏技术，据称可以实现闪电般快速的视频生成。同时，团队进一步提出了跨模式扩散蒸馏，提高蒸馏模块泛化到不同的风格化基本模型的能力。AnimateDiff-Lightning模型目前已开源。 

AnimateDiff-Lightning模型与Contorlnet的配合也非常出色，这意味着视频转绘的工作流需要得到升级。同时，字节还推出了对应的Comfyui工作流，这一开源工作流的实施，使得AnimateDiff-Lightning模型的应用更加到位。

据了解，AnimateDiff-Lightning模型是从AnimateDiff SD1.5v2中提炼出来的，包含了1步、2步、4步和8步提炼模型的版本。其中，2步、4步和8步模型的生成质量非常好，这对于视频制作者来说，无疑提供了更多的选择和可能。

在使用AnimateDiff-Lightning模型时，字节还建议使用运动LoRA，因为运动LoRA能产生更强的运动效果。为了避免水印的出现，建议将运动LoRA的使用强度控制在0.7~0.8之间。

总的来说，字节发布的AnimateDiff-Lightning模型，以其强大的视频生成能力，为视频制作行业带来了新的可能，同时也为视频制作者提供更多的选择和便利。

开源地址

论文地址：https://arxiv.org/abs/2403.10516

AnimateDiff-Lightning: Cross-Model Diffusion Distillation

Hugging Face地址：https://huggingface.co/ByteDance/AnimateDiff-Lightning

二、往期文章

2014对AI未来的预测和猜想 

好莱坞泰勒佩里Sora制作电影,对好莱坞担忧,停止工作室扩张

 可让照片人物“开口说话”阿里图生视频模型EMO，高启强普法

Sora - 探索AI视频模型的无限可能

Sora对于普通人意味着什么？

Sora 在线应用