AIGC视频生成-AnimateLCM

最新推荐文章于 2024-10-06 12:13:13 发布

AI-Seeker

最新推荐文章于 2024-10-06 12:13:13 发布

阅读量1k

点赞数 11

分类专栏： AIGC 文章标签： AIGC 音视频人工智能深度学习

本文链接：https://blog.csdn.net/l1498487239/article/details/139219878

版权

4 篇文章 1 订阅

订阅专栏

0. 资源链接

视频生成扩散模型因其能够生成连贯且高保真的视频而越来越受到关注，甚至有一些产品已经可以生成以假乱真的视频，如：OpenAI的Sora，生数科技的Vidu。基于开源生态的Stable Video Diffusion也吸引了大量社区的开发者和设计师。
视频内容生成需求的增长，伴随着对视频画质和视频长度的增长，这带来了巨大的计算消耗。计算成本高，生成速度慢的视频生成模型严重限制了广泛应用。
根本原因是，迭代去噪过程使其计算密集且耗时，限制了其应用。
论文作者受启发于在最小步骤内加速采样的预训练图像扩散模型的一致性模型（CM）及其在条件图像生成上成功的扩展——潜在一致性模型（LCM），提出了AnimateLCM，允许在最小步骤内生成高质量视频

本论文提出了AnimateLCM，允许在最小步骤内生成质量视频。
提出一致性解耦，不是直接在原始视频数据集上进行一致性学习，它将图像生成先验和运动生成先验的蒸馏分开，这提高了训练效率并增强了生成的视觉质量。
此外，为了使用Stable DIffusion社区中的模块能够实现各种功能（例如，ControlNet用于可控生成），作者提出了一种有效策略，将现有适配器适应到我们蒸馏的文本条件视频一致性模型，或者从头开始训练适配器，而不影响采样速度。

目的：为了提高训练效率和生成的视觉质量，作者提出了一种解耦的一致性学习策略，将图像生成和运动生成的一致性学习分开进行。
方法：首先，作者在高质量的图像-文本数据集上对图像扩散模型进行蒸馏，得到图像一致性模型。然后，通过3D膨胀技术将2D图像扩散模型扩展到视频特征，再进行视频数据上的一致性蒸馏，得到视频一致性模型。
优势：这种方法避免了直接在原始视频数据集上进行一致性学习可能遇到的低质量问题，并且减少了训练资源的需求。通过解耦，可以更专注于优化图像质量和运动连贯性，从而提高最终视频生成的视觉质量和流畅性。

具体实现：

与一致性解耦学习策略相结合，提供了一种高效且灵活的方式来实现高质量的视频生成和控制。通过适配器，可以在保持采样速度的同时，实现对生成过程的精确控制和个性化定制。

在本文中，初始化策略是针对解耦一致性学习过程中的一个关键环节，目的是在将空间LoRA权重和时间层结合时，减少特征损坏并提高训练效率。以下是对初始化策略的详细解释：

概念解释：

初始化策略（Initialization Strategy）：在深度学习中，初始化策略指的是如何设置模型参数的初始值。合适的初始化可以加速模型的收敛，并帮助避免训练过程中的一些问题，如梯度消失或爆炸。

本文中的初始化策略：

目的：在AnimateLCM中，初始化策略旨在解决在将空间LoRA权重和时间层结合时可能出现的特征损坏问题，并提高模型的训练效率。
方法：本文提出的初始化策略是在训练开始时，只将预训练的空间LoRA权重插入到在线一致性模型（online model）中，而不插入到目标一致性模型（target model）中。
优势：这种策略使得目标一致性模型在训练初期不会生成损坏的预测，从而不会影响在线模型的学习过程。随着训练的进行，LoRA权重会逐渐通过指数移动平均（EMA）累积到目标一致性模型中。

具体实现：