最新的强大的文生视频模型Pyramid Flow 论文阅读及复现

《PYRAMIDAL FLOW MATCHING FOR EFFICIENT VIDEO GENERATIVE MODELING》

论文地址：2410.05954https://arxiv.org/pdf/2410.05954

项目地址：

jy0205/Pyramid-Flow： 用于高效视频生成建模的金字塔流匹配代码https://github.com/jy0205/Pyramid-Flow

论文提出了一种新的视频生成模型，通过金字塔流匹配算法（Pyramidal Flow Matching），有效降低了视频生成的计算复杂度。该方法通过在不同分辨率的金字塔阶段之间进行流匹配，实现了从噪声到数据的生成过程，并通过单一的Diffusion Transformer（DiT）进行端到端优化。

摘要详述

论文提出了一种高效的视频生成建模方法，称为金字塔流匹配，旨在通过降低计算复杂度来优化视频生成过程。该方法避免了直接在全分辨率下进行训练，而是将视频生成过程分解为多个在不同分辨率下运行的金字塔阶段，仅在最终阶段达到全分辨率。这种方法的主要优势包括：

1. 连续性：不同金字塔阶段的生成轨迹相互链接，后续阶段继续从前一阶段生成，避免了每个阶段从纯噪声重新生成的需要。

2. 统一模型：与为每个图像金字塔使用独立模型不同，金字塔流匹配算法将它们集成到一个统一的模型中，通过端到端优化实现更优雅的实现，并大幅加快训练速度。

在全分辨率下，在非常嘈杂的潜在值上花费大量计算。（b） 我们的方法利用流动匹配的 f 灵活性在不同分辨率的潜在变量之间进行插值。这允许以更好的计算效率同时生成和解压缩视觉内容。请注意，黑色箭头表示降噪轨迹，蓝色箭头表示时间条件。

方法详述