扩散模型在图像生成方面取得了显著的成功，但由于对输出保真度和时间一致性的高要求，将这些模型应用于视频超分辨率仍然具有挑战性，特别是其固有的随机性使这变得复杂。「花果山名场面」有了高清画质版，NTU提出视频超分框架
来自南洋理工大学 S-Lab 的研究团队提出了一种用于视频超分的文本指导（text-guided）潜在扩散框架 ——Upscale-A-Video。该框架通过两个关键机制确保时间一致性：在局部，它将时间层集成到 U-Net 和 VAE-Decoder 中，保持短序列的一致性；在全局范围内，无需训练，就引入了流指导（flow-guided）循环潜在传播模块，通过在整个序列中传播和融合潜在来增强整体视频的稳定性。
论文地址：https://arxiv.org/abs/2312.06640
得益于扩散范式，Upscale-A-Video 还提供了很大的灵活性，允许文本 prompt 指导纹理创建，并且可调节噪声水平以平衡恢复（restoration）和生成，从而实现保真度和质量之间的权衡。
实验结果表明，Upscale-A-Video 在合成和现实世界基准上都超越了现有方法，展示了令人印象深刻的视觉真实感和时间一致性。
我们先来看几个具体例子，例如，借助 Upscale-A-Video，「花果山名场面」有了高清画质版：
相比于 StableSR，Upscale-A-Video 让视频中的松鼠毛发纹理清晰可见：
方法简介
一些研究通过引入时间一致性策略来调整图像扩散模型以适应视频任务，其中包括：1）使用时间层微调视频模型，例如 3D 卷积和时间注意力；2）在预训练模型中采用零样本（zero-shot）机制，例如跨帧注意力和流指导注意力。
尽管这些解决方案显著提高了视频稳定性，但仍然存在两个主要问题：
- 当前在 U-Net 特征或潜在空间中运行的方法难以保持低级一致性，纹理闪烁等问题仍然存在。
- 现有的时间层和注意力机制只能对短的局部输入序列施加约束，限制了它们确保较长视频中全局时间一致性的能力。
为了解决这些问题，Upscale-A-Video 采用局部-全局策略来维持视频重建中的时间一致性，重点关注细粒度纹理和整体一致性。在局部视频剪辑上，该研究探索使用视频数据上的附加时间层来微调预训练图像 ×4 超分模型。
具体来说，在潜在扩散框架内，该研究首先使用集成的 3D 卷积和时间注意力层对 U-Net 进行微调，然后使用视频条件输入和 3D 卷积来调整 VAE 解码器。前者显著实现了局部序列的结构稳定性，后者进一步提高了低级一致性，减少了纹理闪烁。在全局范围内，该研究引入了一种新颖的、免训练的流指导循环潜在传播模块，在推理过程中双向进行逐帧传播和潜在融合，促进长视频的整体稳定性。
Upscale-A-Video 模型可以利用文本 prompt 作为可选条件来指导模型产生更真实、更高质量的细节，如图 1 所示。
Upscale-A-Video 将视频划分为多个片段，并使用具有时间层的 U-Net 对其进行处理，以实现片段内的一致性。在用户指定的全局细化扩散期间，使用循环潜在传播模块来增强片段间的一致性。最后，经过微调的 VAE 解码器可减少闪烁伪影，实现低级一致性。
实验结果
Upscale-A-Video 在现有基准上实现了SOTA性能，展现出卓越的视觉真实感和时间一致性。
定量评估。如表 1 所示，Upscale-A-Video在所有四个合成数据集中实现了最高的 PSNR，表明其具有出色的重建能力。
定性评估。该研究分别在图 4 和图 5 中展示了合成和真实世界视频的视觉结果。Upscale-A-Video 在伪影去除和细节生成方面都显著优于现有的 CNN 和基于扩散的方法。
扫一扫
229
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
