m0_63612150的博客

原创 NeurIPS 25 | VideoREPA: 视频理解能促进生成吗？

摘要： 文章探讨了视频理解如何提升视频生成的物理合理性，提出VideoREPA框架，通过关系对齐（Relation Alignment）将VideoMAEv2等基座模型的物理知识迁移到生成模型中。针对现有方法在视频领域的不足（如忽视时序动态、微调困难等），提出TRD损失函数，通过Gram矩阵对齐空间与时间关系，而非直接特征值匹配。实验表明，VideoREPA在物理合理性评测基准VideoPhy上提升24.1%，生成视频更符合动力学规律。代码已开源，为视频生成领域的表示对齐提供了新思路。