TPAMI 2024 | 滚动快门时间超分辨率的学习双边成本量

题目：Learning Bilateral Cost Volume for Rolling Shutter Temporal Super-Resolution

滚动快门时间超分辨率的学习双边成本量

作者：Bin Fan; Yuchao Dai; Hongdong Li

源码链接： https://github.com/GitCVfb/LBCNet

---

摘要

滚动快门时间超分辨率（RSSR），旨在合成两个连续滚动快门（RS）帧之间的中间全局快门（GS）视频帧，随着深度卷积神经网络的发展，在过去几年中取得了显著进展。现有方法通过串联多个独立的网络来顺序估计中间运动场并合成目标GS帧。然而，它们通常结构复杂，不利于互补的运动和外观信息的交互，并且存在像素混叠或解释性差等问题。在本文中，我们推导出用于RS感知的反向变形的统一双边运动场，通过时间偏移嵌入注入时空一致性信息，赋予我们的网络更明确的几何意义。更重要的是，我们开发了一个统一的、单阶段的RSSR流程，以粗到细的方式恢复潜在的GS视频。它首先从给定输入中提取金字塔特征，然后细化双边运动场和锚帧，直到生成所需的输出。借助我们提出的双边代价体，使用锚帧作为共同参考来模拟与两个RS帧的相关性，逐渐细化的锚帧不仅有助于中间运动估计，还补偿了上下文细节，使得额外的帧合成或细化网络变得不必要。同时，在对称双边运动模型的基础上构建的非对称双边运动模型进