TPAMI 2024 | MS-RAFT+: 高分辨率多尺度RAFT算法

MS-RAFT+ High Resolution Multi-Scale RAFT

MS-RAFT+: 高分辨率多尺度RAFT算法

Azin Jahedi； Maximilian Luz； Marc Rivinius；Lukas Mehl；Andrés Bruhn
代码：https://github.com/cv-stuttgart/MS_RAFT_plus

---

摘要：分层概念在许多经典和基于学习的光流方法中已被证明对于准确性和鲁棒性都非常有用。在本文中，我们展示了这些概念在遵循 RAFT 范式的最近神经网络中仍然很有用，这些网络避免使用分层策略，而是依赖于基于单尺度全对转换的递归更新。为此，我们介绍了 MS-RAFT+：一种新颖的基于 RAFT 的递归多尺度架构，它统一了几个成功的分层概念。它采用从粗到细的估计，通过从较粗糙尺度的有用初始化来使用更细的分辨率。此外，它依赖于 RAFT 的相关金字塔，允许在匹配过程中考虑非局部代价信息。进一步，它利用高级多尺度特征，这些特征结合了来自较粗糙尺度的高级信息。最后，我们的方法在训练时受到样本鲁棒多尺度多迭代损失的严格监督，这种损失在每个尺