TPAMI 2024 | MS-RAFT+: 高分辨率多尺度RAFT算法

MS-RAFT+ High Resolution Multi-Scale RAFT

MS-RAFT+: 高分辨率多尺度RAFT算法

Azin Jahedi； Maximilian Luz； Marc Rivinius；Lukas Mehl；Andrés Bruhn
代码：https://github.com/cv-stuttgart/MS_RAFT_plus

---

摘要：分层概念在许多经典和基于学习的光流方法中已被证明对于准确性和鲁棒性都非常有用。在本文中，我们展示了这些概念在遵循 RAFT 范式的最近神经网络中仍然很有用，这些网络避免使用分层策略，而是依赖于基于单尺度全对转换的递归更新。为此，我们介绍了 MS-RAFT+：一种新颖的基于 RAFT 的递归多尺度架构，它统一了几个成功的分层概念。它采用从粗到细的估计，通过从较粗糙尺度的有用初始化来使用更细的分辨率。此外，它依赖于 RAFT 的相关金字塔，允许在匹配过程中考虑非局部代价信息。进一步，它利用高级多尺度特征，这些特征结合了来自较粗糙尺度的高级信息。最后，我们的方法在训练时受到样本鲁棒多尺度多迭代损失的严格监督，这种损失在每个尺度上密切监督每次迭代，同时允许在训练中丢弃特别困难的样本。结合适当的混合数据集训练策略，我们的方法表现出色。它不仅在四个主要基准测试上取得了高度准确的结果，而且还允许使用单一模型和单一参数设置实现这些结果。

关键词：光流；循环神经网络；多尺度概念；从粗到细的方案；特征金字