MatchFlow: Rethinking Optical Flow from Geometric Matching Consistent Perspective

School of Data Science, Fudan University  CVPR2023

将geometry image match作为光流估计的预先任务，由于geometry image match通常伴随大视角转换，且与光流任务一样面临遮挡、光照等挑战

curriculum learning：从简单的样本开始学习，逐渐进阶到复杂的样本和知识

Background

目前光流的学习方法都是课程学习，均在标准数据集上完成。先在FlyingChair，FlyThings3D，Sintel  到 KITTI。

几何图像匹配：不同视角图像的匹配，通常假设场景是静态的

然而光流估计和几何匹配面临相同的挑战，例如大位移，视角的大变换，

Motivation

目前训练方法均在标准的光流数据集上，面对大位移，遮挡等情况泛化性不好

Idea

将几何匹配训练作为光流训练的预先任务，引入容易获得的大量真实世界的数据

Method

 

两阶段的训练，Stage1 Feature matching extractor;Stage2  optical flow estimator

几何图像匹配预训练：

目前的训练数据都是合成的，缺少真实性，用于最开始训练的FlyChair前景和背景的运动不是一致的，因此不是最简单的。

使用堆叠的QuadTreed attention堆叠加强特征的学习，然后计算4D correlation

此阶段使用dual-softmax计算匹配概率为，除了下式在1/8上的损失外，额外使用损失是l2在1/2

光流细化：

使用RAFT和GMA，使用QuadTree attention提取更具有判别性的特征，然后计算4D correlation，使用GMA模块将非遮挡区域的运动传递给遮挡区域，基于自相似性。最后使用GRU模块迭代解码得到残差流

损失为l1：

Experiment

megadepth训练特征encoder，然后依照训练光流的标准方法