RAFT: Recurrent All-Pairs Field Transforms for Optical Flow

Abstract
递归全对场变换：一种新的光流深度神经架构。RAFT提取像素特征，对所有像素对建立多尺度4D关联体积，并且使用一个循环单元在关联体积上执行查找来迭代地更新光流场。

Motivation
光流的任务是预估视频帧之间的逐像素运动，受到各种困难的限制，包括快速移动的对象、遮挡、运动模糊和纹理相关的表面。optical flow在传统上被认为是一个手工优化问题，它覆盖了两个图像对，一般来说，优化目标定义了一种平衡，即鼓励视觉上相似的图像区域对齐的状态和对运动的合理性施加优先级的调整项。这种方法取得了相当大的成功，但是手工设计一个高鲁棒性的优化目标应用于各种情况是困难的。
深度学习可以简化公式优化问题并且直接预测光流，成为传统方法的一种替代方案。

Core
RAFT三个主要部分组成:(1)为每个像素提取特征向量的特征编码器；(2)相关联卷积层，其为所有像素对产生4D相关体积，随后池化以产生较低分辨率的体积；(3)基于GRU的递归重复操作，从相关体积中检索值，并迭代更新初始化为零的流场。
RAFT的架构基于传统优化方法，特征编码器提取每一个像素的特征。关联层计算像素之间的视觉相似性。更新操作模拟迭代优化算法的步骤，但与传统方法不同的是，特征和运动先验不是手工设计的，而是分别由特征编码器和更新操作符学习的。
RAFT的设计从许多现有的作品中获得灵感，但本质上是新颖的。首先，RAFT以高分辨率维护和更新一个固定的流场。这与之前工作中的粗糙到精细设计不同，在之前工作中，首先在低分辨率下预测光流，然后重复上采样细化生成高分辨率。通过操作单个的高分辨率光流场，RAF克服了多个由粗到细级联的缺陷