ECCV2020最佳论文 | 全面解析光流计算模型RAFT

作者‖ flow
编辑‖ 3D视觉开发者社区

导语：

RAFT这篇文章荣获了ECCV 2020的best paper，可以说实至名归，也将在光流领域的研究历史中留下浓重彩墨的一笔，本文将从RAFT算法的实现、迭代更新及实验结果对该篇文章进行解析，旨在为光流估计以及立体匹配相关研究人员提供学习参考。

ECCV 2020 best paper： RAFT

• 论文链接：

  • https://arxiv.org/pdf/2003.12039.pdf

• 代码链接：

  • https://github.com/princeton-vl/RAFT

0. 概述

RAFT算法在全分辨率上去提取特征，然后构建多尺度的4D 相关空间，尽管这一步骤的计算量比较大，但是之后可以通过查表的方式去获取 cost volume，而不必再另外做计算。

此外，RAFT通过GRU循环单元去迭代更新光流场，进而模拟传统方法中优化迭代的过程。GRU的引入，创新性地有着非常好的效果。这与以往从粗到精的策略有着本质上的不同，Raft一直在高分辨率上进行迭代更新，而非先在低分辨率估计光流，然后逐层传递给高分辨率最后再在高分辨率上进行优化。这样做的好处是，不会遭受低分辨率上的错误估计的影响，也相对来说不会错过快速移动的小物体的信息，更是由于绑定的固定权重，整体的参数量较小，收敛快，无需过多的训练次数。

更为吸引个人眼球的是，RAFT算法具有非常强的泛化能力。而泛化好的主要原因还是网络的底层结构设计的好，很好地模仿了传统优化更新的过程：

By constraining optical flow to be the product of a series of identical update steps, we force the network to learn an update operator which mimics the updates of a first-order descent algorithm.

This constrains the search space, reduces the risk of over-fitting, and leads to faster training and better generalization.

目前看来，NLP与CV逐渐地进行交融，或许也是大势所趋。

1. 方法

整体看来，Raft的网络结构设计非常简洁，如下图所示：

RAFT可以分为以下几个模块：

• Feature Extractor（特征提取模块；权重共享）& Context Extractor（语义特征提取模块）
  特征提取模块逐像素地提取两张图片的特征，而语义特征提取模块架构与特征提取是一样的，但是只对一个模块进行提取。
• Visual Similarity Calculator（相似性计算模块）
  通过计算两张图两两特征向量之间的点积来构建4D的相关空间。值得注意的是，这里的$W\ast H\ast W\ast H$并非指的是影像的全分辨率，而是指的是特征的全分辨率。比如说，我们在1/8分辨率上构建得到特征向量，那么我们所谓的全分辨率就变成了1/8分辨率。
• Updator（更新迭代模块）
  这个模块使用当前的光流估计结果，从相关空间金字塔中查找需要的特征，而后再作为输入进行迭代更新。

以下将对几个重要模块进行进一步的介绍。

1.1 特征提取

特征提取是在1/8分辨率上进行的，即对原始输入的两张影像都进行了提取，并将提取到的信息映射为1/8分辨率的密集特征，假设特征提取器命名为$g_{\theta }$，则有${\mathbb{R}}^{H\times W\times 3}\mapsto {\mathbb{R}}^{H/8\times W/8\times D}$，特别地，我们将特征的通道维度设定为256。总的来说，特征提取器中包含了两个在1/2分辨率上的残差block，两个在1/4分辨率上的残差block，两个在1/8分辨率上的残差block，一共六个残差block。

此外，还用了一个语义信息提取器，命名为$h_{\theta }$，其仅仅针对第一张输入影像进行信息的提取，值得注意的是，语义信息提取器的网络架构跟特征提取器的架构是一样的。

在Raft中，无论是特征提取器还是语义信息提取器在网络中都只会被过一遍，而不会进行迭代。

1.2 计算相似性

我们假设$g_{\theta }\left(I_1\right)\in {\mathbb{R}}^{H\times W\times D}$以及$g_{\theta }\left(I_2\right)\in {\mathbb{R}}^{H\times W\times D}$分别表示影像$I_1$和$I_2$的特征。

进而，所谓的correlation volume可以通过计算两两特征向量之间的点乘得到，用公式可以表达为：
$$\mathbf{C}\left(g_{\theta }\left(I_1\right),g_{\theta }\left(I_2\right)\right)\in {\mathbb{R}}^{H\times W\times H\times W},C_{ijkl}=\sum _h{g}_{\theta }{\left(I_1\right)}_{ijh}\cdot g_{\theta }{\left(I_2\right)}_{klh}$$
在上述公式中的$h$代表的是维度，$h$的取值范围应该是[0,D-1]，也即这个4D的代价空间中的每一个格网表示的两个特征图中的像素对所有特征点乘的加和。

以下为了简便起见，将称呼correlation volume为代价空间。

1.2.1. 代价空间金字塔

我们知道，特征可以分成不同分辨率，也就是说，可以构造不同分辨率的特征金字塔，同理，我们也可以构造代价空间的金字塔，但构造方式还是有些区别。

具体来说，我们构造4层的金字塔 { C 1 , C 2 , C 3 , C 4 } \{C^1,C^2,C^3,C^4\} { C1,C2,