RAFT: Recurrent All-Pairs Field Transforms for Optical Flow（ECCV 2020）

目录

1. 概述

2. 网络结构

2.1  feature extraction

2.2  Computing Visual Similarity

2.3 iterative updates

3. 模型训练

---

1. 概述

        First，与之前的研究不同（普遍采用的从粗到精的设计），RAFT maintains and updates a single fixed flow field at high resolution.

这样做的好处：1. 在粗分辨率下从错误中恢复的困难，

                         2. 错过快速移动的小物体的倾向，

                         3. 以及训练多级级联通常需要的许多训练迭代(通常超过1M)

        Second，RAFT的更新操作符具有循环性和轻量级

轻量性：迭代FlowNetS受网络大小/参数量大的限制，迭代PWCnet受到金字塔级别数量的限制

循环性：SpyNet[39]、PWC-Net[42]、LiteFlowNet[22]、VCN[49] 它们在迭代之间不共享权重，而RAFT是共享权重的

        Third，更新算子 update operator具有新颖的设计

它由一个卷积GRU组成，该GRU在4D多尺度相关体积上执行查找;相比之下，先前工作中的