图片插值数据_RAFT: 2D图片光流检测——ECCV2020 Best Paper

本文介绍一篇光流检测的文章。

RAFT: Recurrent All-Pairs Field Transforms for Optical Flow​arxiv.org princeton-vl/RAFT​github.com

什么是光流（Optical Flow）？

例如，把一个视频的前后两帧图片作为输入，Optical Flow能够计算出第一帧图片里面的每个像素的偏移量。或者说，对第一帧图片里面的每个像素，计算出第二帧图片里面的哪个像素与其对应。或者说，在前后两帧图片的像素之间找一个对应关系。

RAFT计算流程

假设输入的前后两帧图片是

和

一、计算图片feature

用一个共享的多层网络

，分别计算得出两张图片的feature：

。feature的分辨率是原图的1/8。

二、计算相关性

这步是文章的一个核心。假设

， 其中，