FlowNet: Learning Optical Flow with Convolutional Networks

FlowNet: Learning Optical Flow with Convolutional Networks

2015 IEEE International Conference on Computer Vision

outline

•Introduction

•RelatedWork

•Dataset Schedules

•Stacking Networks

•Small Displacements

•Experiments

•Conclusions

分为以上6个方面介绍这篇文章，这也是这篇文章的目录，这篇文章是发表在2015CVPR国际会议上的文章

Abstract

首先摘要告诉我们这篇文章做了什么，主要有四点

•construct CNNs which are capable of solving the optical flow estimation problem as a supervised learning task

•We propose and compare two architectures FNS FNC

•we generate a large synthetic Flying Chairs dataset.

•frame rates of 5 to 10 fps.

1.建立了一个CNN框架，能够以监督学习任务来解决光流估计。利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程，也称为监督训练或有教师学习。

2.提出比较了两种架构flownetsimple与flonetcor

3.产生了飞行椅子数据集

4.能够达到10帧每秒的速度

Optical flow or optic flow is the pattern of apparent motion of objects, surfaces, and edges in a visual scene caused by the relative motion between an observer and a scene

Motion estimation and video compression have developed as a major aspect of optical flow research.

光流是什么呢，光流是关于视域中的物体运动检测中的概念。用来描述相对于观察者的运动所造成的观测目标、表面或边缘的运动

运动估计和视频压缩成为了光流的主要研究方面

1. Introduction

在介绍部分，作者简要介绍了一下为什么要提出这两种架构以及产生数据集的原因。

•optical flow estimation needs precise per-pixel localization

•requires finding correspondences between two input images.

•we additionally developed an architecture with a correlation layer that explicitly provides matching capabilities. This architecture is trained end-to-end.

因为光流预测需要精确的像素定位，并且需要找到两幅输入图像之间的联系,所以作者提出了一个结构拥有相关层并且是端对端的结构来提供匹配能力。作者想要利用卷积神经网络的强大抽象能力，帮助卷积神经网络进行匹配，令人惊讶的是，以这种方式帮助网络是不必要的，甚至原始网络也可以学习以具有竞争力的准确度来预测光流。

2. RelatedWork

Optical Flow.

自从Horn和Horn的工作以来，变分方法(Variation approaches)主导了光流估计,已经有很多改进，最近重点是大位移、并且组合匹配也应用到了变分法中。[30]称为EpicFlow的连续工作更加强调稀疏匹配的质量，而[35]的匹配只是在尊重图像边界的同时内插到密集流场。deepflow工作与作者工作有关使用了稀疏卷积和最大池化，然而作者没有执行学习参数而是手工设置。已经进行了使用神经网络模型在视频帧之间进行无监督学习视差或运动的工作这些方法通常使用乘法交互来模拟一对图像之间的关系。

Convolutional Networks.

主要讲了卷积神经网络的应用，CNN的最近应用包括语义分割(segmentation)[11,15,17,28]，深度预测(depth prediction)[10]，关键点预测(keypoint prediction)[17]和边缘检测(edge detection)[13]。 这些任务类似于光流估计，因为它们涉及每像素预测。