光流网络：FlowNet

目录

 

1. FlowNet   (2015)

1. 什么样的网络结构具有光流预测能力呢？

2. 根据输入方式的不同，FlowNet又分为FlowNetSimple和FlowNetCorr

3. FlowNet实验

2. FlowNet2.0  (2017)

1. 训练数据

2. 训练策略

3. 利用堆叠的结构对预测结果进行多级提升

4. 针对小位移的情况引入特定的子网络进行处理

---

1. FlowNet   (2015)

光流具有丰富的运动信息，因而在运动估计、自动驾驶和行为识别方面都有广泛应用。

FlowNet是第一个尝试利用CNN去直接预测光流的工作，它将光流预测问题建模为一个有监督的深度学习问题。模型框架如下：

 如图1输入端为待求光流的图像对I_1，I_2，输出端为预测的光流W。

那么问题来了，

1. 什么样的网络结构具有光流预测能力呢？

FlowNet中提出了两种可行的网络结构。

网络整体上为编码模块接解码模块结构，编码模块均为9层卷积加ReLU激活函数层，解码模块均为4层反卷积加ReLU激活函数层，在文中解码模块又被称为细化模块。整个网络结构类似于FCN(全卷机网络)，由卷积和反卷积层构成，没有全连接层，因此理论上对输入图像的大小没有要求。

2. 根据输入方式的不同，FlowNet又分为FlowNetSimple和FlowNetCorr

FlowNetS（FlowNetSimple） 直接将两张图像按通道维重叠后输入。

FlowNetC （FlowNetCorr）为了提升网络的匹配性能，人为模仿标准的匹配过程，设计出“互相关层”，即先提取特征，再计算特征的相关性。相关性的计算实际上可以看做是两张图像的特征在空间维做卷积运算。

在解码细化的过程中，对每层的反卷积ReLU层，不仅输入前一层的输出，同时还输入前一层预测的低尺度的光流和对应编码模块中的特征层。这样使得每一层反卷积层在细化时，不仅可以获得深层的抽象信息，同时还可以获得浅层的具象信息，以弥补因特征空间尺度的缩小而损失的信息。

3. FlowNet实验