LiteFlowNet2

A Lightweight Optical Flow CNN –Revisiting Data Fidelity and Regularization

文章来自港中文的汤晓鸥团队，研究方向是轻量级光流预测网络，去年该团队曾提出第一版LiteFlowNet，这次是在其基础上进一步改进，提出了LiteFlowNet2，值得推荐。

文章贡献

提出一项研究，希望在传统光流估计算法和轻量级光流CNN中已经建立的认知之间搭建对应的关系；从早期工作成果LiteFlowNet发展而来的轻量级卷积网络LiteFlowNet2，通过提高流场精度和计算时间更好地解决光流估计问题。同时也提供了比LiteFlowNet更多的设计分析和试验结果；在Sintel和KITTI基准测试集上性能超过了SOT方法FlowNet2，并且模型尺寸缩小25.3倍，推理速度快3.1倍。GTX1080显卡上的光流估计帧率达到25。LiteFlowNet

之前提出的LiteFlowNet网络结构图如下图所示。

LiteFlowNet网络结构图

由上图可知，LiteFlowNet主要是NetC和NetE两部分组成，NetC将任何给定的一对图像分别转换为两个多尺度特征金字塔，而NetE由级联流场推理和正则化模块组成，可以在高空间分辨率上估计光流场。

级联式流场推理在减少计算成本上作者从三个方面考虑改进级联方式。

F1和F2之间的特征向量的匹配在每个金字塔等级的短搜索范围内执行，而不是仅在最高空间分辨率级别使用长搜索范围。这被称为Multi-Level Short Searching Range；通过引入f-warp层，从前一级别的流场估计将F2向F1变形来构建成本量之前减少F1和F2之间的特征空间距离。这被称为Feature Warping；仅在高空间分辨率的金字塔层级的采样位置上执行匹配。这被称为Spare Cost Volume。第二阶段推理，子像素精细化。作者认为之前预测的流场估计只能达到像素级精度，因此引入了第二阶段的流场推理，旨在将描述符匹配单元的像素级流场精细化为子像素精度。

流场正则化作者认为级联流量推断类似于传统最小化方法中数据保真度的作用。为了解决流场中模糊的流场边界和伪像问题，文章建议使用由特征驱动的局部卷积f-lconv对级联式流场推理的光流场进行规范化。

LiteFlowNet的实现与传统方法之间的关联关系分析

作者分别从数据层面和正则化层面分析了LiteFlowNet和经典的变分光流方法之间的对应关系。在数据层面，LiteFlowNet的级联流场推理网络类似于变分光流方法中数据项的作用；仅仅由数据保真度计算的流场对于奇异值是非常敏感的，LiteFlowNet的特征驱动正则化项类似于变分方法中正则化项的作用。

此外，作者还得出进一步的理论分析结论，即图像运动的参数化模型已经被良好地封装在文章所设计的级联流动参考中。

实验

LiteFlowNet和LiteFlowNet2LiteFlowNet2分别从金字塔层级、网络深度以及伪流量推理和正则化三个方面对LiteFlowNet进行了改进。

金字塔层面上作者通过分析LiteFlowNet每个金字塔层级的耗时以及误差，如下表所示，从第二级到第三级时间占了60%，但是准确率上没有明显提升，因此，LiteFlowNet2中作者只保留了四个金字塔层级，从而提高计算效率。

金字塔层级计算效率对比

网络深度方面，LiteFlowNet2比LiteFlowNet的流场推理级别少一些，因此光流准确率上会有一定程度的下降。为了弥补这个精确损失，在NetE中的每个级联流场推理中的128和64通道的卷积层之间增加了两个卷积层。

在原来的第二级网络中，尝试引入了一种简单的流场推理网络，称为pseudo network，它仅仅保留了原始网络结构中流场推理的最后一层和正则化的f-lcon层。这个pseudo network仅仅用于KITTI数据集，因为这个数据集更真实并且更有挑战性。

性能及耗时的实验结果参与测试对比的数据集包括FlyingChairs、Sintel、KITTI 2012和KITTI 2015，实验结果如下面两个表所示。

FlyingChairs数据集对比

其他三个数据集上的对比

在GTX1080的显卡和E5 2.2GHz的CPU上，1024×436分辨率的图像，各种计算光流场的算法耗时以及参数规模如下表所示。

算法耗时与模型尺寸对比

消融研究作者分别对LiteFlowNet2的不同部分进行了详细的消融实验，实验结果如下表所示，其中，WM和WMS分别对应特征变形失效的版本M和MS，WSR是没有描述符匹配的版本，ALL是完整版本。

消融实验结果