论文笔记-LiteFlowNet3: Resolving Correspondence Ambiguity for More Accurate Optical Flow Estimation

Hello, 这是论文阅读计划的第25篇啦！

Code: https://github.com/twhui/LiteFlowNet3

一、背景介绍

光流估计是计算机视觉中的经典问题。它广泛应用于运动跟踪、动作识别、视频分割、三维重建等领域。随着深度学习的发展，许多研究工作试图利用卷积神经网络来解决这个问题。大多数CNN属于从图像对推断流场的2帧方法。特别是，LietFlowNet和PWC-Net 是第一个提出在从粗到细的估计中使用多个金字塔级别的特征扭曲和成本量的CNNs。这极大地减少了模型参数的数量，从FlowNet2 中的160M减少到LiteFlowNet中的5.37M和PWC-Net中的8.75M，同时仍然保持了准确的流量估计。

轻量级光流CNNs成功的关键之一是使用cost volume来建立每个金字塔级别的对应关系。然而，cost volume很容易被模糊的特征匹配破坏。这导致从成本体积解码的流场变得不可靠。模糊匹配存在的根本原因有两个。首先，当给定一对图像时，当包含第二图像时，第一图像中的特征点不可能在第二图像中找到对应的点。第二，在图像的同质区域(例如，阴影、天空和墙壁)中，模糊的对应是不可避免的。最佳流动中枢神经系统成功的另一个关键是使用由粗到细的框架来推断流场。然而，这种方法非常需要从前面的金字塔级别进行精确的流初始化。一旦存在不明确的对应关系，就会产生错误的光流，并传播到后续级别。

二、相关背景

变分方法:

自从Horn和Schunck的开创性工作以来，变分方法已被广泛用于光流估计的研究。Brox等人通过引入梯度恒常性假设解决了图像间光照变化的问题。Brox等人和Papenberg等人提出使用图像扭曲来最小化能量泛函。百乐等人提出了流场，这是一种基于搜索的方法。光流是通过多次传播和随机搜索的数值优化来计算的。在EpicFlow 中，Revaud等人使用稀疏流作为初始化，然后通过基于附近的匹配在每个像素处拟合局部仿射模型，将稀疏流插值到密集流场中。仿射参数被计算为超定系统的最小二乘解。与EpicFlow不同，我们使用自适应仿射变换来修改成本量。转换参数在CNN中隐式生成。

成本数量法:

Kang等人通过使用以偏移为中心的窗口并选择相邻图像帧的子集来动态执行匹配，从而解决了模糊匹配的问题。李曼等人提出使用边缘保持滤波器来过滤成本量。在DCFlow 中，徐等人通过采用半全局匹配，利用了代价体积中的规律性，提高了光流精度。在从上述传统方法改进成本量的启发下，我们提出在流解码之前通过使用仿射变换来调制成本量中的每个成本向量。变换参数被自适应地构造以适应不同的成本向量。具体来说，DCFlow将EpicFlow 中的插值与互补方案相结合，将稀疏对应转换为密集对应。相反，LiteFlowNet3将仿射变换应用于成本量中的所有元素，而不是稀疏对应。

无监督和自监督光流估计:

为了避免标注标签，Meister等人提出了一个框架，利用合成图像和真实图像之间的差异进行无监督训练。刘等人提出了利用自监督训练从大数据集中的非遮挡像素提取可靠的流量估计的SelFlow。在监督训练中使用多帧并微调自监督模型，以进一步提高流量精度。与上面的工作不同，我们关注的是监督学习。尽管LiteFlowNet3是一种2帧方法，并且是在一个小得多的数据集上训练的，但它在Sintel clean和KITTI上的性能仍然优于SelFlow。

光流的监督学习:

Dosovitskiy等人开发了FlowNet，第一个光流CNN。迈尔等人扩展了FlowNet来估计视差和场景流。在FlowNet2 中，Ilg等人通过级联FlowNet的几个变体来提高FlowNet的流量精度。然而，模型尺寸增加到超过160M的参数，并且它还需要高的计算时间。Ranjan等人开发了一个紧凑的网络SPyNet ，但其精度无法与FlowNet2相比。我们的LiteFlowNet 由级联流推理和流正则化组成，模型尺寸小(5.37M)，性能与FlowNet2相当。然后，我们开发LiteFlowNet2，以获得更精确的流量精度和更快的运行时间。LiteFlowNet3建立在LiteFlowNet2的基础上，结合了成本体积调制和流场变形，以进一步提高流量精度。与LiteFlowNet并行的工作是PWC-Net ，它提出使用特征扭曲和成本量作为LiteFlowNet。孙等随后通过改进训练协议开发了PWC-Net+。Ilg等人利用遮挡和光流的联合学习将FlowNet2扩展到FlowNet3。卢等人进行了由外部流场控制的特征匹配。相反，我们的位移场用于使光流变形，但不便于特征匹配。Hur等人提出了IRR-PWC，它通过采用LiteFlowNet的流规则化以及引入遮挡解码器和权重共享来改进PWC-Net。尹等介绍了HD3学习概率像素响应，但它需要在ImageNet上预先训练。而LiteFlow