计算机视觉基础（6）——光流估计

前言

本章我们来学习一下图像处理基础中的运动估计。主要内容包括运动场估计和光流估计两个部分。在运动场估计中，我们将学习到运动场、光流、光流和运动场的区别；在光流估计中，我们将学习到光流估计任务、孔径问题，以及光流估计两种方法——Lucas Knade方法和深度学习方法。

一、运动估计

运动估计常用于目标跟踪和分割、事件和活动识别以及自动驾驶预测等。

1.1  运动场

定义：三维相对速度矢量在二维图像平面上的投影

1.2  光流

定义：图像中亮度模式产生的运动

1.3  运动场和光流的比较

• 理想情况下，运动场和光流是相等的；
• 但是也会有物体运动场和图像光流不相等的时候。

【例子】

二、光流估计

【举例说明】

光流估计任务定义： 给定两个连续的帧，计算对应点之间的位移

【光流平滑性约束】

【光流估计评价标准】

2.1  重要假设

• 亮度一致性：物体上同一个点在不同帧上的亮度是相同的；
• 运动幅度小：物体上的点在两帧内的运动较小；
• 空间连续性：一个点的运动和其周围点的运动相近；

• 对于每个像素点有，一个方程，两个未知数(u,v) ；
• 沿着垂直梯度的方向，也即边缘方向的运动分量无法被观测；

2.2  孔径问题

光流估计会出现一个问题——孔径问题。在这种情况下，光流估计将失效，即不能估计出对应点之间的实际位移（运动）。

举例说明如下：

2.3  Lucas Kanade方法

• 求解欠定问题的核心想法：为每个像素点找到更多方程
• 空间一致性约束(Spatial Coherence Constraint)：假设每个像素点的邻域具有相同的运动(u,v)

【参考文献】

B. Lucas and T. Kanade. An iterative image registration technique with an application to stereo vision. In Proceedings of the International Joint Conference on Artificial Intelligence, pp. 674–679, 1981.

Lucas-Kanade方程何时可以求解？也即对于哪些点比较适合计算光流？

但这种方法也有失效的情况：

1）大幅度运动

【解决方案】

2）亮度一致性不满足：相邻帧的光照发生变化

【解决方案】

• 特征点匹配
• 模板匹配
• 基于特征的Lucas-Kanade方法
• 基于梯度的Lucas-Kanade方法

2.4  深度学习方法

1、FlowNet

【参考文献】

Dosovitskiy, A.; Fischer, P.; Ilg, E.; Häusser, P.; Hazibas;, C.; Golkov, V.; van der Smagt, P.; Cremers, D. & Brox, T. FlowNet: Learning Optical Flow with Convolutional Networks, ICCV 2015

2、PWC-Net

【参考文献】

B. Lucas and T. Kanade. An iterative image registration technique with an application to stereo vision. In Proceedings of the International Joint Conference on Artificial Intelligence, pp. 674–679, 1981.

3、Self-Supervised Method

【参考文献】

Yu, J. J.; Harley, A. W. & Derpanis, K. G. Back to basics: Unsupervised learning of optical flow via brightness constancy and motion smoothness ECCV 2016

 总结

1）运动场估计

• 运动场

• 光流

2）光流估计

• 重要假设

• Lucas Kanade方法

• 深度学习方法