OpenCV实战（28）——光流估计

0. 前言

当相机进行拍摄时，拍摄到的亮度图案会投射到图像传感器上，从而形成图像。在视频序列中，我们通常需要捕捉运动模式，即不同场景元素的 3D 运动在图像平面上的投影，这种投影 3D 运动矢量的图像称为运动场 (motion field)。但是，我们无法从相机传感器直接测量场景点的 3D 运动，我们所观察到的只是一种逐帧运动的亮度模式，亮度图案的这种运动称为光流 (optical flow)。运动场并不完全等同于光流，一个简单的例子是拍摄无明显变化的物体，例如，如果摄像机在白墙前移动，则不会产生光流；另一个经典的例子是旋转杆产生的运动错觉：

在上图所示情况下，当垂直圆柱体围绕其主轴旋转时，运动场为水平方向的运动矢量。然而，在视觉上这种运动看起来是红色和蓝色条带向上移动，这也是光流所展现的内容。尽管存在这些差异，但光流通常可以认为是运动场的有效近似。本节将学习如何估计图像序列的光流。

1. 光流估计原理

光流估计意味着量化图像序列中亮度模式的运动。因此，考虑在给定时刻的一帧视频，如果查看当前帧上 (