光流法是研究图像序列中像素运动的技术，基于像素强度不变假设和相邻像素相似运动假设。Lucas-Kanade算法通过最小二乘解求解光流，适用于小运动情况。OpenCV库提供了cv.calcOpticalFlowPyrLK()函数用于实现光流计算，结合图像金字塔解决大运动问题，并可用于视频中特征点的跟踪。
Optical Flow（光流）
- 光流的概念是指在连续的两帧图像中由于图像中的物体移动或者摄像头的移动导致的图像中目标像素的移动
- 由观察者和场景之间的相对运动引起的视觉场景中物体表面和边缘的明显运动模式
- 光流是二维矢量场，表示了一个点从第一帧到第二帧的位移
- 上面的图表示了一个球在连续的5帧图像中的运动。箭头表示了它的位移矢量
- 光流法的工作原理基于如下假设：
- 场景的像素强度在相邻帧之间基本不变
- 相邻像素具有相似的运动
- 第一帧中的像素 I(x,y,t) 表示在时刻 t 时像素 I(x,y) 的值，在经过 dt 时间后，该像素在下一帧中移动了 (dx,dy)，由于这些像素是相同的且强度不变，因此可以表示成： I ( x , y , t ) = I ( x + d x , y + d y , t + d t ) I(x,y,t) = I(x+dx,y+dy,t+dt) I(x,y,t)=I(x+dx,y+dy,t+dt)
- 假设移动很小，使用泰勒公式可以表示成：
I ( x + d x , y + d y , t + d t ) = I ( x , y , t ) + ∂ I ∂ x Δ x + ∂ I ∂ y Δ y + ∂ I ∂ t Δ t + H . O . T I(x+dx,y+dy,t+dt)=I(x,y,t)+{\partial I\over\partial x}\Delta x+{\partial I\over\partial y}\Delta y+{\partial I\over\partial t}\Delta t+H.O.T I(x+dx,y+dy,t+dt)=I(x,y,t)+∂x∂IΔx+∂y∂IΔy+∂t∂IΔt+
最低0.47元/天 解锁文章
扫一扫
5135
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
