LK光流算法

最新推荐文章于 2023-08-25 17:15:55 发布

njufighter

最新推荐文章于 2023-08-25 17:15:55 发布

阅读量5.2k

点赞数 1

分类专栏：计算机视觉

计算机视觉专栏收录该内容

1 篇文章 0 订阅

订阅专栏

简介：在计算机视觉中，Lucas–Kan ade光流算法是一种两帧差分的光流估计算法。它由Bruce D. Lucas 和 Takeo Kanade提出。

光流的概念:(Opt ical flow or optic flow)
它是一种运动模式，这种运动模式指的是一个物体、表面、边缘在一个视角下由一个观察者（比如眼睛、摄像头等）和背景之间形成的明显移动。光流技术，如运动检测和图像分割，时间碰撞，运动补偿编码，三维立体视差，都是利用了这种边缘或表面运动的技术。

二维图像的移动相对于观察者而言是三维物体移动的在图像平面的投影。
有序的图像可以估计出二维图像的瞬时图像速率或离散图像转移。

光流算法：
它评估了两幅图像的之间的变形，它的基本假设是体素和图像像素守恒。它假设一个物体的颜色在前后两帧没有巨大而明显的变化。基于这个思路，我们可以得到图像约束方程。不同的光流算法解决了假定了不同附加条件的光流问题。

Lucas–Kana de算法：
这个算法是最常见，最流行的。它计算两帧在时间t 到t + δt之间每个每个像素点位置的移动。由于它是基于图像信号的泰勒级数，这种方法称为差分，这就是对于空间和时间坐标使用偏导数。
图像约束方程可以写为 I( x, y, z, t) = I( x + δ x, y + δ y, z + δ z, t + δ t)
I(x, y,z, t) 为在（x,y,z）位置的体素。
我们假设移动足够的小，那么对图像约束方程使用泰勒公式，我们可以得到：
$I(x+\delta x,y+\delta y,z+\delta z,t+\delta t) = I(x,y,z,t) + \frac{\partial I}{\partial x}\delta x+\frac{\partial I}{\partial y}\delta y+\frac{\partial I}{\partial z}\delta z+\frac{\partial I}{\partial t}\delta t+H.O.T.$

H.O.T. 指更高阶，在移动足够小的情况下可以忽略。从这个方程中我们可以得到：
$\frac{\partial I}{\partial x}\delta x+\frac{\partial I}{\partial y}\delta y+\frac{\partial I}{\partial z}\delta z+\frac{\partial I}{\partial t}\delta t = 0$
或者
$\frac{\partial I}{\partial x}\frac{\delta x}{\delta t}+\frac{\partial I}{\partial y}\frac{\delta y}{\delta t}+\frac{\partial I}{\partial z}\frac{\delta z}{\delta t}+\frac{\partial I}{\partial t}\frac{\delta t}{\delta t} = 0$
我们得到：

$\frac{\partial I}{\partial x}V_x+\frac{\partial I}{\partial y}V_y+\frac{\partial I}{\partial z}V_z+\frac{\partial I}{\partial t} = 0$
V _x, V _y, V _z 分别是I(x,y,z ,t)的光流向量中x ，y，z的组成。 $\frac{\partial I}{\partial x}$ , $\frac{\partial I}{\partial y}$ , $\frac{\partial I}{\partial z}$ 和 $\frac{\partial I}{\partial t}$ 则是图像在( x, y, z, t)这一点向相应方向的差分。
所以

I _x V _x + I _y V _y + I _z V _z = − I _t。

写做：

$\nabla I^T\cdot\vec{V} = -I_t$

这个方程有三个未知量，尚不能被解决，这也就是所谓光流算法的光圈问题。那么要找到光流向量则需要另一套解决的方案。而Luca s-Kanade算法是一个非迭代的算法：假设流(Vx,Vy, Vz)在一个大小为m *m*m(m>1)的小窗中是一个常数，那么从像素1... n, n = m ³中可以得到下列一组方程：

$I_{x_1} V_x + I_{y_1} V_y + I_{z_1} V_z = -I_{t_1}$

$I_{x_2} V_x + I_{y_2} V_y + I_{z_2} V_z = -I_{t_2}$

$\vdots$

$I_{x_n} V_x + I_{y_n} V_y + I_{z_n} V_z = -I_{t_n}$

三个未知数但是有多于三个的方程，这个方程组自然是个超定方程，也就是说方程组内有冗余，方程组可以表示为：

$\begin{bmatrix} I_{x_1} & I_{y_1} & I_{z_1}\\ I_{x_2} & I_{y_2} & I_{z_2}\\ \vdots & \vdots & \vdots\\ I_{x_n} & I_{y_n} & I_{z_n} \end{bmatrix} \begin{bmatrix} V_x\\ V_y\\ V_z \end{bmatrix} = \begin{bmatrix} -I_{t_1}\\ -I_{t_2}\\ \vdots \\ -I_{t_n} \end{bmatrix}$

记作： $A\vec{v}=-b$

为了解决这个超定问题，我们采用最小二乘法：

$A^TA\vec{v}=A^T(-b)$ or

$\vec{v}=(A^TA)^{-1}A^T(-b)$

得到：

$\begin{bmatrix} V_x\\ V_y\\ V_z \end{bmatrix} = \begin{bmatrix} \sum I_{x_i}^2 & \sum I_{x_i}I_{y_i} & \sum I_{x_i}I_{z_i} \\ \sum I_{x_i}I_{y_i} & \sum I_{y_i}^2 & \sum I_{y_i}I_{z_i} \\ \sum I_{x_i}I_{z_i} & \sum I_{y_i}I_{z_i} & \sum I_{z_i}^2 \\ \end{bmatrix}^{-1} \begin{bmatrix} -\sum I_{x_i}I_{t_i} \\ -\sum I_{y_i}I_{t_i} \\ -\sum I_{z_i}I_{t_i} \end{bmatrix}$

其中的求和是从1到n 。

这也就是说寻找光流可以通过在四维上图像导数的分别累加得出。我们还需要一个权重函数 W(i, j,k)， $i,j,k \in [1,m]$ 来突出窗口中心点的坐标。高斯函数做这项工作是非常合适的，

这个算法的不足在于它不能产生一个密度很高的流向量，例如在运动的边缘和黑大的同质区域中的微小移动方面流信息会很快的褪去。它的优点在于有噪声存在的鲁棒性还是可以的。

实现Lucas-Kanade 光流算法可以分为三个步骤。

第一步骤为初始化需要跟踪的点。

第二步骤为根据两帧之间的光流来计算由初始化的需要跟踪的点的目标点，为此要先计算出两帧的光流金字塔。

第三步骤为把输入输出点进行互换，还有上一帧与目前帧的互换以及上一帧与当前帧金字塔的互换。

下面我们来具体看一下实现的过程：

//第三步，当第一次进入方法时候，因为输入点的容器是空的，所以并不运行这段代码，而是运行到第一步。当再次进入这个方法时。因为由第一步得到的输出点已经由第二步转换为输入点，所以输入点非空，我们就可以进入下面的方法。该方法时为opencv计算光流跟踪的主要方法。由前一帧与当前帧的图像和两帧的金字塔得到了新的输出点。如果输入点的光流小时。对应的m_status 的值为0。我们可以把没有光流的点进行删除。

if(m_lInputPoints.size())

{

cvCalcOpticalFlowPyrLK(m_prev_grey, m_grey, m_prev_pyramid, m_pyramid,

&m_lInputPoints[0], &m_lOutputPoints[0], m_lInputPoints.size(), cvSize(m_win_size, m_win_size), 3, m_status, 0,

cvTermCriteria(CV_TERMCRIT_ITER|CV_TERMCRIT_EPS, 20, 0.03), m_flags);

m_flags |= CV_LKFLOW_PYR_A_READY;

}

//第一步从这里开始，假设我们已经初始化完毕输入点，但是我们要先把输入点放在输出的点的容器内，然后计算该容器内点的光流。

cvFindCornerSubPix(m_grey, &m_lOutputPoints[m_lOutputPoints.size() - 1], 1,

cvSize(m_win_size, m_win_size), cvSize(-1, -1),

cvTermCriteria(CV_TERMCRIT_ITER|CV_TERMCRIT_EPS, 20, 0.03));

//第二步，把得到的输出点的光流放到输入点的容器内，以及互换前一帧与当前帧，还有前一帧与当前帧的光流来进行下次的运算。这里运行完毕，并不运行到第三步，而是退出该方法。并得到下面一帧。

m_lInputPoints= m_lOutputPoints;

CV_SWAP(m_prev_grey, m_grey, m_swap_temp);

CV_SWAP(m_prev_pyramid, m_pyramid, m_swap_temp);

至此，Lucas-Kanade 光流算法已经成功的实现。可以对设定点进行跟踪。但是如何选取这些被跟踪的点来进行最优化的跟踪，是需要解决的下一个问题。

补充：opencv里实现的看上去蛮复杂，现在还不是太明白。其中LK经典算法也是迭代法，是由高斯迭代法解线性方程组进行迭代的。参考文献：Lucas B and Kanade T. An Iterative Image Registrati on Technique with an Applicatio n to Stereo Vision. Proc. Of 7th Internatio nal Joint Conference on Artificial Intelligen ce (IJCAI), pp.674-679 .是81年发表的。 opencv中实现的是84年发表的算法，参考文献： Bruce D. Lucas, "Generaliz ed Image Matching by the Method of Difference s," doctoral dissertati on, tech. report , Robotics Institute, Carnegie Mellon University , July, 1984

njufighter

关注

1
点赞
踩
5

收藏

觉得还不错? 一键收藏
0
评论
LK光流算法

简介：在计算机视觉中，Lucas–Kanade光流算法是一种两帧差分的光流估计算法。它由Bruce D. Lucas 和 Takeo Kanade提出。光流的概念:(Optical flow or optic flow)它是一种运动模式，这种运动模式指的是一个物体、表面、边缘在一个视角下由一个观察者（比如眼睛、摄像头等）和背景之间形成的明显移动。光流技术，如运动检测和图像分割，时间碰撞
复制链接

扫一扫