【论文系列】光流/ LK光流/ FlowNet/ FlowNet2

最新推荐文章于 2024-05-14 20:31:07 发布

Min_20

最新推荐文章于 2024-05-14 20:31:07 发布

阅读量8.1k

点赞数 14

分类专栏： CV/统计理论&算法深度学习论文系列

本文链接：https://blog.csdn.net/jucilan3330/article/details/84331626

版权

今天重点介绍光流首先介绍光流的idea inspiration，传统光流的估计方法，再介绍用CNN解决光流的思路--FlowNet以及FlowNet2（个人认为只是利用stack方式堆叠FlowNetS和FlowNetC，其中更出彩的可能在数据集与更适应的数据训练方法，当然，精度和速度的效果也更为出色，解决了小displacement的估计）。Let's START!光流第一次读光流的...

摘要由CSDN通过智能技术生成

今天重点介绍光流

首先介绍光流的idea inspiration，传统光流的估计方法，再介绍用CNN解决光流的思路--FlowNet以及FlowNet2（个人认为只是利用stack方式堆叠FlowNetS和FlowNetC，其中更出彩的可能在数据集与更适应的数据训练方法，当然，精度和速度的效果也更为出色，解决了小displacement的估计）。Let's START!

光流

第一次读光流的文章是很久以前，当时有个印象很深的例子，就是当你坐火车的时候往窗外开，原本固定的刚体的物体，由于相对参考系的运动，仿佛变成了一条条川流的线，如同光在流动。而且，不同距离的物体，例如近处的相邻铁轨，远处的天和云，不远处的房屋，其运动的速度不是完全一样的，也就是说，我们可以通过不同的视觉感觉速度，而判断这个物体的远近。

光流（optical flow）最早在1940s由Gibson的The Perception of the Visual World.提出的，其定义是，由物体/相机的运动引起的在连续帧之间的视在运动模式。它是一个矢量2D场，每个矢量是一个位移矢量，代表点从第一帧到第二帧的运动。

光流需要满足的条件假设：

物体的像素强度在连续帧之间不会改变
相邻像素间有相似的运动

---------------------------------------------------

推导：

考虑在第一帧的像素点 I(x,y,t) , $\left ( dx,dy \right )$ 为在下一帧中的运动的位移，所以该点经过运动后在第二帧为 $I \left ( x+dx,y+dy,t+dt \right )$ 。考虑到假设条件一，“物体的像素强度在连续帧之间不会改变”，有：

$I\left ( x ,y ,t \right )= I\left ( x+dx,y+dy,t+dt \right )$

将， $I\left ( x+dx,y+dy,t+dt \right )$ 泰勒展开：

$I\left ( x+dx,y+dy,t+dt \right ) = I\left ( x ,y ,t \right ) +\frac{\partial I}{\partial x}*dx+\frac{\partial I}{\partial y}*dy+\frac{\partial I}{\partial t}*dt+H.O.T.$

故有：

$\frac{\partial I}{\partial x}*dx+\frac{\partial I}{\partial y}*dy+\frac{\partial I}{\partial t}*dt = 0 \ \overset{\div dt} {\rightarrow}\ \ \frac{\partial I}{\partial x}*\frac{ dx}{ dt}+\frac{\partial I}{\partial y}*\frac{dy}{ dt}+\frac{\partial I}{\partial t} = 0$

其中 $\frac{ dx}{ dt},\ \frac{dy}{ dt}$ ，各代表其在x y方向的运动速度，可以看成 u，v。 $u= \frac{ dx}{ dt},\ v= \frac{dy}{ dt}$

这样我们就得到了光流方程

$f_{x}u+f_{y}v+f_{t}=0\ \ \ \leftarrow (f_{x}=\frac{\partial I}{\partial x}\, \ f_{y}=\frac{\partial I}{\partial y}\ \ f_{t}=\frac{\partial I}{\partial t})$

在这个光流方程中 $f_{x},\, f_{y}$ 代表的是图像在(x ,y,t )这一点的梯度， $f_{t}$ 是两帧图像块之间差值，均为已知。我们需要求解的u，v，那么如何求解呢？这里引入L-K光流法和L-K金字塔光流法。

L-K光流法

-------------------------------------------

稀疏光流法： L-K光流

利用L-K法解决光流，充分利用了光流的第二个假设条件，即，相邻像素间有相似的运动。需要注意的是，L-K光流法解决的是小位移情况，所以后文将会介绍L-K金字塔光流法来搞定大位移的光流问题。

由光流方程我们可知，现需求解两个未知数u&v。

L-K方法是找一个3*3的patch，利用相邻像素间有相似的运动，所以假定这九个点都有相同的位移。这样我们就可以得到方程组：

$\left\{\begin{matrix}f_{x1}u+f_{y1}v+f_{t1}=0 \\ f_{x2}u+f_{y2}v+f_{t2}=0 \\.... \\f_{x9}u+f_{y9}v+f_{t9}=0 \end{matrix}\right. \ \ \rightarrow \begin{bmatrix} f_{x1}&f_{y1} \\ f_{x2}&f_{y2} \\ ... \\ f_{x9}& f_{y9} \end{bmatrix} \cdot \begin{bmatrix} u\\ v \end{bmatrix} =- \begin{bmatrix} f_{t1}\\ f_{t2} \\ ... \\ f_{t9} \end{bmatrix}$
九个方程解两个未知数，超定，可以用最小二乘法来得出近似解。 $A\cdot \overrightarrow{x} =\overrightarrow{b}$

$\overrightarrow{x}= (A^{T}A)^{-1}A^{T}(-\overrightarrow{b}) \rightarrow \begin{bmatrix} u\\v \end{bmatrix} = \begin{bmatrix} \sum f_{xi}^{2} &\sum f_{xi}f_{yi} \\ \sum f_{xi}f_{yi}& \sum f_{yi}^{2} \end{bmatrix}^{-1} \begin{bmatrix} -\sum f_{xi} f_{ti} \\ -\sum f_{yi} f_{ti} \end{bmatrix}$

由此，我们解得x，但是观察

$\left ( A^{T} A\right )= \begin{bmatrix} \sum f_{xi}^{2} &\sum f_{xi}f_{yi} \\ \sum f_{xi}f_{yi}& \sum f_{yi}^{2} \end{bmatrix}$ ，并不一定总是可逆的！(充要条件 $\pmb{ \left | G \right | \neq 0\Leftrightarrow G \ is \ invertible }$ ）

在图像中沿着两个方向都有像素变化的区域（角点，这个式子也很像harris corner的响应式），一般对应的 $\left ( A^{t} A\right )$ 是可逆的，但是对于在灰度变化很小的区域，一般 $\left ( A^{t} A\right )$ 是不可逆的。这限制了LK光流法的适用范围，所以我们称之为稀疏光流法（并不是所有光流都能被计算出来）

在光流跟踪中，由于可逆的充要条件 $\pmb{ \left | G \right | \neq 0\Leftrightarrow G \ is \ invertible }$ ，也就是要求，矩阵G的最小特征值要足够大，满足这个要求的像素点才易于光流跟踪。）

-------------------------------------------

稠密光流法：迭代求解L-K光流

这里对上面的证明，再重新梳理一遍，并用迭代的方式求解光流d；连续帧 $I_{1},I_{2}$ ，对于 $I_{1}$ 中的像素点

最低0.47元/天解锁文章

Min_20

关注

14
点赞
踩
97

收藏

觉得还不错? 一键收藏
9
评论
【论文系列】光流/ LK光流/ FlowNet/ FlowNet2

今天重点介绍光流首先介绍光流的idea inspiration，传统光流的估计方法，再介绍用CNN解决光流的思路--FlowNet以及FlowNet2（个人认为只是利用stack方式堆叠FlowNetS和FlowNetC，其中更出彩的可能在数据集与更适应的数据训练方法，当然，精度和速度的效果也更为出色，解决了小displacement的估计）。Let's START!光流第一次读光流的...
复制链接

扫一扫