光流 — Optical Flow

最新推荐文章于 2024-09-12 01:15:00 发布

_rho

最新推荐文章于 2024-09-12 01:15:00 发布

阅读量1k

点赞数 1

分类专栏：计算机视觉文章标签：光流 Optical Flow

本文链接：https://blog.csdn.net/u012841922/article/details/85274061

版权

计算机视觉专栏收录该内容

18 篇文章 1 订阅

订阅专栏

光流是环境中物体和照相机发生相对移动，物体投影在图像或者视网膜上的运动轨迹，即像素的移动。我们期望通过分析图像序列中像素变化来计算环境中物体和照相机所发生的相对运动轨迹。

光流有一个前提假设：图像采集的时间间隔很小，因此，图像中某点像素的位置变化范围较小。且该点像素位置变化前后，其像素值保持不变。即：
$I(x+\Delta{x}, y+\Delta{y},t+\Delta{t})$

其中， $\Delta{x}$ 和 $\Delta{y}$ 表示像素在 $x$ 和 $y$ 轴方向上的位移。 $I(x+\Delta{x}, y+\Delta{y},t+\Delta{t})$ 在 $(x, y, t)$ 处的泰勒展开为：
$I(x+\Delta{x}, y+\Delta{y},t+\Delta{t}) = I(x,y,t) + \Delta{x}I_{x} + \Delta{y}I_{y} + \Delta{t}I_{t} + H.O.T$

其中， $I_{x} = \frac{\partial{I}}{\partial{x}}$ ， $I_{y} = \frac{\partial{I}}{\partial{y}}$ ， $I_{t} = \frac{\partial{I}}{\partial{t}}$ ， $H . O . T$ 表示泰勒级数中的高阶项（ $high\ order\ terms$ ）。结合上两式，可得：
$\Delta{x}I_{x} + \Delta{y}I_{y} + \Delta{t}I_{t} + H.O.T = 0$

在精度要求不高的情况下，可以将上式中的高阶项去掉。左右除以 $\Delta{t}$ 后，得：
$uI_{x} + vI_{y} + I_{t} = 0$

其中， $\frac{\Delta{x}}{\Delta{t}}$ ， $\frac{\Delta{y}}{\Delta{t}}$ ，分别表示像素在 $x$ 和 $y$ 轴方向上的速率。上式中， $u$ 和 $v$ 为未知量， $I_{x}$ 、 $I_{y}$ 和 $I_{t}$ 均可由图像序列计算出来（本文末尾会给出）。因此，对于上式单约束却含有两个未知量，我们是无法确切计算出每个像素的光流，即速度 $(u, v)$ 。为了解决这个问题，我后续会介绍Horn-Schunck光流算法和Lucas-Kanade算法，通过增加约束来计算每个像素的光流 $(u, v)$ 。

对于 $I_{x}$ 、 $I_{y}$ 和 $I_{t}$ 的计算，可以参考Horn和Schunck在1981年发表的论文 $Determining\ Optical\ Flow$ 中的计算方法。如下：
$\begin{aligned} I_{x} \approx & \frac{1}{4} \{I_{i,j+1,k} - I_{i,j,k} + I_{i+1,j+1,k} - I_{i+1,j,k} \\ & + I_{i,j+1,k+1} - I_{i,j,k+1} + I_{i+1,j+1,k+1} - I_{i+1,j,k+1}\}, \\ I_{y} \approx & \frac{1}{4} \{I_{i+1,j,k} - I_{i,j,k} + I_{i+1,j+1,k} - I_{i,j+1,k} \\ & + I_{i+1,j,k+1} - I_{i,j,k+1} + I_{i+1,j+1,k+1} - I_{i,j+1,k+1}\}, \\ I_{t} \approx & \frac{1}{4} \{I_{i,j,k+1} - I_{i,j,k} + I_{i+1,j,k+1} - I_{i+1,j,k} \\ & + I_{i,j+1,k+1} - I_{i,j+1,k} + I_{i+1,j+1,k+1} - I_{i+1,j+1,k}\}. \end{aligned}$