光流（1）

最新推荐文章于 2022-09-06 22:23:02 发布

cihong3318

最新推荐文章于 2022-09-06 22:23:02 发布

阅读量159

点赞数

原文链接：https://my.oschina.net/u/4031275/blog/2907238

版权

我们会对视频中运动物体十分感兴趣，人们经常用光流法做这项事情。光流法有很多用处，比如物体追踪、摄像头矫正等等。

所有的光流法都是基于以下假设：

A、亮度恒定。同一个点随时间变化，其亮度不会发生改变。用于得到光流法的基本方程；

B、小运动。时间的变化不会引起位置的剧烈变化，这样灰度才能对位置求偏导数。小运动情况下才能用前后帧之间单位位置变化引起的灰度变化去近似灰度对位置的偏导数。

C、空间一致。一个场景上邻近的点投影到图像上也是邻近点，且邻近点速度一致。在Lucas-Kanade光流法中，要求x，y的方向速度，但基本方程只有一个，假设特征点邻域做相似运动，就可以联立n多个方程求取x，y方向的速度。

基于这些假设，如果有两张图片（比如视频两个帧），我们需要发现两个图片像素的对应关系。因为亮度恒定（RGB不变），不要要考虑RGB的值的改变。因为小运动，可以发现两张图片在很小的邻域范围内像素的对应关系。

假设亮度恒定，则有方程：

假设小运动，则有（一阶泰勒展开）：

得到光流约束方程：

1、Horn–Schunck method

Horn-Schunck算法假设整个图像的流动是平滑的。因此，它试图最小化流程中的失真，并更喜欢显示更平滑的解决方案。

流动表示：设定方程为全局方程，将其最小化。对于二维图像，有：

$E=\iint \left[(I_{x}u+I_{y}v+I_{t})^{2}+\alpha ^{2}(\lVert \nabla u\rVert ^{2}+\lVert \nabla v\rVert ^{2})\right]{{{\rm {d}}}x{{\rm {d}}}y}$

Ix，Iy，It是图像强度值分别沿x、y和时间维度的导数。 ${\vec {V}}=[u(x,y),v(x,y)]^{\top }$ 是光流向量。 $\alpha$ 是正则化的常数。大数值的 $\alpha$ 能够让函数平滑。使用多维拉格朗日方程解决：

${\frac {\partial L}{\partial u}}-{\frac {\partial }{\partial x}}{\frac {\partial L}{\partial u_{x}}}-{\frac {\partial }{\partial y}}{\frac {\partial L}{\partial u_{y}}}=0$

${\frac {\partial L}{\partial v}}-{\frac {\partial }{\partial x}}{\frac {\partial L}{\partial v_{x}}}-{\frac {\partial }{\partial y}}{\frac {\partial L}{\partial v_{y}}}=0$

被积函数L如下：

$I_{x}(I_{x}u+I_{y}v+I_{t})-\alpha ^{2}\Delta u=0$

$I_{y}(I_{x}u+I_{y}v+I_{t})-\alpha ^{2}\Delta v=0$

$\Delta ={\frac {\partial ^{2}}{\partial x^{2}}}+{\frac {\partial ^{2}}{\partial y^{2}}}$ 代表Laplace Operator（拉普拉斯算子）。实际中拉普拉斯算子用有限差分表示。 $\Delta u(x,y)=\overline {u}(x,y)-u(x,y)$ ， $\overline {u}(x,y)$ 是在像素（x，y）周围邻域内算出的平均。所以，上式可以写成：

$(I_{x}^{2}+\alpha ^{2})u+I_{x}I_{y}v=\alpha ^{2}\overline {u}-I_{x}I_{t}$

$I_{x}I_{y}u+(I_{y}^{2}+\alpha ^{2})v=\alpha ^{2}\overline {v}-I_{y}I_{t}$

u和v是线性的可以对每张图片像素求解。

然而，由于解决方案依赖于邻值，所以必须在邻域更新后再重复一次。推导出以下迭代:

$u^{k+1}=\overline{u}^k - \frac{I_x(I_x\overline{u}^k+I_y\overline{v}^k+I_t)}{\alpha^2+I_x^2+I_y^2}$

$v^{k+1}=\overline{v}^k - \frac{I_y(I_x\overline{u}^k+I_y\overline{v}^k+I_t)}{\alpha^2+I_x^2+I_y^2}$

k表示迭代次数。

其在代码中，首先使用下面mask计算fx, fy, ft：

555

将mask1用于每张图片计算fx。将mask2用于每张图片，得到fy。将mask4用于第一张图片，mask3用于第二张图片，加起来得到ft。

Xav是x邻域的平均值。

转载于:https://my.oschina.net/u/4031275/blog/2907238

cihong3318

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
光流（1）

我们会对视频中运动物体十分感兴趣，人们经常用光流法做这项事情。光流法有很多用处，比如物体追踪、摄像头矫正等等。所有的光流法都是基于以下假设： A、亮度恒定。同一个点随时间变化，其亮度不会发生改变。用于得到光流法的基本方程； B、小...
复制链接

扫一扫