（二）基于图像结构张量的粗到细光流估计——2013

最新推荐文章于 2024-06-14 17:42:37 发布

黑洞是不黑

最新推荐文章于 2024-06-14 17:42:37 发布

阅读量817

点赞数

分类专栏：变分光流文章标签：计算机视觉算法机器学习目标跟踪深度学习

本文链接：https://blog.csdn.net/qq_42208244/article/details/123448750

版权

变分光流专栏收录该内容

4 篇文章 0 订阅

订阅专栏

基于图像结构张量的粗到细光流估计

Abstract
1. Introduction
2. Method
3. EXPERIMENTS
- A. Measurement index

Abstract

提出了一种基于图像局部结构张量的粗到细光流方法。将所提出的结构张量恒定假设和灰色值恒定假设与鲁棒惩罚函数相结合，投影了光流模型的数据项，并规划了一个各向同性非线性函数来平滑项。采用从粗到细的多尺度扭曲策略，建立了一种线性迭代方案。实验结果表明，该方法具有较高的精度和较好的鲁棒性。

1. Introduction

众所周知，变分光流策略通常需要构成一个包含两部分的能量函数：数据项和平滑项，其中也包括一个加权因子。数据项通常包括图像数据的各种恒定假设，这决定了不同图像区域的光流估计。帕彭伯格[4]对所提出的恒定假设进行了详细的比较。为了使Brox[5]在光照变化条件下具有更好的性能，我们结合了经典的亮度恒定假设和梯度恒定假设，由Bruhn[6]、Zimmer[7]和Zhang[8]提出了该思想的一些改进策略。

平滑数据由不同的多种扩散策略组成，控制了不同图像区域的光流扩散程度。平滑项的第一个概念是由霍恩和申克提出的，他们在假设流动在任何区域都是连续的情况下使用均匀扩散。由于均匀扩散往往会影响运动边缘，因此提出了一些各向同性[9-10]和各向异性[11-12]扩散策略，可以降低运动边缘的光流扩散，增加运动区域的光流扩散，以保持运动边界。

为了应对大位移光流估计，Anandan[13]和Black[14]采用了从粗到细的方法来处理通常对图像噪声敏感的线性数据项的缺陷。Brox[15]结合了粗到细和区域匹配的方法来估计光流，其他相关研究由Amiaz[16]和Nir[17]提出。

利用图像局部结构张量的几何流动法，可以获得比经典方法更好的性能。本文的其余部分组织如下。在第Ⅱ节中，我们给出了光流估计的计算模型。详细的实验项目在Ⅲ部分提供，简要总结。

2. Method

A. The data term

对于灰度序列，设I(X)为第一帧点X的灰度值，而下一帧对应点的灰度值为I(X+W)。假设相应点具有相同的灰度值，灰色值恒定假设如下：
$I_xu+I_yv+I_t=0 \tag{2}$ 由于灰色值恒定假设对光照变化非常敏感，Tretiak[18]可能首先提出了梯度常量假设，并证明了它不受光照变化的影响：
$\nabla I(X+w)-\nabla I(X)=0 \tag{3}$ 众所周知，灰值恒定假设在光照变化中是可靠的，将灰值恒定假设和梯度恒定假设相结合的数据项可以得到准确的光学估计，但梯度恒定假设与平移运动不同。虽然存在三阶恒定假设，如哈森恒定假设和拉普拉斯恒定假设，它们比梯度恒定假设有更多的方向信息，但高阶微分对图像噪声更敏感。

首先由福斯特纳[19]和Bigun[20]首先提出的图像局部结构张量可以用后面的张量矩阵来表示。
$T=G_{\sigma} *(\nabla I)^{T}(\nabla I)=\left[\begin{array}{cc} I_{x}^{2} & I_{x} I_{y} \\ I_{y} I_{x} & I_{y}^{2} \end{array}\right] \tag{4}$ 在传统的光流策略[21]中，通常用于投影平滑项的局部结构张量。众所周知，局部结构张量包含灰度值变化的方向和大小，我们可以假设图像局部结构张量在短时间内是恒定，因此我们可以得到结构张量常量假设，可以写成：
$\tag{5}$ 利用泰勒展开式，得到了等式的线性公式（5）如下：
$\left\{\begin{array}{c} I_{x x} u+I_{x y} v+I_{x t}=0 \\ \left(I_{x x} I_{y}+I_{x} I_{y x}\right) u+\left(I_{x y} I_{y}+I_{x} I_{y y}\right) v+I_{x t} I_{y}+I_{x} I_{y t}=0 \\ I_{y x} u+I_{y y} v+I_{y t}=0 \end{array}\right. \tag{6}$ 不难发现等式（6）适用于各种运动，因为它包含了比梯度常量假设更多的信息。我们结合灰色值恒定假设和结构张量恒定假设，创建了一个准确和稳健的数据项如下：
$\begin{aligned} E_{Data}=& \iint_{\Omega}\left\{\psi\left[(I(X+w)-I(X))^{2}\right]+\right.\\ &\left.\psi\left[(T(X+w, t+1)-T(X, t))^{2}\right]\right\} dxdy \end{aligned} \tag{7}$

B. The smoothing term

为了设计平滑项，我们首先引入了Horn和Schunck[1]提出的经典平滑策略如下：
$E_{Smooth}=\iint_{\Omega}\left(|\nabla u|^{2}+|\nabla v|^{2}\right)dxdy\tag{8}$ 这是一种线性齐次平滑的平滑策略，我们采用非线性平滑策略，在平滑项中引入惩罚函数 $ψ(s^2)$ ，以保持光流的不连续性。
$E_{\text{Smooth }}=\iint_{\Omega} \psi\left(|\nabla u|^{2}+|\nabla v|^{2}\right)dxdy\tag{9}$ 在传统的光流方法中，平滑项的加权因子通常是一个固定的值，它使图像的任何区域具有相同的平滑程度。为了很好地保持图像的边缘，我们使用一个与图像梯度相关的函数作为自适应加权因子，如下[8]：
$\lambda=A+B(1 / \sigma \sqrt{2 \pi}) e^{-(\nabla I)^{2} / 2 \sigma^{2}}\tag{10}$ 其中A和B为固定值，σ为高斯标准差，∇I为图像梯度。利用自适应加权因子，平滑项可以实现各向同性的非线性扩散，从而更好地保持图像的边缘。

C. The coarse-to-fine method for optical flow estimation

通过数据项和平滑项的设计，所提出的光流模型可以写成如下的能量函数： $E=\iint_{\Omega}\{[\psi[(I(X+w)-I(X))^{2}]+\psi[(T(X+w,t+1)-T(X, t))^{2}]+\lambda \cdot \psi(|\nabla u|^{2}+|\nabla v|^{2})\}dxdy$
等式对应的欧拉-拉格朗日方程（11）通过最小化光流向量（u,v)可以写成如下: $\left\{\begin{array}{c} \psi_{D 1}^{\prime} \cdot I_{z} I_{x}+\psi_{D 2}^{\prime} \cdot\left(I_{x x} I_{x z}+I_{x y} I_{y z}+\left(I_{x x} I_{y}+\right.\right. \\ \left.\left.I_{x} I_{y x}\right)\left(I_{x z} I_{y}+I_{x} I_{y z}\right)\right)-\lambda \operatorname{div}\left(\psi_{S}^{\prime} \cdot \nabla u\right)=0 \\ \psi_{D 1}^{\prime} \cdot I_{z} I_{y}+\psi_{D 2}^{\prime} \cdot\left(I_{x y} I_{x z}+I_{y y} I_{y z}+\left(I_{x y} I_{y}+\right.\right. \\ \left.\left.I_{x} I_{y y}\right)\left(I_{x z} I_{y}+I_{x} I_{y z}\right)\right)-\lambda \operatorname{div}\left(\psi_{S}^{\prime} \cdot \nabla v\right)=0 \end{array}\right. \tag{12}$ 其中 $ψ'(s^2)$ 是 $ψ(s^2)$ 相对于 $s^2$ 的一阶导数，我们定义： $\begin{array}{l} \psi_{D 1}^{\prime}=\psi^{\prime}\left[(I(X+w)-I(X))^{2}\right] \\ \psi_{D 2}^{\prime}=\psi^{\prime}\left[(T(X+w, t+1)-T(X, t))^{2}\right] \\ \psi_{S}^{\prime}=\psi^{\prime}\left(|\nabla u|^{2}+|\nabla v|^{2}\right), \quad I_{x}=\partial_{x} I(X+w), \\ I_{y}=\partial_{y} I(X+w), \quad I_{z}=I(X+w)-I(X), \\ I_{x x}=\partial_{x x} I(X+w), \quad I_{x y}=\partial_{x y} I(X+w) \\ I_{y y}=\partial_{y y} I(X+w), \quad I_{x z}=\partial_{x} I_{z}, \quad I_{y z}=\partial_{y} I_{z} . \end{array}$ 采用粗到细的多尺度翘曲策略，假设金字塔采样层为n。对于k层(1≤k≤n)中的迭代方案，初始化为 $w^k=(u^k,v^k)$ ，通过计算以下方程可以得到下一层的光流结果 $w^{k+1}=\left(u^{k+1}, v^{k+1}\right)$
在这里插入图片描述

为了消除图像导数中的非线性，我们使用一阶泰勒展开式使 $I_*^{k+1}$ 呈线性：
$\left\{\begin{array}{l} I_{z}^{k+1} \approx I_{z}^{k}+I_{x}^{k} du+I_{y}^{k}dv \\ I_{x z}{ }^{k+1} \approx I_{xz}^{k}+I_{x x}^{k}du+I_{x y}^{k}dv \\ I_{y z}^{k+1} \approx I_{y z}^{k}+I_{y x}^{k}du+I_{yy}^{k}dv \end{array}\right.\tag{14}$ 其中 $w^{k+1}=\left(u^{k+1}, v^{k+1}\right) \approx\left(u^{k}+d u^{k}, v^{k}+d v^{k}\right)$ 。未知的 $u^{k+1},v^{k+1}$ 在最后一层 $u^k,v^k$ 的结果和当前层的未知增量 $du^k,dv^k$ 中被分裂。

为了消除非线性函数中的非线性，应实现内、外不动点迭代方案，让 $dw^{k, l}=\left(du^{k, l}, dv^{k, l}\right)$ 表示步骤 $l$ 中的迭代变量， $ψ_{**}^{k,l}$ 表示等式（13）中的鲁棒惩罚函数和扩散系数在迭代k，l时。在内层迭代中，函数 $ψ_{**}^{k}$ 关于固定点 $dw^{k, l}=\left(du^{k, l}, dv^{k, l}\right)$ 是不变的，它将通过内部迭代进行更新。然后，第k层的补充光流 $dw^{k, l+1}=\left(du^{k, l+1}, dv^{k, l+1}\right)$ ，可以用下面的线性方程求解。