运动场与光流法

Reference:

1. Emanuele Trucco，Alessandro Verri 《Introductory techniques for 3-D computer_vision》
2. 7. Motion

1. 刚体运动场

1.1 定义

运动场(Motion Field)是图像点的速度的二维矢量场，由观察摄像机与观测场景之间的相对运动引起。

运动场可以被看成是三维速度矢量在图像平面上的映射（为了可视化这个向量场，想象它在图像上的三维速度矢量）。

1.2 基础

令 $\mathbf{P}=[X,Y,Z{]}^T$ 是在通常相机参考系上的一个 $3D$ 点。映射中心在原点上，光轴为 $Z$ 轴，$f$ 表示焦距。根据针孔模型可知，一个场景点 $\mathbf{P}$ 在图像中的点 $\mathbf{p}$ 为：
$$\mathbf{p}=f\frac{\mathbf{P}}{Z}$$

因为 $p$ 在坐标系的第三项永远等于 $f$，我们将其写成 $\mathbf{p}=[x,y{]}^T$ 来替代 $\mathbf{p}=[x,y,f{]}^T$。场景点 $\mathbf{P}$ 与相机间的相对运动可以描述为：
$$\mathbf{V}=-\mathbf{T}-\omega \times \mathbf{P}$$

公式推导将在第二节中展开(2.1)。因为这里是相机，即坐标系在做运动，所以符号上均为负。

在这里 $\mathbf{T}$ 表示运动的平移分量，$\mathbf{\omega }$ 为角速度。当运动为刚体的，对于任意的 $\mathbf{P}$ 来说 $\mathbf{T}$ 和 $\omega$ 相同的（对于同一刚体上的点来说）。分量可写为：
$$\begin{gathered} V_x=-T_x-{\omega }_{y}Z+{\omega }_{z}Y \\ {V}_y=-T_y-{\omega }_{z}X+{\omega }_{x}Z \\ {V}_z=-T_z-{\omega }_{x}Y+{\omega }_{y}X \end{gathered}$$

1.3 运动场的基础方程

为了获得在空间中的速度 $\mathbf{P}$ 和在图像中相对应的速度 $\mathbf{p}$ 的关系，我们对公式 $\mathbf{p}=f\frac{\mathbf{P}}{Z}$ 求时间倒数，得运动场 $\mathbf{v}$:
$$\mathbf{v}=f\frac{Z\mathbf{V}-V_z\mathbf{P}}{Z^2}$$

将 1.2 中的 $V_x$, $V_y$ 代入，得 $v_x$, $v_y$：
$$\begin{array}{rl}& v_x=\frac{T_{z}x-T_{x}f}{Z}-{\omega }_{y}f+{\omega }_{z}y+\frac{{\omega }_{x}xy}{f}-\frac{{\omega }_y{x}^2}{f}\\ & v_y=\frac{T_{z}y-T_{y}f}{Z}+{\omega }_{x}f-{\omega }_{z}x-\frac{{\omega }_{y}xy}{f}+\frac{{\omega }_x{y}^2}{f}\end{array}$$

注意运动场是两个分量的和（平移+旋转）：
运动场的平移分量为，
$$v_x^T=\frac{T_{z}x-T_{x}f}{Z},v_y^T=\frac{T_{z}y-T_{y}f}{Z}$$
运动场的旋转分量为，
$$v_x^{\omega }=-{\omega }_{y}f+{\omega }_{z}y+\frac{{\omega }_{x}xy}{f}-\frac{{\omega }_y{x}^2}{f},v_y^{\omega }={\omega }_{x}f-{\omega }_{z}x-\frac{{\omega }_{y}xy}{f}+\frac{{\omega }_x{y}^2}{f}$$

因为沿着光轴的运动场分量恒等于 0，应该用 $\mathbf{v}=[v_x,v_y{]}^T$ 来替代 $\mathbf{v}=[v_x,v_y,0{]}^T$。

要注意的是，在最后这两对方程中，分量分别取决于角速度 $\mathbf{\omega }$ 和深度 $Z$，它们是解耦合的（分离开）。这里就揭露了运动场的一个很重要的性质：运动场中依赖角速度的那部分并不携带有关深度的信息。

1.4 特殊情况：纯平移

假设观测相机和场景间没有旋转分量，即 $\mathbf{\omega }=0$，则：
$$v_x=\frac{T_{z}x-T_{x}f}{Z},v_y=\frac{T_{z}y-T_{y}f}{Z}$$

在一般情况下 $T_z\ne 0$，有一点 ${\mathbf{p}}_0=[x_0,y_0{]}^T$，则根据针孔成像原理(该点固定且唯一)：
$$x_0=f{T}_x/T_z,y_0=f{T}_y/T_z$$

代入上式，得：
$$v_x=(x-x_0)\frac{T_z}{Z},v_y=(y-y_0)\frac{T_z}{Z}$$

可以看出运动场的纯平移是径向的，它包含了从一个共同的原点 ${\mathbf{p}}_0$ 径直发散出来的向量，这个点是平移方向的消失点。

• 当 $T_z<0$，向量点远离 ${\mathbf{p}}_0$，${\mathbf{p}}_0$ 被称为延伸焦点(focus of expansion，即 FOE)，如图(a)；
• 当 $T_z>0$，向量点朝向 ${\mathbf{p}}_0$，${\mathbf{p}}_0$ 被称为收缩焦点(focus of contraction)，如图(b)。
  另外，$\mathbf{v}=\mathbf{v}(\mathbf{p})$ 的长度与 $\mathbf{p}$ 和 ${\mathbf{p}}_0$ 之间的距离成正比，与三维点 $\mathbf{P}$ 的深度成反比。

特殊情况下，如果 $T_z=0$，公式变成了：
$$v_x=-f\frac{T_x}{Z},v_y=-f\frac{T_y}{Z}$$

这时所有的运动场向量都是平行的，如上图©所示。

VP 和 FOE 的区别

纯平移运动时，FOE 为消失点。

2. 二维刚体运动运动学

即使刚体是由无数个粒子组成的，这些粒子的运动受到约束，使该物体在运动过程中仍然是刚体。特别地，二维刚体仅有的自由度是平移和旋转。

考虑一个二维刚体，它围绕点 $O^{\prime }$ 以角速度 $\omega$ 旋转，同时，点 $O^{\prime }$ 相对于以 $O$ 为原点的固定参照系 $x$ 和 $y$ 运动。

为了确定物体中点 $P$ 的运动，我们搭建了第二套坐标轴 $x^{\prime }{y}^{\prime }$，与 $xy$ 平行，其中原点在 $O^{\prime }$：
$$\begin{gathered} {\mathbf{r}}_P={\mathbf{r}}_{O^{\prime }}+{\mathbf{r}}_P^{\prime } \\ {\mathbf{v}}_P={\mathbf{v}}_{O^{\prime }}+({\mathbf{v}}_P{)}_{O^{\prime }} \\ {\mathbf{a}}_P={\mathbf{a}}_{O^{\prime }}+({\mathbf{a}}_P{)}_{O^{\prime }} \end{gathered}$$

在这里，

1. ${\mathbf{r}}_P$，${\mathbf{v}}_P$ 和 ${\mathbf{a}}_P$ 分别为在点 $O$ 观测到的点 $P$ 的位置、速度和加速度向量；
2. ${\mathbf{r}}_{O^{\prime }}$ 为点 $O^{\prime }$ 的位置向量；
3. ${\mathbf{r}}_P^{\prime }$, $({\mathbf{v}}_P{)}_{O^{\prime }}$ 和 $({\mathbf{a}}_P{)}_{O^{\prime }}$ 分别为在点 $O^{\prime }$ 观测到的点 $P$ 的位置、速度和加速度向量。

相对于点 $O^{\prime }$，所有点在刚体中都可以被描述为一个圆形轨道（${\mathbf{r}}_P^{\prime }$为定值），这样可以很容易的算出速度:
$${\left(v_P\right)}_{O^{\prime }}=r_P^{\prime }\dot{\theta }=r\omega$$

写成向量形式：
$${\left({\mathbf{v}}_P\right)}_{O^{\prime }}=\mathbf{\omega }\times {\mathbf{r}}_P^{\prime }$$

其中 $\mathbf{\omega }$ 是角速度向量。加速度有一个周向分量和一个径向分量，
$${\left({\left(a_P\right)}_{O^{\prime }}\right)}_{\theta }=r_P^{\prime }\ddot{\theta }=r_P^{\prime }\dot{\omega },{\left({\left(a_P\right)}_{O^{\prime }}\right)}_r=-r_P^{\prime }{\dot{\theta }}^2=-r_P^{\prime }{\omega }^2$$

注意 $\mathbf{\omega }$ 和 $\dot{\mathbf{\omega }}$ 垂直于平面运动（也就是 $\mathbf{\omega }$ 可以改变大小而不是速度），可以将加速度向量写成：
$${\left({\mathbf{a}}_P\right)}_{O^{\prime }}=\dot{\mathbf{\omega }}\times {\mathbf{r}}_P^{\prime }+\mathbf{\omega }\times \left(\mathbf{\omega }\times {\mathbf{r}}_P^{\prime }\right)$$

已知对于任意三个向量 $\mathbf{A}$, $\mathbf{B}$ 和 $\mathbf{C}$，有 $\mathbf{A}\times (\mathbf{B}\times \mathbf{C})=(\mathbf{A}\cdot \mathbf{C})\mathbf{B}-(\mathbf{A}\cdot \mathbf{B})\mathbf{C}$。因此 $\mathbf{\omega }\times \left(\mathbf{\omega }\times {\mathbf{r}}_P^{\prime }\right)=\left(\mathbf{\omega }\cdot {\mathbf{r}}_P^{\prime }\right)\mathbf{\omega }-{\omega }^2{\mathbf{r}}_P^{\prime }=-{\omega }^2{\mathbf{r}}_P^{\prime }$。最终，得到公式：
$$\begin{array}{rl}& {\mathbf{v}}_P={\mathbf{v}}_{O^{\prime }}+\mathbf{\omega }\times {\mathbf{r}}_P^{\prime }\\ & {\mathbf{a}}_P={\mathbf{a}}_{O^{\prime }}+\dot{\mathbf{\omega }}\times {\mathbf{r}}_P^{\prime }+\mathbf{\omega }\times \left(\mathbf{\omega }\times {\mathbf{r}}_P^{\prime }\right)\end{array}$$

2.1 公式推导

光流假设之一：小运动----->(简化为)小旋转

• 假设在时间 $t$ 时，点的 3D 位置为 $P$；
• 那么在时间 $t+1$ 时，点的 3D 位置为 $RP+T$。

现在考虑较短的时间段(如两个视频帧之间的时间= 1/30秒)。可以假设在这段时间内旋转一个小角度。做一个小的角度近似，重写位移。在极限(无穷小的时间周期)，就可以得到速度。
已知：
$$\begin{array}{rlr}{\mathbf{R}}_{z,\psi }& =\left[\begin{array}{ccc}cos\psi & -sin\psi & 0\\ sin\psi & cos\psi & 0\\ 0& 0& 1\end{array}\right],{\mathbf{R}}_{y,\theta }& =\left[\begin{array}{ccc}cos\theta & 0& sin\theta \\ 0& 1& 0\\ -sin\theta & 0& cos\theta \end{array}\right],{\mathbf{R}}_{x,\varphi }=\left[\begin{array}{ccc}1& 0& 0\\ 0& cos\varphi & -sin\varphi \\ 0& sin\varphi & cos\varphi \end{array}\right]\end{array}$$

相乘得 $zyx$ 形式的转换矩阵：
$$\begin{array}{l}{\mathbf{R}}_b^n(\Theta ):={\mathbf{R}}_{z,\psi }{\mathbf{R}}_{y,\theta }{\mathbf{R}}_{x,\varphi }{\mathbf{R}}_b^n(\Theta {)}^{-1}={\mathbf{R}}_n^b(\Theta )={\mathbf{R}}_{x,\varphi }^{\top }{\mathbf{R}}_{y,\theta }^{\top }{\mathbf{R}}_{z,\psi }^{\top }\\ {\mathbf{R}}_b^n(\Theta )=\left[\begin{array}{ccc}\mathrm{c}\mathrm{o}\mathrm{s}\psi \mathrm{c}\mathrm{o}\mathrm{s}\theta & -\mathrm{s}\mathrm{i}\mathrm{n}\psi \mathrm{c}\mathrm{o}\mathrm{s}\varphi +\mathrm{c}\mathrm{o}\mathrm{s}\psi \mathrm{s}\mathrm{i}\mathrm{n}\theta \mathrm{s}\mathrm{i}\mathrm{n}\varphi & \mathrm{s}\mathrm{i}\mathrm{n}\psi \mathrm{s}\mathrm{i}\mathrm{n}\varphi +\mathrm{c}\mathrm{o}\mathrm{s}\psi \mathrm{c}\mathrm{o}\mathrm{s}\varphi \mathrm{s}\mathrm{i}\mathrm{n}\theta \\ \mathrm{s}\mathrm{i}\mathrm{n}\psi \mathrm{c}\mathrm{o}\mathrm{s}\theta & \mathrm{c}\mathrm{o}\mathrm{s}\psi \mathrm{c}\mathrm{o}\mathrm{s}\varphi +\mathrm{s}\mathrm{i}\mathrm{n}\varphi \mathrm{s}\mathrm{i}\mathrm{n}\theta \mathrm{s}\mathrm{i}\mathrm{n}\psi & -\mathrm{c}\mathrm{o}\mathrm{s}\psi \mathrm{s}\mathrm{i}\mathrm{n}\varphi +\mathrm{s}\mathrm{i}\mathrm{n}\theta \mathrm{s}\mathrm{i}\mathrm{n}\psi \mathrm{c}\mathrm{o}\mathrm{s}\varphi \\ -\mathrm{s}\mathrm{i}\mathrm{n}\theta & \mathrm{c}\mathrm{o}\mathrm{s}\theta \mathrm{s}\mathrm{i}\mathrm{n}\varphi & \mathrm{c}\mathrm{o}\mathrm{s}\theta \mathrm{c}\mathrm{o}\mathrm{s}\varphi \end{array}\right]\end{array}$$

在小角度情况下：
$$cos(x)\approx 1,sin(x)\approx x,sin(x)cos(y)\approx 0$$

因此，上面矩阵中的小角度近似可简化为：
$$R\approx \left[\begin{array}{ccc}1& -\psi & \theta \\ \psi & 1& -\varphi \\ -\theta & \varphi & 1\end{array}\right]=I+\left[\begin{array}{ccc}0& -\psi & \theta \\ \psi & 0& -\varphi \\ -\theta & \varphi & 0\end{array}\right]=I+S$$
在小角度近似的条件下，可得位移:
$$displacement=RP+T-P=(I+S)P+T-P=SP+T$$

注意，$SP=[\varphi ,\theta ,\psi {]}^T\times P$
在极限下，位移变成了速度：
$$V=T+\omega \times P$$

其中 $\omega =[{\omega }_x,{\omega }_y,{\omega }_z{]}^T$，这里的 $T$ 与上面的公式不同 ---- 不是位移而是速度。

这里的符号取正负都可以，它取决于你想要认为运动是由于摄像机还是由于场景。

3. 运动场和光流

运动场(Motion Field): 三维相对矢量在二维图像平面上的投影
光流(Optical Flow): 在图像中观察到的亮度图案（brightness patterns）的二维位移

现在将问题转变为：从图像序列来估计运动场，即从空间和时间上的图像变化来估计运动场

3.1 图像亮度一致性方程

在大多数情况下，运动物体的视亮度保持不变，即 $E(x,y,t)=E(x+u,y+v,t+1)$：
图像亮度 $E$，应该被看做图像平面的空间坐标 $x$, $y$ 和时间的函数，也就是 $E=E(x,y,t)$。已知亮度一致性：$\frac{dE}{dt}=0$，通过链式法则求导得：
$$\frac{dE(x(t),y(t),t)}{dt}=\frac{\partial E}{\partial x}\frac{dx}{dt}+\frac{\partial E}{\partial y}\frac{dy}{dt}+\frac{\partial E}{\partial t}=0.$$

图像亮度的偏空间导数只是空间图像梯度的分量，$\nabla E$ 和时间导数 $dx/dt$, $dy/dt$—两个均为运动场 $\mathbf{v}$ 分量。

上式可以重写为以下式子，其中下标 $t$ 代表关于时间的偏微分：
$$(\nabla E{)}^T\mathbf{v}+E_t=0$$

3.2 孔径问题（The Aperture Problem）

孔径问题 指在运动估计中无法通过单个算子(计算某个像素值变化的操作，如：梯度)准确无误地评估物体的运行轨迹。原因是每一个算子只能处理它所负责局部区域的像素值变化，然而同一种像素值变化可能是由物体的多种运行轨迹导致。

运动场也是如此，它只能得到其空间图像梯度方向的分量 ${\mathbf{v}}_{\mathbf{n}}$，该分量为垂直分量，因为空间图像梯度与沿图像光强保持不变的空间方向是垂直的。由上式 $(\nabla E{)}^T\mathbf{v}+E_t=0$ 可得：
$$-\frac{E_t}{\Vert \nabla E\Vert }=\frac{(\nabla E{)}^{\top }\mathbf{v}}{\Vert \nabla E\Vert }={\mathbf{v}}_{\mathbf{n}}$$

图中的黑线和灰线相同图像线在连续两帧下的不同位置。在(a)中通过小孔径 ${\mathbf{v}}_{\mathbf{n}}$ 所感知到的像速度只是(b)中显示的真实像速度 $\mathbf{v}$ 的像梯度的平行分量。

3.3 光流一致性方程的有效性

已知一致性方程是在亮度不变性下得到的结论。现在要评估这个平行分量怎么样，此时引入估计的方程与真实值之间的差 $\Delta v$。为此，需要引入一个成像模型，它与场景中的照明以及表面反射率有关。

Lambertian 模型：每个表面点从所有的观察方向看都有相同的亮度。
为了这个讨论的目的，我们将条件限制在了一个 Lambertian surface $S$，由一个点光源在无限远离相机处照明----这样就可以忽略掉光度畸变(photometric distortion)，这样我们可以将图像亮度 $E$(image brightness¹) 写成：
$$E=\rho {\mathbf{I}}^T\mathbf{n}$$

其中 $\rho$ 为表面反射率(surface albedo)，与表面的材料有关；$\mathbf{I}$ 为发光亮度(illumination¹)的光强和方向（入射光方向和总量）；$\mathbf{n}$ 为点 $\mathbf{P}$ 在表面 $S$ 的单位法向量。

将等式两边对时间求导。右侧只有表面法向量与时间有关：
$$\frac{d\mathbf{n}}{dt}=\omega \times \mathbf{n}$$

求导后等式变为了(左侧同$(\nabla E{)}^T\mathbf{v}+E_t=0$获得方式)：
$$\nabla E^{\top }\mathbf{v}+E_t=\rho {\mathbf{I}}^{\top }(\omega \times \mathbf{n})$$

通过3.3中的方程可以得到，真实值与估计出来的差值为：
$$|\Delta v|=\rho \frac{\left|{\mathbf{I}}^{\top }\omega \times \mathbf{n}\right|}{\Vert \nabla E\Vert }$$

可以发现，即使在简化版 Lambertian 反射的假设下，$\Delta v$ 仅在做纯运动或刚体运动发光方向平行于角速度时为0。另外需要注意的是，在空间梯度大小增加时，估计差 $\Delta v$ 降低。这表明，具有高空间图像梯度的点的位置，在该位置上的运动场可以通过图像亮度一致性得到最好的估计结果。

在一般情况下，$|\Delta v|$ 不可能恒为0，图像亮度的视运动总是不等于运动场。为了避免混淆，我们把视运动称为光流。

3.4 总结

光流定义：光流是一个受制于函数：$(\nabla E{)}^T\mathbf{v}+E_t=0$ 的矢量场，它粗略地定义为图像亮度图案的视运动。

光流是运动场的近似，可以从时变图像序列中计算得到。
在简化的假设下：

• Lambertian surface;
• 无穷远的逐点光源;
• 无光度失真

这种近似得到的误差：

• 在点有高空间梯度时，误差较小；
• 只在平移运动或任何刚体运动的照明方向平行于角速度时，误差为零；

---

1. 发光亮度(Luminance)和亮度(Brightness)的区别
   
   很多时候，容易将Luminance和Brightness两个概念混淆。Luminance指的是投射在固定方向和面积上面的发光强度，发光强度是一个可测量的属性，单位是“每立方米坎德拉”(cd/m2)。所以，不同的显示器可以通过测量获取cd/m2，调整至相同的cd/m2而获取相同发光强度。
   
   Brightness亮度是光的主观属性，显示器从暗到亮之间可以调节成不同程度等级的亮度，亮度一般作为感知存在，而不能通过测量来客观评估（但可以说成比例，如50%的亮度）。 ↩︎ ↩︎