Multiple View Geometry - Chaper 4

最新推荐文章于 2024-06-15 08:54:51 发布

Modice

最新推荐文章于 2024-06-15 08:54:51 发布

阅读量277

点赞数

分类专栏：多视图几何文章标签：计算机视觉

本文链接：https://blog.csdn.net/weixin_54135645/article/details/125159073

版权

多视图几何专栏收录该内容

10 篇文章 1 订阅

订阅专栏

Estimating Point Correspondence

估计点的相关性

本章遵循下述假设，环境是静态的，唯一运动的是相机。

1.From Photometry to Geometry

从图片到几何

在图像上我们实际上观察到的不是点或线，而是每个像素的亮度或颜色值。

为了确定从一个图像转移到另一个图像的变换，可以确定具有特征的图像点，然后和其他帧的相关点的关系。这种相关点的匹配可以帮助推断3D结构。

存在的问题是，每张图片选取一小部分点来做特征匹配，意味着同时丢掉了大量潜在可能的信息。

2.Small Deformation versus Wide Baseline

微变换和宽基线

Small Deformation：The deformation from one frame to the other is assumed to be (infinitesimally) small.

这种情景下的帧变换可以由经典的光流估计法（optical flow estimation），在1981年同年发布的两个方法——Lucas/Kanade(sparse稀疏)和Horn/Schunck(dense稠密)。

基线的本意是指立体视觉系统中两摄像机光心之间的距离。依据拍摄两幅图像的视点位置关系可将对应点匹配问题分为宽基线(Wide Baseline)和窄基线匹配(Short Baseline)。宽基线一词用于匹配时，泛指两幅图像有明显不同的情况下的匹配。产生这种情况的原因有可能为摄像机之间的位置相差很大，也有可能由于摄像机旋转或焦距的变化等因素产生的。

该情况下的一般变换较大，因此一般选择每张图片的一些特征点然后设计有效的方法来找到恰当的点。

3.Small Deformation

点的刚体变换如下

$x_2=h(x_1)=\frac{1}{\lambda_2(\mathbf{X})}(R\lambda _1(\mathbf{X})x_1+T)$

也可以近似的表示为以下几种方式：

Translational model $h(x)=x+b$

Affine model $h(x)=Ax+b$ 用于近似所有与相机运动一直的流动模式。

2D affine model $h(x)=x+u(x)$

$u(x)=S(x)p=\begin{pmatrix} x &y &1 &0 & 0 &0 \\ 0 & 0 & 0 & x & y& 1 \end{pmatrix}\begin{pmatrix} p_1 &p_2 &p_3 &p_4 &p_5 & p_6 \end{pmatrix}^T=\binom{p_1x+p_2y+p_3}{p_4x+p_5y+p_6}$

同一个变换中可以假定所有点的变换相同，通过对比p来判断点的变换。

4.The Lucas-Kanada Method

Brightness Constancy Assumption（亮度不变假设，十四讲中写的是灰度不变假设，从计算机的角度看，同一个空间点的像素灰度值，在各个图像中是固定不变的。）

$x(t)$ 为时间t下的运动点， $l(x,t)$ 为一个视频流，

$l(x(t),t)=const, \forall t$

$x(t)$ 的亮度是恒定的，整体的时间导数必须是0：

$\frac{d}{dt}l(x(t),t)=\triangledown l^T(\frac{dx}{dt})+\frac{\partial l}{\partial t}=0$ $\triangledown l=\begin{pmatrix} \frac {\partial l}{\partial x}\\ \frac {\partial l}{\partial y} \end{pmatrix}$ 在x，y方向上的微分

上述约束通常称为光流法约束。速度向量 $v=\frac{dx}{dt}$

Constant motion in a neighborhood：

上述的等式没法解出v，假定v是在一个窗口附近 $W(x)$ 的点x是定值

$\triangledown l(x',t)^Tv+\frac {\partial l}{\partial t}(x',t)=0,\forall x'\in W(x)$

由于亮度并不是定值，局部点的速度也不是定值。LK通过最小二乘法计算得到最好的v

$E(v)=\int _{W(x)}|\triangledown l(x',t)^Tv+l_t(x',t)|^2dx'$

$\frac{dE}{dv}=2Mv+2q=0$

其中 $M=\int _{W(x)}\triangledown l\triangledown l^Tdx',andq=\int _{W(x)}l_t\triangledown ldx'$

如果M是可逆的，det(M)≠0， $v=-M^{-1}q$

5.Estimating Local Displacements

估计局部变换

Translational motion(LK)(2×2)

$E(b)=\int_{W(x))}|\triangledown l^Tb+l_t|^2dx'\rightarrow min\Rightarrow \frac{dE}{db}=0\Rightarrow b=...$

Affine motion(6×6)

$E(p)=\int _{W(x)}|\triangledown l(x')^TS(x')p+l_t(x')^2|dx'\Rightarrow \frac{dE}{dp}=0\Rightarrow p=...$

6.Structure Tensor（matrix）

为获得b的值，结构矩阵需要是可逆的，意味着det M≠0。

$M(x)=\int _{W(x)}\begin{pmatrix} l_x^2 &l_xl_y \\ l_xl_y & l_y^2 \end{pmatrix}dx'$

$l_x=\frac{\partial l}{\partial x}\approx l_{ij}-l_{i-1j}$

得到一个大于某个阈值θ的M（x）

$det M(x)\geq \theta$

这些点的局部速度可以给出

$b(x,t)=-M(x)^{-1}\begin{pmatrix} \int l_xl_tdx'\\ \int l_yl_tdx' \end{pmatrix}$

对后续的点重复上述步骤，该方法又叫做KLT追踪法。

7.Extensions to Larger Baseline

更大基线的拓展

分为两个方面：

帧间的窗口移动不再是translational，需要对窗口W(x)生成motion model，如affine motion model

由于光照会变化，可以用更加鲁棒的normalized cross correlation（归一化互相关 NCC）方法来代替。

归一化互相关定义如下

$NCC(h)=\frac{\int _{W(x)}(l_1(x')-\bar{l_1)}(l_2(h(x'))-\bar{l_2)}dx'}{\sqrt{\int _{W(x)}(l_1(x')-\bar{l_1)}dx'\int_{W(x)}(l_2(h(x'))-\bar{l_2})^2dx'}}$

$\bar{l_1}\bar{l_2}$ 是W(x)的平均亮度。与平均亮度相减，the measure becomes invariant to multiplicative changes $l\rightarrow l+\gamma$

窗口亮度的比值 measure invariant to multiplicative changes $l\rightarrow \gamma l$

如果把相关窗口的亮度值看做一个向量， $v_i\equiv (l_i-\bar{l_i})$

归一化互相关是他们的夹角的cos $NCC(h)=cos\angle (v_1,v_2)$

optimal affine transformation

2×2的矩阵A和位移d来最大化互相关

Modice

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
Multiple View Geometry - Chaper 4

Estimating Point Correspondence估计点的相关性本章遵循下述假设，环境是静态的，唯一运动的是相机。1.From Photometry to Geometry从图片到几何在图像上我们实际上观察到的不是点或线，而是每个像素的亮度或颜色值。为了确定从一个图像转移到另一个图像的变换，可以确定具有特征的图像点，然后和其他帧的相关点的关系。这种相关点的匹配可以帮助推断3D结构。存在的问题是，每张图片选取一小部分点来做特征匹配，意味着同时丢掉了大量潜在可能的信息。2.Small Deforma
复制链接

扫一扫