论文阅读:　VITAMIN-E: Extremely Dense Feature Points

最新推荐文章于 2024-03-31 07:27:29 发布

weixin_30399797

最新推荐文章于 2024-03-31 07:27:29 发布

阅读量201

点赞数

原文链接：http://www.cnblogs.com/tweed/p/11265190.html

版权

Abstract

propose了一种非直接法叫"VITAMIN-E": 准确而鲁邦, 跟踪的是稠密特征.

传统非直接法对于重建稠密几何有难度因为他们对于点的选择(为了匹配)很慎重.

和传统的方法不同, 这个方法处理了大量的特征点通过跟踪局部的曲度的极值通过dominant flow estimation.

因为这可能会导致大量的计算量, 我们用subspace Gauss-Newton method通过局部更新变量来提升BA的计算量表现.

我们同时也会对于重建出来的点生成mesh然后用一个entire 3D model来融合他们.

1. Introduction

直接法:他们不要求准确的像素匹配, 但是直接法对于噪声, 光照抖动, 镜头aberration不鲁邦.

非直接法: 最小化几何误差. 非直接法显示的建立特征点的匹配, 外点可以很容易的被RANSAC或者是M-estimatio移除.

这个特性也可以是一个缺点: 使得重建的3D图很稀疏,也不会提供几何细节. 一些稠密的方法比如PMVS或者是L-PMVS可以用,但是都是不实时的.

我们的方法tracking了很大数量的特征点.

Contributions:

引入了一种新的dense feature point tracking algorithm基于dominant flow estimation和 curvature extrema tracing. 这使得VITAMIN-E可以处理大量的特征点
引入了一种optimization technique: subspace Gauss-Newton method.
根据特征点生成mesh, 然后用TSDF(truncated signed distance function)结合他们.

2. Dense Feature Point Tracking

2.1 Feature Point Tracking

用图像描述子的非直接法会不准因为不准确的特征点匹配.

光流法这种持续跟踪然后更新特征描述子的可能会有用, 但是如果跟的点开始有些及时是极少的漂移,那么多视图的跟踪结果就会不准确.

VITAMIN-E用了不同的方法, 它跟踪curvature的局部极值. 在我们的方法中, 特征点代表着图像intensities的curvature的极值.

让$f(x, y)$表示图像, 图像的curvature是$\kappa$.
\[ \kappa=f_{y}^{2} f_{x x}-2 f_{x} f_{y} f_{x y}+f_{x}^{2} f_{y y} \]
VITAMIN-E通过在图像序列跟踪curvature $\kappa (x, y, t) $来建立点的匹配.

1564370735393

上图的(a)表示了这个过程的一个案例.

2.2 Dominant Flow Estimation

在检测了curvature的极值以后, 然后dominant flow(代表了optical flow的平均?), 它提懂了一个extrema tracking的一个很好的初值, 也使得起非常鲁邦.

然后我们决定在前后帧中的两点是不是匹配是用BRIEF的, 因为我们只需要判定粗略的特征点对, 特征匹配是在一个低精度的图上操作的, 一个1/6的图上.

然后我们拟合一个仿射变换$y= Ax+b$, $x$和$y$表示特征点在之前帧和当前帧的位置. 然后$A$和$b$代表$2\times2$的矩阵和2维的translation.
\[ E=\sum_{i}^{N} \rho\left(\left\|\boldsymbol{y}_{i}-\left(A \boldsymbol{x}_{i}+\boldsymbol{b}\right)\right\|_{2}\right) \]
用一个2d仿射model点在图像上的移动.

这里$N$是所有的匹配, 而$\rho$表示M-estimation的核函数.
\[ \rho(x)=\frac{x^{2}}{x^{2}+\sigma^{2}} \]
注意VITAMIN-E不用传统的特征点匹配作为核心, 而是只是作先验信息.

2.3 Curvature Extrema Tracking

因为它是基于extrema而不是特征描述子, VITAMIN-E是对于由于噪声/光照变化有抗噪性的.

根据$A$和$b$的dominant flow, 我们先预测点$x_{t_0}$的当前位置\[\overline{\boldsymbol{x}}_{t_{1}}\]
\[ \overline{\boldsymbol{x}}_{t_{1}}=A \boldsymbol{x}_{t_{0}}+\boldsymbol{b} \]
然后, 预测\[\overline{\boldsymbol{x}}_{t_{1}}\]会被修正到\[\boldsymbol{x}_{t_{1}}\], 通过下述的方程:
\[ F=\kappa\left(\boldsymbol{x}_{t_{1}}, t_{1}\right)+\lambda w\left(\left\|\boldsymbol{x}_{t_{1}}-\overline{\boldsymbol{x}}_{t_{1}}\right\|_{2}\right) \]
这里$\kappa$代表每个像素的curvature, 然后\[w(x)=1-\rho(x)\]是一个evaluation function, 然后$\lambda$表示预测的权重.

maximization是用hill climbing method在邻近的8个像素取得的. $w$会防止这个过程会坠入另一个错误的extrema.

注意在录像里极值太多了, dominant flow的预测还是很给力.

3. Bundle Adjustment for Dense Tracking

3.1 Bundle Adjustment

\[ E=\sum_{i}^{N} \sum_{j}^{M} \rho\left(\left\|\boldsymbol{u}_{i j}-\phi\left(R_{j}^{T}\left(\boldsymbol{p}_{i}-\boldsymbol{t}_{j}\right)\right)\right\|_{2}\right) \]

这里$N$是特征点数，而$M$表示相机位姿数.

然后就是高斯牛顿:
\[ H \delta \boldsymbol{x}=-\boldsymbol{g}, \quad \boldsymbol{x}=\boldsymbol{x}+\delta \boldsymbol{x} \]
感觉schur complement要出现了:
\[ H=\left[\begin{array}{cc}{H_{c c}} & {H_{c p}} \\ {H_{c p}^{T}} & {H_{p p}}\end{array}\right], \quad \boldsymbol{g}=\left[\begin{array}{l}{\boldsymbol{g}_{c}} \\ {\boldsymbol{g}_{p}}\end{array}\right] \]

\[ \begin{aligned}\left(H_{c c}-H_{c p} H_{p p}^{-1} H_{c p}^{T}\right) \delta \boldsymbol{x}_{c} &=-\boldsymbol{g}_{c}+H_{c p} H_{p p}^{-1} \boldsymbol{g}_{p} \\ H_{p p} \delta \boldsymbol{x}_{p} &=-\boldsymbol{g}_{p}-H_{c p}^{T} \delta \boldsymbol{x}_{c} \end{aligned} \]

在稠密的extrema跟踪中, $H$的size还是太大了.

3.2 Subspace Gauss-Newton Method

.. (回头再补, 目前不是太感兴趣)

4. Dense Reconstruction

有一大堆精准的3D点.

Meshing and Noise Removal: 首先把3D点投影到图像上,然后用Delaunay Triangulation来生成三角meshes. 然后我们用NLTGV最小化来移除mesh上的噪声. NLTGV最小化能够让meshes更加平滑, 然后保持局部的表面的结构. 不像其他的经典的mesh去噪算法, 比如laplacian smoothing.

Mesh Integration in TSDF