Geometric-based Line Segment Tracking for HDR Stereo Sequences

Abstract

本文提出一种单纯基于几何信息的线性特征视觉里程计方案，尤其针对光照变换明显或者其他的剧烈的环境的变换场景下通过将位姿估计问题转换为通过几何关系求解稀疏、一致性、误差最小化问题的向量匹配问题。该非基于外观的匹配方案使得匹配数量相对较少，且要求相邻帧之间的位姿变换距离较少。

Introduction

基于外观描述符的特征匹配，鲁棒性依旧是该方案中普遍存在的问题。本文中通过单纯的几何信息包括，极线、重叠部分、图像方向等来通过$one-to-many$的方案实现全局一致性的匹配，为了踢除不合理的匹配信息需要引入排除机制，这样会导致线性特征的匹配效率下降通知占城特征数量的减少。
本文主要的贡献是：

• 一种新的线性特征的tracking的方法，将这类问题转换为一种求解稀疏、一致性、误差函数最小值的问题进行求解；
• 一种需要更少计算量的针对线性特征匹配求解的方法；
• 一种能够结合作者之前基于特征点和特征线视觉里程计方法实现更稳定的位置估计，能够适应剧烈的光度变换和少量的计算资源。

Related Work

针对主流的视觉里程计问题已经有很多优秀的方案，但依旧存在俩种主要的问题

• 在语义相对较少的场景下进行跟踪；
• 在光度剧烈变化的场景下进行正常跟踪。

Geometric-Based Line Segment Tracking

A.Problem Statement
该部分主要构建一些列的标准化参数用于判别当前的匹配是否足够有效。
指示俩帧图像为$I_1,I_2$，其中检测到的所有特征线（LSD）分别表示为 L 1 = { s i , e i ∣ i ∈ 1 ⋯ m } , L 2 = { s j , e j ∣ j ∈ 1 ⋯ n } L_1=\{s_i,e_i|i\in 1\cdots m\},L_2=\{s_j,e_j|j\in 1\cdots n\} L1​={si​,ei​∣i∈1⋯m},L2​={sj​,ej​∣j∈1⋯n}第$k$条特征线的端点表示为$(s_k,e_k)$，特征线表示为向量形式为$\overrightarrow{I_k}=\frac{s_k-e_k}{||s_k-e_k|{|}^2}$，对应匹配成功的俩条特征线分别表示为 M 12 = { ( l i , l j ) ∣ l i ∈ L i ∩ l j ∈ L j } M_{12}=\{(l_i,l_j)|l_i\in L_i\cap l_j\in L_j\} M12​={(li​,lj​)∣li​∈Li​∩lj​∈Lj​}，于是定义四个标准化变量为俩条匹配线之间的角度为$${\theta }_{ij}=atan(||\overrightarrow{I_i}\times \overrightarrow{I_j}||/\overrightarrow{I_i}\cdot \overrightarrow{I_j})$$定义俩条匹配特征线之间的重叠度为$${\rho }_{ij}\in [0,1]$$定义俩条匹配特征线之间的长度比为$${\mu }_{ij}=\frac{max(L_i,L_j)}{min(L_i,L_j)}$$定义stereo和frame-frame匹配线之间的视角角度分别为$$\begin{gathered} {\theta }_{ij}^{st}=asin(||x_{ij}\times {\eta }_1||/||x_{ij}||) \\ {\theta }_{ij}^{ff}=asin(||x_{ij}\times {\eta }_2||/||x_{ij}||) \end{gathered}$$其中，$x_{ij}=(s_i-e_i)/2-(s_j-e_j)/2，{\eta }_1,{\eta }_2$分别表示为观测方向(极线)的方向向量（我猜的）。
B.Spare $l1$-Minimixation for Line Segment Tracking
这一部分是全文的最大创新点所在，通过求解线性方程实现特征线之间的一一对应，大体流程如下。
首先针对$L_1$图像中的一个随机的特征线定义为$l_1$，定义匹配向量$$w_i=[w_{i0},w_{i1},\cdots ,w_{i,n}]$$向量中的元素分别用0或正数表示特征线$l1$与图像$L_2$中的所有特征线是否匹配成功以及配成程度。根据之前的标化向量定义$$\begin{gathered} {\beta }_{ij}=\left[\begin{array}{c}{\theta }_{ij}\\ {\theta }_{ij}^{epip}\\ {\rho }_{ij}\\ {\mu }_{ij}\end{array}\right] \\ b=\left[\begin{array}{c}0\\ 0\\ 1\\ 1\end{array}\right] \end{gathered}$$定义参数矩阵$$A_i=[{\beta }_{i0},{\beta }_{i1},\cdots ,{\beta }_{in}]$$于是整个问题转换为求解线性方程组$$mi{n}_{w_i}\lambda ||w_i|{|}_1+\frac{1}{2}||A_i{W}_i-b|{|}_2$$其中,$||A_i{W}_i-b|{|}_2<ϵ,ϵ$表示误差容许阈值，$\lambda$表示权重参数，设置为0.1。求解获得的向量$w_i$存储了与特征线$l_i$匹配的特征线程度信息。
C.Deaing with Outliers
这一部分主要对可能存在的误匹配的情况进行踢除，因为无论是stereo还是frame-to-fram的情况，所有的匹配特征之间的连线都呈现一个固定的角度值，将超过该角度值2个标准差的匹配踢除，实现对不合理匹配情况的踢除工作。

Point-Segment Visual Odometry Overview

这一部分对PLVO的整个系统进行了简要的介绍。
1）Point Feature
针对特征点类型，通过ORB进行特征点的提取，同时在进行匹配的时候对最优和次优的描述子都进行获取，确保最优的匹配特征有足够的优越性，足够的突出。
2）Line Segment Feature
对于线性特征文中通过LSD方法提取直线，通过LBD对特征线进行匹配。
3）Motion Estimation
在位姿信息恢复的时候文中通过高斯牛顿的方案对投影线的端点到匹配特征线之间的距离最小化求解相应的位姿信息。为了有效的踢除不合理的匹配通过核函数对不合理匹配进行踢除。

Experimental Validation

Conclusion

本文中踢除一种基于几何关系求解特征线匹配的方案，该方法具有具有很强的单一性，在特征匹配的部分将问题转换为稀疏、一致性、1范数最小化问题，使得视觉里程计能够在光照强烈变化的场景下正常的工作。