论文简述 | PL-VINS：具有点和线特征的实时单目视觉惯性SLAM

点击上方“计算机视觉工坊”，选择“星标”

干货第一时间送达

1

摘要

利用线特征来提高基于点的视觉惯性定位系统(VINS)的定位精度越来越受到关注,因为它们对场景结构提供了额外的约束.然而,在VINS整合线特征时的实时性尚未得到解决.

本文介绍了PL-VINS，一种基于实时优化的具有点和线特征的单目VINS方法,它是在最先进的基于point的VINS的基础上发展起来的,我们观察到当前的工作使用LSD算法来提取线特征；然而，最小二乘支持向量机是为场景形状表示而不是姿态估计问题而设计的，由于其计算成本高，成为实时性的瓶颈。通过研究隐参数调整和长度抑制策略，提出了一种改进的最小二乘算法。修改后的LSD运行速度至少是LSD的三倍。此外，通过用普吕克尔坐标表示空间线，线估计中的剩余误差根据点到线的距离来建模，然后通过迭代更新普吕克尔坐标的最小四参数正交表示来最小化该距离.

在公共基准数据集上的实验表明,在相同的姿态更新频率下，该方法的定位误差比VINS方法小12-16%。

2

系统

3

实验结果

我们从定位精度和在基准数据集EuRoc上的实时性能两个方面来评估PL-VINS的性能.

PL-VINS是基于Ubuntu 18.04用ROS Melodic实现的,所有实验都是在i7-10710U CPU @1.10GHz上进行的.

当前基于点和线的VINS方法直接使用OpenCV中的LSD进行线特征提取,然而,最小二乘算法由于其较高的计算成本已经成为实时性的瓶颈.我们观察到原始的最小二乘算法被设计用于场景形状表示,而不是姿态估计问题,如下图所示,在782×480像素的图像中,检测647个线特征需要62毫秒；然而大量(超过500个)短线特征难以匹配,其中一些可能在下一帧中消失.事实上,对于姿态估计问题,没有必要包括场景的所有线特征.相反,我们应该注意主线特征提取,因为它们很容易匹配,并且可能出现在下一帧中.

在这项工作中,我们修改了原始的LSD算法的姿态估计问题的基础上(源代码在OpenCV),该修改过程首先通过研究隐藏参数调整来简化线特征检测,然后通过长度拒绝策略过滤掉短线特征.因此,改进的最小二乘算法的运行速度至少是最小二乘算法的三倍.

NOTE

LSD是一种无参数调整的线检测器,设计用于场景形状表示.在这种情况下,在782×480像素的图像中检测647个线特征需要62ms.然而,大量的短线特征可以被视为姿态估计问题的异常值,因为它们难以匹配,并且可能在下一帧中消失,更不用说剔除轮廓的困难了.在647个线特征中,有107个线特征的长度超过20个像素,50个线要素的长度超过40个像素.事实上,长线特征比短线特征更容易匹配,并且更有可能出现在下一帧中.

下图是MH-04-difficult序列上VINS和PL-VINS的轨迹和空间特征比较,这两张图是ROS Rviz窗口的截图,其中黄线表示运动轨迹,白点表示空间点,橙色线表示空间线.

总的来说, 在我们的实验中，VINS-Mono和PL-VINS都能够在10Hz下运行,而PL-VIO则不能.

请注意的是VINS-Mono在线程2中最多需要~42毫秒，而PL-VINS是~46毫秒,PL-VIO在线程1中是~100毫秒.与PL-VIO算法相比,PL-VINS算法使用改进的最小二乘算法效率更高.

4

结论

本文提出了第一种基于实时优化的具有点和线特征的单目VINS方法.其中,通过研究隐参数调整和长度拒绝策略,提出了一种改进的最小二乘算法.我们认为修改后的最小二乘法可以用于任何其他与线对应的姿态估计相关的工作.此外,我们在基于优化的滑动窗口中有效地利用线特征约束.因此,在相同的姿态更新速率下,PL-VINS可以产生比VINS-Mono更精确的定位,应该指出的是,在这项工作中,线特征仍未得到充分利用.至少,线特征约束没有用于闭环检测线程.此外,我们观察到其结果都在最后一帧和当前帧之间执行帧到帧的线特征匹配,这可能导致这样的问题,即为什么在最后一帧之前的前几帧中的许多线特征被忽略,尽管它们可能被当前帧观察到.帧到模型策略可能是这个问题的一个答案,其中VINS系统建立和维护由空间线组成的局部地图模型,然后在当前帧和地图模型之间建立线对应,以便利用被忽略的线特征.这种策略类似于流行的基于点的帧到模型策略.

对于未来的工作,除了上述问题,我们还计划将单目视觉扩展到立体视觉,并在更具挑战性和真实感的环境中运行实验,如大规模、低纹理和低光照的室内场景,以进一步研究线特征约束的效用.

本文仅做学术分享，如有侵权，请联系删文。

下载1

在「计算机视觉工坊」公众号后台回复：深度学习，即可下载深度学习算法、3D深度学习、深度学习框架、目标检测、GAN等相关内容近30本pdf书籍。

下载2

在「计算机视觉工坊」公众号后台回复：计算机视觉，即可下载计算机视觉相关17本pdf书籍，包含计算机视觉算法、Python视觉实战、Opencv3.0学习等。

下载3

在「计算机视觉工坊」公众号后台回复：SLAM，即可下载独家SLAM相关视频课程，包含视觉SLAM、激光SLAM精品课程。

重磅！计算机视觉工坊-学习交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流等微信群，请扫描下面微信号加群，备注：”研究方向+学校/公司+昵称“，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

觉得有用，麻烦给个赞和在看~