基于相交线的双目平面SLAM

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

论文题目：Stereo Plane SLAM Based on Intersecting Lines

摘要

平面特征是SLAM系统中减小漂移误差的一种稳定标志。从密集点云中提取平面是一种简单、快速的方法，常用于RGB-D相机或激光雷达。但是对于立体相机来说，密集点云的精确高效计算是一个难点。本文提出了一种从立体图像中提取相交线计算平面参数的新方法。平面特征普遍存在于人造物体和构筑物的表面，具有规则的形状和直线的线条。在三维空间中，两条相交的直线可以确定这样一个平面。因此，我们从立体左、右图像中提取直线段。通过立体匹配，计算出三维空间中的端点和直线方向，进而计算出平面。在立体SLAM系统中加入这样的计算平面特征可以减小漂移误差，提高系统性能。我们在公共数据集上测试了我们提出的系统，并与最先进的SLAM系统进行了比较，证明了它的鲁棒性和精确性。

概况

Line 和 plane 特征对SLAM的作用

现实环境中有丰富的线，面特征，他们能在SLAM中作为比较稳定的路标帮助SLAM提高稳定性和准确性。与线特征相比，平面具有简单、鲁棒的数据关联性，因而更加稳定。此外，平面甚至可以在大距离的帧中进行匹配，这有助于减小漂移误差。

Line and plane 提取

线特征提取：

LineSegmentDetector https://www.sciencedirect.com/science/article/abs/pii/S1047320313000874

先用LBD

https://dl.acm.org/doi/10.1016/j.jvcir.2013.05.006

从图像提取然后追踪

面特征提取：通常从RGBD或激光雷达中提取，从双目匹配提取但是双目匹配效率太低(可以从当前的双目匹配入手增加效率)

本文研究问题与贡献

本文提出了一种从立体图像中计算平面特征的新方法。平面特征普遍存在于人造物体和结构的表面。这些平面通常有规则的形状和直线。在三维空间几何中，两条相交的直线可以确定一个平面。因此，用直线来计算平面特征是合理和可行的。立体匹配可以从立体图像中计算出三维直线[4]。(作者避免双目匹配，改用双目中的线特征来计算平面特征)

与直接使用线特征相比，平面特征避免了复杂的参数化，实现了简单而稳健的数据关联。此外，平面也是更精确的地标：

基于相交线从立体图像计算平面特征的新方法。
使用提取点和计算平面的立体重击系统。
在公共数据集上进行评估，我们的系统得到了稳健和准确的估计结果，并实现了最先进的性能。

方法

从线特征提取面特征

符号表示

线特征提取计算

面计算

从相交线中，找满足面特征的直线

两条直线之间的角度大于阈值（在我们的实验中为10°）
中心点之间的距离小于线长度。
这两条直线的四个端点位于同一平面上。

计算过程：

黑点是从立体图像中提取的特征点。红线是从立体图像中提取的线段，其三维位置由匹配的端点计算。请注意，我们在SLAM系统中没有使用这些线段，我们在图中绘制它们只是为了显示计算平面特征的过程。我们通过展开相应的相交线来绘制计算平面，它们以不同的颜色绘制。由于线段的错误，图中的紫色平面似乎不正确，我们将在稍后的检查中将此平面标记为无效。但其他飞机似乎是正确的，将被用作我们的大满贯系统的有效地标。

系统结构

优化

结果

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。

下载2：Python视觉实战项目52讲

在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。

下载3：OpenCV实战项目20讲

在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。

交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~