Visual SLAM Based on Semantic Segmentationand Geometric Constraints for DynamicIndoor Environments

原文链接：https://ieeexplore.ieee.org/document/9804480/

摘要：

本文在ORB-SLAM2算法的基础上，结合语义信息和基于特征点均质化的几何约束算法，提高了SLAM系统的定位精度。针对ORB-SLAM2算法提取的特征点容易集中，在弱纹理区域提取率低的问题，提出一种基于四叉树和自适应阈值的特征点均匀化算法，以提高特征的均匀性点提取。此外，针对动态目标对SLAM系统的影响，通过语义分割网络和运动一致性检测算法过滤掉场景中的动态信息，利用过滤后得到的静态特征点来估计相机姿势。然后，根据语义信息过滤出动态点云后构建语义图。

本文的主要贡献:

1）提出了一种基于四叉树均质化和自适应阈值的算法，以提高弱纹理区域特征点提取的均匀性和提取特征点的数量。

2) 提出了动态特征点去除算法。该算法主要利用语义分割网络和几何约束方法滤除环境中的动态特征，提高VSLAM算法在动态环境中的定位精度。

3）提出了一种点云和语义图的构建方法，可以有效去除场景中的动态点云信息，构建语义图

系统框架

1. 跟踪线程：

对特征点提取模块进行了改进，提高了弱纹理区域特征点提取的均匀性和特征点提取率

2. 语义分割线程

使用了语义分割网络DPT

3. 语义地图构建线程

该模块通过共视关系和相似度检测算法结合语义分割线程和绘制关键帧来获取语义信息。然后，将根据相机的运动姿态构建静态 3D 点云图和语义图。

改进的ORB特征提取

首先，基于输入的RGB图像构建图像金字塔，获取多分辨率图像尺度信息。然后为每一层金字塔图像提取特征点，其中层数设置为经验值8，每层的特征点数为

N为期望的特征点总数，n为金字塔总层数，DesFi为金字塔第i层需要提取的特征点数，InvSF为缩放比例因子的倒数。弱纹理区域的图像灰度值比较接近，采用固定阈值进行特征点提取效果较差。因此，根据当前网格灰度值的分布计算该区域的特征点提取阈值。阈值计算方法如下：这里的阈值是指ORB特征特征点提取时的阈值

式中，M表示当前网格图像的大小，k为比例因子，I(u,v)表示像素坐标系中u,v处的灰度值。

然后，构造四叉树用于特征点均质化。当节点数大于目标数或当前节点的特征数等于1时，停止四叉树划分。如果达到终止条件，对于具有两个以上特征点的节点保留具有最大Harris响应值的特征点。

最后，根据提取的特征点之间的欧式距离，过滤掉距离小于阈值的特征点。

运动一致性检测

语义地图构建

1. 深度信息化转型。根据深度图得到每个像素点的深度信息。由于测量误差的存在，需要对深度图像进行滤波，然后根据深度相机的内参矩阵将深度值映射到三维空间。

2. 颜色信息获取。从RGB图像中获取点云颜色信息，根据关键选择策略构建关键帧点云图

3. 动态目标过滤。由于动态场景中动态目标的存在，构建的静态地图中会存在大量冗余信息，降低了地图的可读性。本文通过语义信息过滤掉场景中的动态物体

4. 环回判断。对输入映射关键帧执行环回检测。如果是回环，则更新全局地图，否则插入关键帧

5. 语义地图构建。结合语义信息构建语义地图