论文笔记——Dynamic-SLAM:Semantic monocular visual localization and mapping based on deep learning

论文笔记——Dynamic-SLAM:Semantic monocular visual localization and mapping based on deep learning in dynamic environment

论文链接

文章摘要

     ~~~~          ~~~    由于动态物体的干扰，传统slam框架在动态环境下表现得非常差。为了解决slam在动态环境下的问题，通过利用深度学习在物体检测上面的优势，提出了一种语义实时定位和建图的动态slam方法首先，基于卷积神经网络，构造了结合先验知识的SSD对象检测器，在语义级别中新的检测线程里去检测动态对象。然后，鉴于现有SSD对象检测网络的召回率低，提出了一种基于相邻帧速度不变的漏检补偿算法，大大提高了检测的召回率。最后，构建了一个基于特征的视觉SLAM系统，该系统通过跟踪线程中的选择性跟踪算法来处理动态对象的特征点，大大减少了由于不正确的匹配而引起的姿势估计误差。

导语

     ~~~~          ~~~    为了使视觉SLAM系统在动态环境中正常工作，通常的方法是避免在动态对象上使用特征点。 因此，需要预先计算动态物体的位置。 同时，基于深度学习的目标检测和语义分割在这方面取得了显著成果。将深度学习技术应用于SLAM对于解决实际动态环境中的机器人定位和建图问题至关重要。
　　在本研究中，基于ORB-SLAM2 [2]构建的Dynamic-SLAM是基于动态环境中深度学习的语义单目视觉SLAM系统。Dynamic-SLAM主要包括一个可视里程表前端，该前端包括两个线程和一个模块，即跟踪线程，对象检测线程和语义校正模块。Dynamic-SLAM可以成功地在复杂的室内和室外动态环境中实时运行。 它解决了在行人和车辆在场的情况下的定位，BA，环路闭合，稀疏重建等问题。它可以满足普通真实环境中的定位和建图分配。

具体方法

     ~~~~          ~~~    在本研究中，通过添加包含语义并使用特征点优化视觉测距算法的动态对象决策模块，在ORB-SLAM2 [2]的基础上构建Dynamic-SLAM。通过分割图像中的静态和动态特征并将动态部分视为离群值，可以实现Dynamic-SLAM的鲁棒性。基于选择性跟踪算法计算出的静态特征点，进行姿态估计和非线性优化，避免了动态环境物体的干扰。鉴于现有SSD对象检测网络的召回率低，提出了一种基于基本运动模型的漏检补偿算法，大大提高了对象检测模块的准确性。

A.漏检补偿算法

     ~~~~          ~~~    在SSD中，donate $x_{ij}^p$={1,0}是用于将默认框i与对象类别p的地面真实框j进行匹配的指示符。当发生漏检时，${\hat{x}}_{ij}^p$等于0，并且预测框($l$)和地面真实框( g g