动态场景SLAM相关论文总结

参考文献：VDO-SLAM（动物判别与跟踪）、*DynaSLAM（深度学习+多视图几何分割）、*CoFusion（语义+运动分割）、Meaningful Maps With Object-Oriented Semantic Mapping（深度图上的非监督分割方法）、*Improving RGB-D SLAM in dynamic environments: A motion removal approach（基于几何的运动分割方法）、* DOT: Dynamic Object Tracking for Visual SLAM（先分割再由几何关系计算物体的实际运动）、DSP-SLAM（基于已重建对象的数据关联）、CubeSLAM（数据关联）、DymSLAM（运动分割）

Dynaslam：

GitHub - BertaBescos/DynaSLAM: DynaSLAM is a SLAM system robust in dynamic environments for monocular, stereo and RGB-D setups

关键词：RGB-D/stere、基于ORB-SLAM2 、稀疏特征点跟踪、稠密建图、实例+几何分割、主攻静态场景重建、无多目标跟踪优化

1. 应该是先对图片进行特征提取。
2. 实例分割：Mask R-CNN将图片分割为（潜在）动态区域和（潜在）静态区域两部分。分割之后进行低成本tracking，它是将地图点投影到当前图像帧，在图像上的静态区域寻找匹配，之后通过最小化重投影误差计算相机位姿。在这之前需要将分割轮廓上的特征点剔除。
3. 多视图稀疏特征点分割：对于每一个输入帧（提取了特征点的，特征点也与地图点进行了匹配，静态特征点匹配较好，动态的特征点应该也能匹配上）由上一步得到相机位姿；考虑平移和旋转因素，选择之前与其重叠最多（看到共同地图点最多）的5个关键帧；将每个关键帧上的关键点都转换投影到当前帧（通过相机运动），得到当前帧下的关键点坐标和其深度值，计算两个视图上同一关键点的视差角，将视差角大于30°的点去除掉（因为TUM数据集上视差角大于30，物体很可能被遮挡，后续的操作中静态点也会被当作动态点）再进行以下操作：计算当前帧上投影过来的关键点的实际测量深度值，若此深度值与转换投影后的深度值相差太大则视此点是为动态点。
4. 由特征点到稠密mask：在深度图像中围绕动态像素进行区域生长 [21] N. L. Gerlach, G. J. Meijer, D.-J. Kroon, E. M. Bronkhorst, S. J. Berge,´ and T. J. J. Maal, “Evaluation of the potential of automatic segmentation of the mandibular canal,” Brit. J. Oral Maxillofacial Surgery, vol. 52, no. 9, pp. 838–844, 2014
5. 跟踪与建图：输入RGB、深度图、分割掩码，（重新提取特征点？还是第一次提取的特征点？）剔除分割区域边缘的ORB特征点，进行ORB-SLAM2的跟踪建图。

Co-Fusion：

GitHub - martinruenz/co-fusion: Co-Fusion: Real-time Segmentation, Tracking and Fusion of Multiple Objects

关键词：RGB-D/stere、稠密光流跟踪、稠密建图、实例+运动分割、主攻多目标重建、可多目标跟踪但无联合优化

1.Surfel重建（面元重建）：用面元进行表面重建。一个面元包含元素有：位置、法线、颜色、半径、初始化时间戳、最新更新时间戳（更新次数）。点的融合更新：点的位置信息，法向量和颜色信息的更新方法类似于KinectFusion 采用加权融合的方式，可以参考StaticFusion中的方法，体素面（面元）的半径通过场景表面离相机光心的距离求得，距离越大，面片的半径越大。

2.模型跟踪：本文模型分为两类：激活模型和未激活模型。此部分是对每个激活模型进行六自由度位姿跟踪。（文中说模型跟踪是第一步，那获取的新帧怎么知道哪个是激活模型，模型又对应当前帧哪部分呢？应该是ICP+直接法可以不用知道匹配部分，只要移动较慢初值准确就直接能跟踪位姿。）

• 针对每一输入帧，对每个激活模型Mm（这是一个surfel模型）进行跟踪。跟踪方法：最小化t-1与t帧的能量函数（常用RGB-D损失函数：点面ICP+光度误差）
• 点面ICP：待对齐的是t帧深度图反向投影的属于模型Mm上的点云；目标点云是已建立的激活surfel模型Mm按照t-1帧相机位姿投影到t-1帧的深度图。目的是使当前帧点到surfel模型Mm表面距离最近。