tensorflow 语义slam_GitHub - 450932894/DynaSLAM: 基于ORB-SLAM2修改 动态环境建模 dynamic environments for monocul...

DynaSLAM

主要思想

利用 语义分割信息 和 几何信息得到的 动/静分割信息，剔除部分不可靠的 关键点来使得 跟踪 变得更可靠

使用mask-rcnn获取 语义分割信息

使用 运动点 判断准则 获取 动/静 mask

结合 语义mask 和 动/静 mask 生成 需要剔除的 mask

在构造帧 的时候 对 提取的关键点 进行滤波，删除 不可靠的 关键点，使得 跟踪更可靠

思考

1. 是否可以 结合 光流 来生成 动/静 mask ，不过要考虑相机自身的运动引起的光流

2. 如果用于导航，仅仅依靠orb关键点，数量不够，是否可以 添加 边缘 关键点检测算法

DynaSLAM is a visual SLAM system that is robust in dynamic scenarios for monocular, stereo and RGB-D configurations. Having a static map of the scene allows inpainting the frame background that has been occluded by such dynamic objects.

DynaSLAM: Tracking, Mapping and Inpainting in Dynamic Scenes

Berta Bescos, José M. Fácil, Javier Civera and José Neira

RA-L and IROS, 2018

We provide examples to run the SLAM system in the TUM dataset as RGB-D or monocular, and in the KITTI dataset as stereo or monocular.

运动点 判断准则

从关键帧数据库(最多20个)中获取当前帧的参考帧：

差异性： 和当前帧 欧拉角度差平方 + 平移量差平方

利用各自最大最小值 归一化后，使用加权求和 vDist = 0.7*vDist + 0.3*vRot

对差异性进行排序： DESCENDING 降序排列

选取 前面 (差异性最大的) 作为参考帧 (最多5个)

// 提