[2023]RGB-D-Inertial SLAM in Indoor Dynamic Environments with Long-term Large Occlusion

[2023]RGB-D-Inertial SLAM in Indoor Dynamic Environments with Long-term Large Occlusion

1.作者

Ran Long, Christian Rauch, Tianwei Zhang, Vladimir Ivan, Tin Lun Lam, Sethu Vijayakumar

2.时间

2023

3.框架

解决的问题：

• 当相机大部分视角被多个目标长期遮挡，剩下的视觉信息不足以很好的支持定位，目前的方法动态目标只占输入的一小部分，因此可以被视为外点移除
• 对于预先未定义的动态目标造成长时间的大面积遮挡，存在两个挑战：
  • 机器人不能够辨别从静止背景中动态目标，因为不能语义分割出来，也不能视为外点
  • 即使动态目标被正确移除， 静态背景上剩余的颜色、深度信息可能不足以支持准确的定位或建图。

贡献：

• 一种结合稀疏和稠密特征的动态目标检测方法
• 一种创新的BA，可以同时提供动态对象的稠密分割，跟踪相机并构建环境地图
• 基于RGB-D的视觉惯性SLAM方法，对于被动态目标大面积长时间遮挡鲁棒

4.方法

概述

• 以RGB-D相机和IMU作为输入，与ORB_SLAM3类似，分别估计pose $T_i$、速度$v_i$、以及bias $b_a,b_g$
• 对于深度图像，将其分割为K个类，对于深度无效的分为第K+1类，对于每一簇，有个score代表静止的可能性，另外，假设同一簇的所有像素点具有相同的分数
• 对于BA，使用滑窗内的共视关键帧和这些关键帧观测到3D地图点
  • 地图点： X ^ = { X 0 , ⋯ X L − 1 } \hat{X} =\left \{ X_{0},\cdots X_{L-1} \right \} X^={X0​,⋯XL−1​}, 分数 B ^ = { β 0 , ⋯ β M } \hat{B } =\left \{ \beta _{0},\cdots \beta _{M} \right \} B^={β0​,⋯βM​}
  • 关键帧： S ^ = { S 0 , ⋯ S M } \hat{S} =\left \{ S_{0},\cdots S_{M} \right \} S^={S0​,⋯SM​}，分数 Γ ^ = { Γ 0 , ⋯ Γ M } \hat{\Gamma } =\left \{ \Gamma _{0},\cdots \Gamma _{M} \right \} Γ^={Γ0​,⋯ΓM​}

BA

优化代价函数：
$$\begin{array}{l}{\min }_{\hat{S},\hat{\Gamma },\hat{B}}(U(\hat{S})+R(\hat{S},\hat{\Gamma },\hat{B})+G(\hat{\Gamma },\hat{B})+H(\hat{S},\hat{\Gamma })),\\ \text{ s.t. }{\gamma }_{ik},{\beta }_j\in [0,1]\forall i,j,k,\end{array}$$

• IMU残差项：$U(\hat{S})={\sum }_{i=1}^M{\Vert {\mathbf{r}}_{i-1,i}^I\Vert }_{{\Sigma }_{i-1}^{-1},}^2$
• 地图点和关键帧残差项：
  
  其中，$u_{ij}$表示地图点j在第i帧关键帧上的观测，$\gamma \left(u_{ij}\right)$表示观测点属于静止的概率
• 先验信息：
  
  其中，$\tilde{\gamma }$为：稀疏地图点和深度图像的深度差异
  
  $\tilde{\beta }$为：如果此地图点在大多数可以观察该地图点的关键帧中都是静止的，那么它为静态背景
  
  其中，$\varphi \left({\lambda }_{\varphi },x\right)=max\left(0,\frac{x-{\lambda }_{\varphi }}{1-{\lambda }_{\varphi }}\right)$，${\lambda }_{\varphi }=0.5$意味着如果$k^j$中超过 50% 的关键帧将地图点j分类为动态，则地图点j 是动态的。
• 稠密分割的平滑度并在IMU偏差上添加正则化：
  
  其中：相邻簇的得分接近，代表关键帧i的第j和第k簇在空间上相邻，另外imu的bias是缓慢变化的
  
  总结：
• 相对于StaticFusion与PlanarFusion，估计了输入图像的稠密分割，结合稠密和稀疏特征估计了地图点的稀疏分割
• 利用滑动窗口+BA优化关键帧的状态$\hat{S}$以及分割$\hat{\Gamma }$、$\hat{\beta }$
• 首先初始化最新关键帧的状态和稠密分割，并为所有地图点设置β = 1。对于每次迭代，我们固定$\hat{\Gamma }$和$\hat{\beta }$，同时为M +1个关键帧找到最优解$\hat{S}$。然后，我们固定$\hat{S}$，而 $\hat{\Gamma }$和$\hat{\beta }$通过固定一个并解析求解另一个来迭代优化。优化后，我们删除所有动态地图点。

分割和图像帧状态的初始化

• 帧与帧之间的优化：
  
• $U_{ini}\left(S_i\right)$：IMU残差
• $R_{ini}\left(S_i,{\Gamma }_i\right)$：连续两帧灰度和深度图像的残差，为灰度残差和深度残差的加权和
  
• 剩余两个和BA中的相似

重定位与闭环

采用词袋DBow2，方法与ORB_SLAM3类似，不同之处在于：

• 移除了每帧关键帧的动态区域
• 只有静态背景区域超过80%才被视为候选关键帧
• 在闭环检测后，对于静止区域的关键帧和地图运用BA进行优化

5.实验

设备

相机定位

动态目标分割

背景重建