《REAL-TIME INDOOR SCENE RECONSTRUCTION WITH RGBD AND INERTIA INPUT 》原文翻译与解读

最新推荐文章于 2023-08-19 16:55:43 发布

lark_ying

最新推荐文章于 2023-08-19 16:55:43 发布

阅读量709

点赞数 2

文章标签： SLAM 快速三维重建

本文链接：https://blog.csdn.net/hly453/article/details/108667726

版权

本文介绍了结合RGBD和IMU数据的实时三维重建系统，通过EKF融合三种数据，实现快速传感器运动下的鲁棒重建。提出几何感知的patch变形算法，提高特征跟踪精度，优化快速相机运动下的特征匹配。实验表明，该方法在快速运动场景下表现优越。

摘要由CSDN通过智能技术生成

1 摘要：

相机运动估计是三维重建和SLAM的关键技术。为了使其可行，之前的工作通常使相机慢速运动，这限制了它在许多实际情况下的使用。文章提出了一种结合color、RGB-D和IMU的端到端三维重建系统，以实现快速传感器运动的鲁棒重建。系统使用EKF融合这三种数据，并采用迭代法联合优化匹配特征、相机姿态和几何场景。本文还提出了一种基于几何感知的patch变形算法来适应图像域内的外观特征，从而在快速的摄像机运动下实现更精确的特征匹配。实验表明，我们的patch变形算法提高了特征跟踪的精度，并且我们的三维重建方法在快速运动下优于现有的解决方案。

2 实现方法

在这里插入图片描述
图1. 红、绿、蓝箭头分别表示当前帧的输入、迭代操作和上一帧的patch

该方法主要由四部分组成:几何感知特征跟踪，探索滤波效果并进行斑块变形;滤波框架，解释卡尔曼预测和更新步骤;模型融合和patch更新。

- 2.1 几何感知特征跟踪

特征点法在图像模糊或者弱纹理条件下提取的特征数量不足，因此，提出了一种基于patch匹配方法进行特征跟踪（直接法的变形，2D->3D），该方法考虑了较大的图像区域，但是大patch可能包含不同深层次的物体，会导致连续帧间的外观发生变化，尤其当相机运动较快时，会导致特征跟踪不准确。为了解决这个问题，文章将颜色与深度信息结合起来，将2D patch投影到3D中，并使用初始的相机运动将它们重投影到下一帧相机中。投影可以帮助我们对原始的patch进行变形来模拟外观的变化，通过变形后的patch可以方便、准确地实现对patch的跟踪。

2.1.1 SE效应和patch变形
当相机移动时，在不同的帧中会从不同的角度看到一个特征patch，因此不同帧中特征patch在图像坐标中的形状和位置会有所不同。与只考虑patch的2D平面信息不同，文章利用patch的3D几何来确定快速相机运动记录的图像之间的2D形状变形。
根据patches的不同几何形状和相机运动的不规则性，patches可以在连续帧中产生不同的变形。图2显示了三种典型的patch变形情况：

图纸呢
图2. 展示了相机运动和patches几何形状引起的patch SE效果。