几种Object SLAM

针对什么问题？

采用什么方法？

达到什么效果？

存在什么不足？

Cube SLAM（2018.6）

例如，在自动驾驶中，为了保持安全，需要在3D空间中检测车辆；在增强现实中，3D物体也需要定位以实现更真实的物理交互。检测和映射3D物体可以提高机器人对环境的理解，更有利于人机交互。

问题：针对单目相机（低成本小尺寸），本文关注无先验的3D建图并联合解决物体检测和多视图物体级SLAM。利用2D物体检测生成3D物体。

方法：

长方体的投影角应该与2D边界框紧密相关的假设

（1）生成3D物体检测框：用2D检测边界框结合消失点采样（VP）生成立方体，VP是投影到射影图片后的平行线的交点。一个3D立体框有三个正交轴，并在投影后组成三个VPs。不同采样点可能生成不同的立体框，通过定义一个代价函数计算立体框分数，最终选取契合物体的立体框。

步骤：①得到立方体的消失点（３个）
　　　②由图像上的一个点结合三个消失点得到剩下的７个点，并得到在图像上的点。
　　　③由2D平面内的立方体顶点，估计立方体的９自由度位姿
　　　④不同角度可能会估计出来不同的立方体，要打分选出最好的一个立方体，通过距离，角度，形状来打分

（2）物体级SLAM：基于ORB-SLAM2，主要工作是改进BA优化（非线性最小二乘优化）。

         误差测量：实验用到相机位姿、物体object位姿和点，要计算他们两两之间的测量误差，以便进行BA优化。

（3）数据关联：提出基于点的物体关联方法。如果点属于2D对象边界框并接近3D空间中的立方体质心，并且被观察到足够多的时间，就将点与物体匹配起来。

效果：2D目标检测使用YOLO检测器，系统基于ORBSLAM2,没有更改摄像机跟踪和关键帧创建模块,对于新创建的关键帧，我们检测长方体对象，将其关联，然后使用相机位姿和点执行束调整。当立体基线或视差小于阈值时，长方体还用于初始化难以三角测量的特征点的深度。

可生成高质量立方体，误差测量与数据关联方法可鲁棒的处理遮挡和动态运动，在SUN RGBD子集数据上实现了3D对象检测的最佳精度，在KITTI里程计数据集上实现了相机姿态估计.

不足：处理动态对象？物体级密集映射建图？更完整的场景理解？

QuadricSLAM（2018）

问题：利用2D检测框（使用yolov3）估计3D椭球（可以表现物体大小、位置和方向）并估计相机位姿，目标检测的包围框能够直接约束对偶二次曲面的参数。

方法：参数化对偶二次曲面（椭球体），根据公式一个椭球体标准型有十个未知数表示，自由度为9。二次曲面在空间中由4x4矩阵表示，

 初始化：找到足够多的切平面，满足，求出参数，得到椭球。椭球在图像上的投影（观测值）与目标检测框（预测值）之间形成误差，然后就使用高斯牛顿法或其他优化算法进行优化，得到最优的椭球表现形式，相机位姿也会进行初始化。

效果：在TUM RGB-D数据集用椭球体表示物体，椭球体捕捉场景中对象几何形状具有准确性，还有预测类标签。通过比较估计的摄像机轨迹的绝对轨迹误差和噪声里程测量来评估我们方法的定位和映射性能

不足：没有解决物体间数据关联问题，手动标注进行数据关联

EAO-SLAM（2020）

问题：主要解决数据关联、位姿估计不准确的问题。提出了一种集成参数和非参数统计检验的集成数据关联策略，显著提高数据关联的鲁棒性和准确性；提出了一个精确的目标姿态估计框架，提出了一个精确的目标姿态估计框架，还构建了一个SLAM系统，该系统可以使用单目相机生成半密集或轻型面向对象的地图。

方法：基于·ORB-SLAM2开发，采用YOLOv3作为目标检测器，数据关联在跟踪线程中实现，它结合了边界框、语义标签和点云的信息。之后，利用iForest消除异常值，以找到联合优化过程的精确初始化。然后将对象姿势和比例与相机姿势一起优化，以构建一个轻量级的面向对象地图。在半密集映射线程中，对象映射与[25]生成的半密集映射相结合，以获得半密集语义映射。

 ①数据关联：利用Wilcoxon秩和检验判断两组点云是否属于同一物体。利用单样本t检验判断一帧上的点云是否属于之前观察到的某个物体，利用双样本t检验判断两个物体是否需要合并。

②物体级slam：利用立方体（规则形状）或椭球（不规则形状）表示物体。

 需要估计旋转平移尺度向量，为了确定尺度，先采用孤独森林法排除异常点，递归随机分割数据集直到所有样本是孤立的，因此异常值通常有较短的路径。估计旋转角度，先设置物体坐标系与世界坐标系相同，在（-90°，90°）之间均匀采样30个角度确定立体框的位置，文章用到了线特征，计算某种角度下物体的LSD线特征与3D立体框的投影之间的角度误差，按照得分确定最佳的旋转角度。得到初始S和旋转角度后就进行联合优化估计相机和物体位姿。

效果：TUM数据集上实验，与IoU关联方法比较，数据关联成功率较高（与其他方法比较成功关联数量的多少）。对于物体位姿估计，没有定量评估（比较初始化前，初始化后，联合优化后的结果，优化后误差减小）。对于建图，构建半密集语义地图和轻量级面向对象地图，被遮挡的物体也可以被准确估计

不足：

DSP-SLAM(2021)

问题：构建精确而稠密的3D模型联合图，用稀疏点表示背景

方法：基于形状先验，测量观察点到物体的DeepSDF距离，判断其是否属于物体。

效果：利用深度形状先验进行对象重建，为背景生成稀疏点特征的联合映射，并为检测到的对象生成密集形状。我们在KITTI（立体声和立体声+激光雷达）等具有挑战性的真实数据集上，显示了几乎实时的性能。我们在相机轨迹估计和形状/姿态重建方面与竞争方法的定量比较显示了与现有技术方法相当或更优的性能。  

不足：

Fusion++

室内场景理解和3D建图是使得真实世界机器人自主完成任务的基础技术，并且提供了一个公共的接口用于更智能和直观的人类-地图和人类-机器人交互。为了完成该任务，需要选择地图表示。一个特别有用的表示是建立面向物体的地图。我们认为这是一种自然和高效的方式，同时对于机器人的场景理解，规划和交互也最为重要；并且它对于人机交互也高度适合。

使用RGB-D数据

不尝试保持整个场景的稠密表示。我们维护的地图只包括重建的物体实例。