matlab怎么把三维离散点投影到二维平面_CubeSLAM: 单目三维对象SLAM

来源  | 同济智能汽车研究所(SLAM研究组) 知圈 |  进“汽车CIO社群”，请加微13636581676，备注CIO

---

编者按：由于传统的视觉SLAM采用的地标主要为图像中的低层特征如特征点、线等，容易在单一纹理或梯度特征不明显的区域出现误匹配等问题。而随着深度学习的发展，利用高精度的目标识别、语义分割技术，基于语义对象的SLAM也成为当前的发展前沿。一方面，构建语义地图，将数据关联从传统的像素级别升级到对象级别，提升复杂场景下的相机位姿估计精度。另一方面，借助SLAM技术，计算出对象之间的位置约束，可以对同一对象在不同角度、不同时刻的识别结果进行一致性约束，从而提高语义理解的精度。本文介绍的是三维立方体的单目对象SLAM，发表于2019年的IEEE Transactions on Robotics。

本文译自：

IEEE Transactions on Robotics 2019

原文标题：

"CubeSLAM:Monocular 3-D Object SLAM"

原作者：

Shichao Yang, Sebastian Scherer

原作者单位：

Carnegie Mellon University

原文链接：

https://arxiv.org/pdf/1806.00557.pdf

摘要：本文提出一种在静态和动态环境下单视图三维立方体目标检测和多视图对象SLAM的方法，并证明了二者是可以互相增益的。对于三维检测，本文利用二维边界框和消失点采样生成高质量的三维候选框，之后根据边缘对齐对候选区域进一步评分和选择。对SUN-RGBD数据集和KITTI数据集的实验表明，与现有方法相比，该方法具有较高的效率和准确性。论文第二部分提出了利用单视图检测结果和新的测量函数进行光束法平差，共同优化相机位姿、对象位姿和点坐标。同时在传统SLAM的静态假设上，追踪动态对象(车辆等)，实现相机位姿估计和运动对象位姿估计。与特征点相比，对象可以提供更多的几何约束和尺度一致性。在公开的TUM和KITTI数据集上，本文不仅实现了目前最先进的单目SLAM位姿估计精度，而且提高了三维物体检测的精度。

1

前言

三维目标检测和同步定位与建图(SLAM)是计算机视觉和机器人学中的两项重要任务。例如，在自动驾驶中，为了保证安全，需要在三维空间中检测车辆。这些任务可以使用不同的传感器，如可以直接进行深度测量的激光测距仪、RGB-D或立体相机。单目相机由于其成本低、体积小的优势也引起了人们的广泛关注。现有的大多数单目方案都是分别解决目标检测问题和SLAM问题，并且依赖于可能不适用于一般环境下的对象CAD模型。因此，本课题主要研究无先验模型的三维建图问题，以及如何联合解决三维目标检测和多视对象SLAM两个问题。 对于目标检测：利用卷积神经网络(CNN)在大型数据集中检测具有不同大小和视点的二维对象[1]，近些年来，三维目标检测也吸引了更多研究人员的关注，尤其是在机器人应用领域[2][3]。对于SLAM或运动恢复结构(SFM)问题，常规方法是利用追踪图像中的视觉几何特征，比如特征点[4]、线[5]、跨帧的平面[6]，再通过光束法平差最小化重投影误差。然而除了低级特征，图像中的物体对象作为环境中的重要组成部分，还没有在SLAM问题中被充分开发利用，对三维对象进行检测和建图可以大大提高人机交互中机器对周围环境的理解能力。并且，物体对象可以作为地标为SLAM过程提供语义和集合约束从而提高相机位姿估计能力。 本研究提出一个系统来同时实现三维目标检测和对象SLAM：对于三维检测，依据对象投影后与二维边界框紧密贴合的假设，通过消失点采样生成多个有效的立方体候选框，利用多视图 BA 中的点和相机进一步优化所选的立方体候选框位姿；同时，SLAM中的相机位姿用于改善单视图的目标检测。

2

单视图三维目标检测

2.1生成三维候选框 2