MIS-SLAM:Real-Time Large-Scale Dense Deformable SLAM System阅读笔记

论文名称：MIS-SLAM: Real-Time Large-Scale Dense Deformable SLAM System in Minimal Invasive Surgery Based on Heterogeneous Computing
即：MIS-SLAM：基于异构计算的微创手术中的实时大规模密集可变形SLAM系统。
1 摘要
　　实时的SLAM对于为外科医生或外科手术机器人提供为虚拟现实和增强现实技术非常有帮助。本文提出了一种MIS-SLAM算法：实时大规模密集可变性SLAM，利用立体镜成像，通过充分利用CPU和GPU来进行微创手术。闲散CPU用于ORB-SLAM计算机器人的全局位姿。
　　我们解决了之前工作中提出的关键问题，即范围的快速移动和模糊的图像使得范围跟踪失败。 受益于改进的定位系统，MIS-SLAM可以实时实现大规模的范围定位和密集建图。 它可以对当前模型进行变换和变形，并在保持鲜明纹理的同时逐步融合新观察。 以视频形式呈现的公开可用数据集进行的体内实验证明了MIS-SLAM用于潜在临床目的的可行性和实用性。
2 引言
　　微创手术存在的问题：缺少视野，视野范围难以定位，对手术范围附近的信息没有缺少了解，这些都导致了必须花大量时间训练外科医生以学习使用演唱的手术工具，从而在狭窄的手术范围内进行操作。
　　为了增大外科医生的视野范围，3D laparoscopy，binoculars两种手术试镜通过在手术范围生成两种试图，从而生成3D图像，可以帮助医生更好的理解手术环境。近来，立体视觉被用于AR设备用来优化MIS的效果。如果与立体视觉有关的CV方法能够被整合，并用于实时的变形恢复进而优化相机位姿，将会非常有帮助。立体镜成像的软组织变形问题以在[13]中被解决。
　　当前系统中，最重要的问题是如何解决试镜的快速移动导致的追踪失败问题。 我们很清楚，ORB-SLAM系统可以被改进并被整合，从而和密集变形SLAM进行整合。
　　我们的方法基于如下改进：

• （1）我们提供了异构计算的架构用于充分利用GPU（dense deformable SLAM）和CPU（ORB-SLAM）从而恢复和MIS场景下的软组织变形导致的3D结构的密集变形。ORB-SLAM充分利用CPU，从而提供重充足的补足信息给GPU。
• （2）GPU模块和CPU模块被深层次的整合，用于增强性能。稀疏的ORB特征和全局位姿被上传到GPU 。
• （3）我们更新了之前的模型点管理系统和融合管理策略 来增强大规模的软组织变形的恢复。相比于广泛使用的TSDF方法，表现更好。
• （4）实时的可视化在GPU上实现。MIS-SLAM可以在一个台式机上实时处理大规模表面重建。
  2 技术细节
• A MIS-SLAM 技术总览
  　　我们的架构可以被分成：初始追踪，变形追踪和稠密建图。初始追踪由CPU下的ORB-SLAM完成。变型追踪和稠密建图由GPU完成。
  　　在初始建图阶段，ORB-SLAM首先在CPU中启动；ORB特征和全局pose被从CPU上传到GPU中。这个出事的全局pose极大增强了系统的鲁棒性。
  　　在变形追踪和稠密建图阶段，在接受完初始的全局pose后，他首先使用第一个深度初始化模型。当每次获得新的观察值，被匹配的ORB特征就会被上传到GPU中。潜在的视觉点从模型中被提取并投影到2D的深度图。一个注册进程被执行，用于估计最佳的全局位姿和非刚性的变形区域。之后，当前模型根据这种转换进行变形以符合当前的形状，并和当前最新的观测结果进行容融合.我们利用CUDA中 图形互操作性的特征来从GPU直接可视化模型。图1展示了整个流程。
  
  　　由于从立体图像生成的点云的精准程度远小于深度感知传感器，我们利用更多特性来生成点云进而修正更新我们的方法。
  　　每个点包含6个域：坐标$v_i$，法线$n_i$，权重${\omega }_i$，亮度值$C_i$,时间戳$t_i$，和一个布尔变量状态$S_i$。我们更新初始的视觉点选择方法，用以进行更好的深度标记（算法1）。我们添加$t_i$和$S_i$，并引入模型过滤方法用来平滑模型，减少噪声点（算法2，3）。
• B 从立体图像进行深度估计
  　　ELAS（Efficient Large-scale Stereo）方法被用来进行深度估计。
  https://www.cnblogs.com/riddick/p/8486223.html
• C 稀疏的关键点匹配和相机的位姿估计
  　　先前工作的主要问题是：目镜全局位姿的定位不准确导致了轨道的不准确性。基于变形图的方法是典型的model-o-frame的视觉测距过程，缺乏额外的机制来确保全局姿势跟踪稳健性。如果没有良好的相机姿态初始化，密集建图不可避免地会出现漂移或丢失跟踪。为了增强系统的鲁棒性，闲置的CPU会被充分用于ORB-SLAM来提供良好的初始位姿估计，从而增强系统的鲁棒性。ORB-SLAM模块提供ORB特征，这些特征在GPU中被充分利用。这个策略节省了GPU的计算能力：
• （1）当我们上传匹配的ORB特征时，不需要密集加速鲁棒特征（SURF）提取和原始方法[13]中的匹配步骤
• （2）[13]中GPU端的视觉测距和RANSAC被CPU端的ORB-SLAM的初始姿势和ORB特征所取代
• D 变形（Deformation）
  　　变形图的基本思想是由邻近变形节点定义的局部刚性旋转和平移的加权平均，这些节点在空间中稀疏均匀地分散。每个源点由几个最近的嵌入变形（ED）节点转换到其目标位置，这些节点由位置$g_j\in R^3$，仿射矩阵 A