【论文分享】Mobile3DScanner: An Online 3D Scanner for High-quality Object Reconstruction(2021 IEEE)

Mobile3DScanner: An Online 3D Scanner for High-quality Object Reconstruction(2021 IEEE)

作者：

Xiaojun Xiang [1] --商汤科技
姜翰青[2]–现任商汤科技研究副总监、商汤科技移动智能事业群3D视觉与增强现实部三维重建组负责人、浙江省人工智能学会增强现实分会秘书长、中国图象图形学学会三维视觉专委会委员
章国锋[3]—浙大SLAM、AR届大佬，浙江大学计算机辅助设计与图形学国家重点实验室。

一.引言

主要功能：移动端嵌入式设备在线三维重建，并对大尺寸物体有很强的适应性。由于嵌入式平台的计算与内存资源限制，传统系统只能扫描小尺寸的物体，文章中提出的系统可对大尺寸物体进行三维重建。
适用设备：配备RGBD相机的嵌入式设备。
摘要：
1.提出了一种新的视觉惯性ICP方法来实现前端每个传入帧的实时6自由度位姿精确跟踪，同时在后端保持一个关键帧池，其中关键帧姿态通过局部BA进行优化。同时，通过优化位姿将关键帧深度贴图实时融合到TSDF模型中；
2.提出了一种新的自适应体素大小调整策略来解决移动平台上大尺寸TSDF融合内存不足问题。在后处理过程中，对关键帧位姿进行全局优化，并对关键帧深度贴图进行优化和融合，以获得具有更精确几何体的最终对象模型。
现有方法：
1.结构光三维重建方法：
仅适用于近距离、小场景的室内三维重建。需要结构光发射器，成本高。
2.消费级深度相机+PC机
在线三维重建对计算机性能要求高。
3.单目+slam
点云稀疏，无法重建高质量的3D模型。
主要创新点：

1. 提出了一种新的视觉惯性姿态跟踪方法，用于实时三维重建目标。本文将迭代最近点（ICP）跟踪与IMU(松耦合)、局部映射和环路闭合相结合，用于移动设备的精确实时目标跟踪。
2. 本文提出了一种自适应TSDF体素大小调整策略，用于在移动设备上实时扫描大型对象。在线TSDF融合过程中，每当太多体素超过内存限制时，就会动态调整体素大小，以确保在移动平台上无需内存不足的情况下成功扫描大型对象
3. 对于移动设备上的嵌入式RGBD传感器通常存在深度误差或过度平滑问题，本文通过多视图立体（MVS）从嵌入式传感器中细化深度，以提供更精确的对象深度，从而更好地生成网格。本文将传感器深度作为先验信息纳入多视图半全局匹配（SGM）方法，以获得更精确的深度和更好的几何细节
4. 在移动设备上提出了一种高效的shape-from-shading（SFS）方法，该方法具有很高的时间效率，可以进一步在线改善对象模型的几何细节。

二.Related works

现有的实时静态目标重建方法一般可分为两类：基于RGBD摄像机的三维扫描和基于图像的多视图重建。
2.1 RGBD 相机 + PC机
RGBD相机在估计深度的同时，使用ICP算法估计相对位姿，如Kinect、Realsense，融合多视角深度信息至TSDF模型中。
KinectFusion: 由于TSDF体素的巨大计算和存储成本；另外在重建较大物体时不断累积的误差会造成“飘移”现象。以上两点原因使得Kinectfusion无法重建大型物体。
BundleFusion：该方法提出一个并行化的优化框架，充分利用了基于稀疏特征以及稠密几何和光度匹配提取的对应关系，实时地估计了BA优化的姿态，并具有从追踪失败中恢复（即重定位）的鲁棒追踪能力。
InfiniTAM：InfiniTAM能够比KinectFusion重建更加大范围的3D环境，其关键因素在于InfiniTAM采用了哈希表的方式来存储隐式的体积表示，极大地节省了内存空间的消耗。
还有一些手持式交互建模设备通过输入关键帧和提取手部运动实现三维重建，但只能针对小型物体。
2.2 RGBD+嵌入式移动设备
MonoFusion提出了一种使用单个网络摄像机进行实时密集重建的方法，MobileFusion提出了一种使用单目摄像机的移动设备上的实时3D对象扫描工具。这两项工作执行基于体积的TSDF融合，无需体素散列，因此只能重建小对象。
对于大场景物体，大多数多视图重建系统无法做到RGBD相机的扫描方法那样重建如此精确的三维对象模型。
2.3 RGBD 点云配准
RGBD配准对于实现精确的SLAM或在线三维重建至关重要。为了提高移动设备上的跟踪稳定性，一些工作将ICP注册与IMU相结合。然而目前的动态对象重建系统通常需要高性能的计算硬件进行在线重建，并且由于复杂的非刚性配准和融合计算，难以重建出高精度的大型对象。

三.系统概述

如果用户希望通过本文的系统扫描自然对象，则该对象应放在水平平面上，如桌子或地面。当用户通过带有后部RGBD摄像头的移动设备扫描对象时，本文的pipeline使用视觉惯性ICP（VI-ICP）方法实时跟踪对象的6自由度位姿，该方法结合IMU和RGBD信息来跟踪前端的6自由度位姿，同时保持后端的关键帧池，使用本地BA模块和循环闭合模块来细化关键帧。通过时空平面跟踪方法在每个关键帧中一致分割对象。同时，使用自适应体素大小调整策略，通过估计的位姿将传入深度融合到TSDF模型以进行实时预览。
当用户完成扫描时，激活对象模型后处理模块以获得最终对象模型。在此后处理中，关键帧位姿在全局BA模块中进行优化，每个关键帧的对象深度由SGM进行优化。优化的关键帧深度通过全局优化的位姿融合到最终的TSDF模型中，然后通过Marching Cubes、Poisson曲面重建和shape-from-shading(SFS)获得最终的3D网格。最后，使用多视图图像映射3D网格模型，以获得最终纹理映射的3D对象模型，如图1所示。在下面的章节中，本文将详细描述管道的主要步骤。

四.实时物体扫描重建

4.1 视觉惯导位姿追踪

对于每个传入的RGBD帧，本文的系统通过前端实时跟踪线程中ICP和IMU的松耦合定位相机，该线程通过IMU估计预测先验姿势，并将其集成到ICP跟踪中。同时，本文在局部映射线程中优化关键帧的滑动窗口，并在后端的另一个线程中执行循环闭合，以进一步优化跟踪的位姿。
本文按照[32]中的方法进行基于滑动窗口的IMU状态优化，该优化使能量函数最小化，该函数包含[6]中提出的IMU预积分残差、ICP的相对姿态以及与[32]相同的先验约束。本文使用Ceres解算