可用于大规模点云表面重建的深度学习算法

整理人：袁赣张秦，付前程，张琛，廖新耀

论文：

[1] Zhengxin Mi^#, Yiming Luo^#, Wenbing Tao*. SSRNet: Scalable 3D Surface Reconstruction Network. CVPR 2020.

[2] Yiming Luo^#, Zhengxin Mi^#, Wenbing Tao*. DeepDT: Learning Geometry From Delaunay Triangulation for Surface Reconstruction. AAAI 2021.

SSTNet 代码链接：

https://github.com/wenbingtao/SSRNet

DeepDT 文章及代码链接：

https://arxiv.org/abs/2101.10353

https://github.com/wenbingtao/DeepDT

背景

从3D点云中重建易于表达和操作的三角网格表面，是三维建模及渲染、虚拟现实和增强现实等领域应用的重要基础，是计算机视觉和图形学中的重要研究问题。传统的几何重建方法一般可以分为两类：一种是基于隐式函数的表面重建，另一种是基于徳劳内三角化的表面重建。

隐式函数的表面重建以Matching Cubes(MC)算法为基础（如图1左边），采用八叉树来表达点云数据。通常都是利用已知的点云数据估计一个潜在曲面的隐式表达函数，然后利用该函数对八叉树节点的顶点进行分类，分别标记为曲面的里面和外面，最后采用MC方法提取三角网格表面。这类方法又分为局部和全局的方法，局部方法有符号距离法（SDF）、截断符号距离法（TSDF）以及最小二乘法等，而全局方法最有代表性的是泊松表面重建方法，也是目前三维表面重建中使用最为广泛的方法之一。

基于徳劳内三角化的表面重建是基于空间点云的四面体表达（如图1右边）。首先将空间点云进行德劳内三角化，然后将空间四面体集合转化为一个图结构，每个四面体对应图的一个节点，相邻的节点用边连接起来，利用先验的可见性信息(visibility information)计算每个节点的数据项，进而采用Graph cuts算法对图节点进行二分类，二分类后的空间边界即为重建的三角网格表面。

图1两类重建方法

问题

在最近两年，深度学习开始用于解决表面重建问题，并取得了一些进展，如Deep Marching Cubes(CVRP18)、ONet(CVPR19)、Deepsdf(CVPR19)等。这些方法基本的设想是基于点云数据学习一个类似隐式函数的分类器，对八叉树的顶点进行分类，然后采用MC方法提取表面。但是这些方法面临以下几个方面的问题：

1）处理的数据规模有限，大都仅能处理几千到几万的小规模点云数据，而且大多数情况下需要对原始点云数据进行降采样，进一步减少数据的规模，如ONet(CVPR19)会把原始点云降采样到800个点进行处理，否则由于太大的内存消耗算法很难有效工作。

2）对结构复杂细节丰富的点云数据表面重建效果不佳。这是由于算法采用的特征大都是借鉴点云语义识别的特征，而这类特征主要关注与语义相关的点云形状信息，而非点与其潜在曲面之间的空间位置关系，因而使得重建的表面细节表达能力不足。另一个原因是现有的表面重建网络处理大规模点云数据的能力不足，因而很多情况对原始点云进行了过多的降采样，如ONet会将原始点云降采样到800点进行处理，这就使得数据本身就丢失很多细节信息，自然导致细节重建能力较弱。

3）网络在训练时要求的样本量较大，如ONet在ShapeNet数据集上使用4/5的样本进行训练，并且训练得到的模型泛化能力较差，对没有充分训练的形状重建效果不佳。其主要原因也是由于采用的特征偏重于学习点云的形状结构，而非点和潜在曲面的关系，因而使得算法要求的训练样本较大，且对未经训练的形状模型泛化能力不足。

贡献

针对以上问题，来自华中科技大学的研究人员提出了可扩展的三维表面重建网络SSRNet和基于深度学习的徳劳内三角化表面重建网络DeepDT，分别在CVPR20和AAAI21上发表。算法不仅能够有效地恢复具有噪声和复杂拓扑结构的输入数据的几何细节，从而获得高完整性的三维模型，而且能够适用于大规模点云数据的表面重建。算法在公开的三维重建评测数据集ShapeNet、DTU和Stanford 3D数据集上进行