论文解读：特征空间隐函数实现3D形状重建与补全

01

摘要

目前一些研究人员主要是从图像进行三维重建，而在本论文中作者将从各种3D数据作为输入来重建和补全3D形状。它在某些方面存在不足：低和高体素分辨率，稀疏与稠密点云，完整或者非完整。最近基于学习的隐函数已经展示较好的优势，它们能够进行连续重建。然而，从3D数据作为输入存在两个限制：1）输入数据存在的详细信息不能被保留；2）人体关节点重建效果较差。为解决这个问题，作者提出了 隐特征网络（IF-Nets）。该网络能够传递连续输出，能够解决多种拓扑形态，补全缺失或稀疏的输入数据并能够保留较好的属性。该网络还能够保留输入数据中的细节，并且能够重建人体关节点。作者与先前工作的两个最大不同的方面：第一原先研究人员使用单个向量去编码3D形状，而作者则提出使用一个基于学习的3维多尺度张量深度特征来表示，它与嵌入形状的原始欧拉空间对齐；第二代替直接分类x-y-z点坐标，作者在一个连续查询点对从张量提取的深度特征进行分类。作者提出的网络模型能够在全局和局部形状结构来做决策，而不是点坐标，它是任意的欧拉变换。

02

方法

背景：基于学习的隐表面

原先方法的优点和缺点都基本相似，它们都是使用一个隐向量z去编码3D形状。然后，一个连续形状的表示通过一个神经函数：

给定一个查询点p，以及隐编码z，分类点在表面里面还是外面。所以隐函数的表示决策临界上的点，这里需要一个阈值判断t（在IF-Nets中t=0.5）。

隐特征网络

先前的公式存在两个潜在问题。第一，通过接输入点坐标p，网络可以通过记忆目标形态中的典型点占用，来对形状结构进行推理。这种方法严重损失了重建中的旋转和平移不变性。第二，编码所有形状只用一个向量z，导致丢失了数据中的细节信息以及与原始嵌入形态的3D空间的对齐。作者提出的网络框架如下所示：

隐特征网络-形状编码

作者首先对点云做简单的离散化处理，然后对输入3D数据尺度进行下采样，来增加感受野区域和通道，但是降低了分辨率。F下的标识从i-n，对应不同的阶段。在分辨率较低数据上获得大的感受野，能够捕获数据的全局结构。在高分辨率上较获得细节，即局部特征。

隐特征网络-形状解码

作者提取特征网格位置p处学习到的深度特征F。这个是一个概率，因为在编码中有与输入数据对齐的3D结构。考虑到特征网格的离散性，作者使用三角差分来查询连续3D点。为了使局部相邻的编码信息到点编码处，甚至在早期有小感受野的网格上，作者在位置p处提取特征并在沿笛卡尔坐标轴距离d的周围点提取特征：

因此，将预测点在表面内和外的公式转化为：

训练方法

作者采用标准的交叉熵损失，其中fw表示解码后的数据，o则表示真值。

03

结果

上图中左边为稀疏体素重建，中间为稠密体素重建，右边为3D单视角点云重建

作者还将本文提出的方法扩展到 体素超分辨，点云补全、单视角人体重建。