Occupancy Networks: Learning 3D Reconstruction in Function Space论文笔记

Contribution

Occupancy networks implicitly represent the 3D surface as the continuous decision boundary of a deep neural network classifier

隐式地将三维曲面表示为深度神经网络分类器的连续决策边界

Motivation

Many of the state-of-the-art learningbased 3D reconstruction approaches can hence only represent very coarse 3D geometry or are limited to a restricted domain

很多先进的基于学习的三维重建方法只能表示粗糙的三维几何，或者限制于一个特定的领域。 

---

 相关工作

1. 基于体素。内存限制，分辨率不高
2. 基于点云。需要额外的后处理
3. 基于网格。倾向于生成自交叉的网格，并且只能生成简单的拓扑结构

方法

• 占用函数（occupancy function）：每个可能的3D点的占用概率。用神经网络去近似占用函数，同时关注能够隐式表示对象表面的决策边界

  

• 占用网络（occupancy network）：用神经网络参数化来模拟占用函数，以一对位置p和观测对象x作为输入（p，x），输出占用概率

训练

• 在对象的三维边界体随机采样，对第i个样本，采样K个点，评估小批量损失

• 其中xi是B批次的第i个观测值，Oij是点云的真实位置，L(·, ·)是交叉熵损失

推导

多分辨率等值面提取算法（MISE）

 

 

• 作用：从占用网络中提取高分辨率网格，而无需密集地评估高维占用网格的所有点
• 步骤：首先在给定的分辨率上标记所有已经被评估为被占据(红色圆圈)或未被占据(青色方块)的点。然后将所有同时占领和未占领的角落的体素标记(淡红色)，并细分为4个亚体素。接下来，评估所有由细分引入的新网格点(空圆)。重复前两个步骤，直到达到所需的输出分辨率。最后使用marching cubes算法提取网格，利用一阶和二阶梯度信息对输出网格进行简化和细化

网络框架

首先计算输入的嵌入c。然后通过5个完全连接的resnet块提供输入点。在这些resnet -block中，使用条件批量归一化(CBN)对网络c进行条件化。最后，使用全连接层将网络的输出投影到一维，并应用sigmoid函数来获得占用概率

条件批量归一化(Conditional Batch-Normalization):  

首先，我们将从编码器网络中获得的条件编码c通过两个完全连接的层来获得256维向量β(c)和γ(c)。然后，我们使用一阶和二阶矩将256维输入特征向量fin归一化，将输出与γ(c)相乘，并添加偏置项β(c)。其中μ和σ是输入特征fin的经验均值和标准偏差(在批次维和T维上)，ε是torch预设误差值10e-5。

占用网络编码器框架 

•  单图像三维重建：编码器使用ImageNet预训练的ResNet-18结构
• 点云三维补全：编码器使用PointNet，并增加额外的池化和扩展层
• 体素超分辨率：编码器使用3D CNN

实验

单图像三维重建

点云补全

无条件网格生成