Convolutional Occupancy Networks 论文阅读笔记

概要：一种使用了编码器解码器结构和隐式场重建的神经网络点云重建方法，可以从噪声点云和低分辨率体素中重建，且可以扩展到大型室内场景。

Introduction

背景：3D几何的理想表示应该具有以下特性：a）能够编码复杂的几何结构和任意拓扑，b）能表示大型场景，c）能具有局部和全局信息，d）在内存和计算方面易于处理。而本文目标是使用神经网络重建这种理想表示的3D几何

现有缺陷1：体积表示有分辨率限制，网格表示用神经网络难以学习，点云表示无法表示拓扑关系，而隐式场表示则解决了上述问题。

现有缺陷2：由于传统隐式场神经网络的简单全连接架构，导致它无法引入归纳偏差（神经网络的预置规则，[知识点笔记]归纳偏差 - 知乎），且只能进行过于平滑的全局性重建。

创新点：引入了卷积占用网络，这是一种具有连续隐式表示的精确大规模3D重建的新表示。这种表示不仅保留了精细的几何细节，而且能够大规模重建复杂的室内场景。

贡献：

1.确定了当前隐式3D重建方法的主要局限性。

2.提出了一种灵活的具有输入平移不变性的神经网络体系结构，可以实现从对象到场景级别的精确3D重建。

3.证明了模型能够从合成场景到真实场景以及新的对象类别和场景进行泛化。

Related Work

体素表示是最早的神经网络形状学习方式之一，通常基于八叉树等空间结构，但是受内存和算力限制。

点云表示是另一种输出表示，但是该表示下得神经网络在可以处理的点的数量方面通常是有限的。此外，点云不能表示拓扑关系。

网格表示一般是通过直接预测网格的点和面位置，部分属于该方法的工作是通过使固定拓扑的模板网格变形实现的。有些方法容易导致自交面的产生和非水密性重建。

隐式场表示通常是给定位置，求其在隐式场内与平面的带符号距离或在平面内外的概率。隐式模型已被用于从图像中学习隐式表示，用于编码纹理信息，用于4D重建以及用于基于基元的重建。所有这些方法都局限于单个对象的相对简单的3D几何体，并且不能扩展到更复杂或更大规模的场景。关键的限制因素是简单的全连接网络架构。

PIFU和DISN使用了2D图像进行隐式场重建，其主要基于的是2D卷积。而本文同时利用了2D和3D卷积。

Chibane等人提出的卷积结构与本文类似，但只应用在了单个人的模型重建上；而Jiang等人通过形状先验和点法线实现了场景级输入，并进行了优化。

Method

神经网络结构：编码器-解码器结构，