SA-ConvONet: Sign-Agnostic Optimization of Convolutional Occupancy Networks论文笔记

流木追风

已于 2023-03-14 10:54:51 修改

阅读量503

点赞数

分类专栏：论文笔记文章标签：深度学习人工智能

于 2023-03-14 10:50:02 首次发布

本文链接：https://blog.csdn.net/weixin_45625942/article/details/129499142

版权

论文笔记专栏收录该内容

8 篇文章 0 订阅

订阅专栏

Motivation

在不考虑局部场之间的几何关系的情况下，现有方法通常需要精确的法线来避免局部场重叠区域中的符号冲突问题，这严重限制了它们对原始扫描的适用性，因为在原始扫描中表面法线可能不可用。尽管SAL通过符号不可知学习(sign-agnostic learning)打破了这一限制，但仍需要进一步探索如何将该技术扩展到局部形状建模。

Contribution

通过对卷积占用网络进行符号不可知优化(sign-agnostic optimization)，实现隐式曲面重构，同时实现对大规模场景的高级可扩展性，对新形状的通则性，以及对原始扫描的适用性的统一框架

Introduction

许多方法从不同的角度来改进隐式场表面重建方法。例如，为了能更好地扩展到大规模室内场景，一些方法选择去学习局部隐式场来表征局部表面的几何，同时将全局形状几何表示为局部隐式场的组合，而不是从一个潜在的向量中学习全局隐式场。为了更好地泛化到未见过的形状，一些工作尝试在测试时进一步优化网络参数搜索出对当前输入更优的解，而不是严格地固定住已经学好的网络参数。最近的先进方法通过在测试时独立地优化每个局部隐式场，可同时达到前面两个重建目标。由于没有显式地考虑局部场之间的几何关系，这些方法需要使用精准的法向来帮助它们避免在局部隐式场相互交叠的区域产生符号翻转的问题。这个严格的需求导致了其重建真实扫描点云的结果并不鲁棒，因为原始扫描的点云是不带法向的。尽管SAL通过无符号的隐式场学习(sign-agnostic learning)突破了这一局限性，未来的工作仍需要探索如何将这一技术应用于局部隐式场学习。也就是说，至今没有一个方法能同时在一个框架里面实现三个重建目标：可处理大场景，能泛化到未见过形状，对真实扫描的原始点云具有鲁棒性。

我们提出了一个隐式场表面重建方法：sign-agnostic optimization of convolutional occupancy networks，在同一个框架中达到上述的三个重建目标。我们提出了一个简单但又有效的设计，即在测试时以无符号学习的方式进一步优化占用场(occupancy field)的学习，占用场的学习是基于3D U-Net学到的卷积特征[6]来实现的。我们的方法启发于两个关键的特点。第一个特点是在占用场(occupancy field)在有真实符号隐式场(ground-truth signed field)的3D数据集上预训练后, 它能为测试阶段的优化(test-time optimization)提供一个符号场作为初始化。该初始化使得我们能进一步使用无符号的损失函数约束内外隐式场预测网络的学习，最大化所想要得到的等值面和观察到的无法向点云之间的一致性。第二个特点是3D U-Net同时聚合了全局和局部形状特征。局部形状特征的使用不仅能帮助我们更好地保持表面细节，而且能支持我们进行大规模室内场景表面的重建。融合的全局形状特征可以在特征层面上约束局部隐式场之间的几何一致性，使得局部隐式场的组合总是一个合理的全局形状，即使我们没有使用法向信息提供全局引导。我们的方法能够直接从点云中很好地恢复出逼真的表面细节，而不使用法向信息。

Method

给定观测点集，我们的目标是我们的方法的目标是重建一个曲面 $S$ ，它与实际曲面 $\hat{S}$ 尽可能相似。我们选择通过预测神经隐式场 $O$ 来近似地表示 $\hat{S}$ 的有符号隐式场 $\hat{O}$ 。我们的方法包括两个阶段，即卷积占用场预训练和设计的符号不可知，测试时间隐式曲面优化。前一阶段负责学习具有全局一致性约束的局部形状先验，后一阶段提供相对合理的有符号域作为初始化，利用无符号交叉熵损失进一步优化整个网络，提高 $O$ 的精度。

卷积占用场预训练

卷积特征V通过PointNet和3D U-Net的级联网络从输入点云P中提取

占用场预测

根据得到的体积特征V，我们可以预测在三维空间中随机采样的点q的占用概率O(q)∈ $\mathbb{R}^{3}$ 。我们首先进行三线性插值，根据q的坐标从V中查询特征向量 $f_{q}$ 。然后将 $f_{q}$ 和q输入到作为多层感知器(MLP)的轻量级网络实现的占用解码器g

符号不可知隐式曲面优化

无符号交叉熵损失（unsigned cross-entropy loss）在不使用表面法线的情况下，获得占用域和无符号输入之间的一致性约束

$Q_{\hat{S}}$ 是从真实表面 $\hat{S}$ 上采出的一个点集， $Q_{\setminus \hat{S}}$ 是从非表面区采出的一个点集。因为 $\hat{S}$ 未知。因此我们考虑使用观察到的表面点云 $S$ 作为其的一个近似逼近，然后将在3D空间随机采的点当作非表面点。更具体地，我们强迫观测到的表面P和内外场的0.5等值面相接近，约束空间中点的占用概率要么是接近0或者接近1。