Learning Occupancy Function from Point Clouds for Surface Reconstruction论文笔记

Motivation&Contribution

recent implicit function-based shape-learning methods focus only more on shape generation. They are usually incapable of capturing local geometry details

目前基于隐式函数的形状学习方法更多地关注形状生成。它们通常无法捕捉局部几何细节。

采用点卷积神经网络(PCNN)来构建学习模型，取代用全连接多层网络预测点占用率。这个方法直接获得点云数据的几何性质，对点的排列具有不变性。

Method 

占用函数学习 

占用函数表明这个点是否是实体M(物体内部)的占用者(物体外部)，我们可以很容易地将其形成如图所示的模型。这些查询点q∈首先被馈送给条件特征函数f: →，然后进行分类。我们使用一个全连接的Relu网络和一个softmax层作为分类器

点云卷积操作

点卷积是通过扩展将点变换到连续三维域，应用连续卷积，然后用限制将点变换回点域来完成的

稀疏采样的点云包含两个属性：三维坐标和该位置的脉冲强度{,}，该操作是通过用高斯核对脉冲序列进行滤波来完成的，等效于覆盖和求和以点P为中心的I个高斯函数。这个操作类似于插值，因为它把一个离散的值序列变成一个连续的函数。

表示体积卷积，该操作涉及到J × K(对应于前层和后层的特征深度)滤波核。每个内核被实现为一组高斯函数，其中心排列为3×3×3网格。

 

约束操作只是对P点上的函数值进行采样，将其变回离散。

网络框架

与点云分割类似，占用学习也是一个点级判别任务。因此，我们采用了一种受U-Net 启发的体系结构，并改编自分割网络。为了推断一个点是在一个封闭曲面的内部还是外部，人们应该观察它的周围环境，比如到输入点簇的距离()或形状特征的组合()。然后将与占用率相关的分数()分配给该查询点。我们的网络有一个垂直的过滤结构。输入点云的信息是“水平”流动的，查询点是“垂直”输入的。双约束层作为交互器，使查询点与形状信息纠缠在一起，得到条件特征F (q|P)

实验

与ONet的区别

ONet擅长学习和恢复形状几何变化较少的类。像飞机、桌子和汽车这样的形状类是“较少变化”类别的例子，因为你可以很容易地想象它们的典型(参见图6a、6b和表II)。ONet使用一个编码器-解码器网络，使用PointNet[22]编码器从输入点云中提取潜在代码。因此，分类和语义特征被捕获得相对较好，但这带来了副产品和问题。ONet倾向于定型的形状和倾斜，使每个输入形状适合那些记住的语料库，导致虚构的假形状(图6c)，并且在处理看不见的结构时失败。

其次，ONet生成的网格比我们的方法更干净、更规则，特别是对于可以近似为主要元素组装的形状，如平面、立方体、圆形和圆盘(参见图6b)。而我们的输出，即使是在ONet上重构得更好的形状，也包含更多的噪声和非光滑表面。这一观察结果解释了我们的方法在表I中snormal一致性度量上的相对弱点。这种现象是由于我们使用基于fbf的PCNN(本地和粒度)来建模占用函数，而ONet使用条件批处理归一化[53]网络作为解码器的结果。但是，我们认为，我们的方法可以更好地重建野外形状，因此，划痕的规则性和平滑性是值得的。如图6c所示，它们要么偏离了它的范畴(如水平脚的书桌和方形沙发)，要么由长曲面和全局不对称组成。需要注意的是，重构表面的高频抖动通过网格谱滤波很容易消除

最后，一些具有挑战性的形状，无论是ONet还是我们的方法都不能从300个有噪声的输入点中令人满意地恢复它们(图6d)。原因是双重的。首先，这些物体是由许多复杂的部分组成的，因此300个定向点无法提供关于其形状的足够信息。同时，训练数据集没有包含足够多的类似对象来匹配这些形状语料库，因此我们的网络可能无法恢复或“幻觉”缺失的信息。