论文阅读笔记（15）--- Point completion Network

第一篇关于点云缺失补全的论文

本文贡献

• 一种直接在3D点云上操作基于学习的点云补全算法
• 一种新颖的网络架构，能够以由粗到细的方式生成密集的完整的点云
• 大量实验证明了算法在点云补全上具有很好的效果，并且噪声和稀疏数据具有鲁棒性，在真实世界数据具有泛化性。

相关工作

现存的关于3D形状补全的方法主要可以分为三类：基于几何，基于对齐和基于学习的方法

• 基于几何的方法：利用输入的部分几何元素进行补全，并没有引入其他数据。但是这些方法都有一个假设是缺失区域的几何结构可以直接从观察到的区域获得，这种假设并不适用于现实世界的大多数数据。
• 基于对齐的方法：将部分输入与大型形状数据库中的模板模型匹配来完成形状。但是这些方法需要推断过程中进行很好地优化，因此不适合在线应用，并且对噪声比较敏感。
• 基于学习的方法：利用参数化模型（一般是深度神经网络）直接将部分输入映射为完整形状，通常比其他方法推断更快并且有更好的泛化性。

我们利用点云进行形状补全，保护了关于形状的完整的几何信息，并且对内存的消耗更小。

问题阐述

$X$的 3D points set是由3D传感器单次观测或者一系列观测物体表面获得的点，$Y$是均匀地从该物体的观测表面和未观测表面采样得到的一个密集3D points set，形状补全的问题定义未：给定输入$X$预测$Y$。但是$X$不一定是$Y$的子集，而且也没与明确说明$X$与$Y$中的点的对应关系。

网络训练使用的是自监督的方法，将$X$和$Y$的样本大规模合成数据集来训练，并且没有假设物体的形状。

Point Completion Network

PCN是一个编码-解码网络，在编码气部分，网络根据输入的点云$X$得到一个k维特征向量。然后解码器利用这个特征向量产生粗略输出$Y_{c}oarse$和详细输出$Y_{d}etail$。根据这两个输出与gt得到loss。

注意到，与自动编码器不同的是，我们并没有强制要求在输出中直接得到完整点云，而是学习到一种从部分空间到完整形状空间的映射。

Point Feature Encoding

编码器的作用是将点云的几何信息汇总成为特征向量，该编码器是对PointNet的拓展，延续了点云的置换不变性以及鲁棒性，可以处理不同点云密度的输入。

特别地，编码器包含有两层$PointNet$层，第一层的输入是$m$个输入点，表示为$m\times 3$的矩阵$P$，每一行是点的三维坐标$p_i=(x,y,z)$，然后利用共享权重的MLP将$p_i$转化为特征向量$f_i$。因此可以得到一个特征矩阵$F$，它的每一行是学习到的每个点的特征$f_i$。然后对$F$执行point-wise maxpooling操作得到$k$维全局特征$g$，其中 g i = m a x i = 1 , . . . , m { F i j } f o r j = 1 , . . . K g_i = max_{i=1,...,m}\{F_{ij}\} for j =1,...K gi​=maxi=1,...,m​{Fij​}forj=1,...K。首先将$g$与每个$f_i$相连，以获得增广点特征矩阵$\tilde{F}$，它的行是连接以后的向量$[f_{i}g]$，然后对赠官点特征矩阵$\tilde{F}$继续之前的MLP和point-wise maxpooling操作得到最终的特征向量$v$。

Multistage Point Generation

解码器的作用是利用特征矩阵$v$产生输出点云。提出的是一种两阶段的点云生成过程。一方面利用全连接解码器，可以很好地预测一组稀疏点云，他们主要表征了全局集合形状。同时基于折叠的解码器可以很好地近似平滑曲面，主要表征了形状的局部几何特征。

因此，在第一阶段，通过具有3s输出单元的全连接层对向量$v$操作，得到一个粗糙的且有s个点的$Y_{coarse}$，为$s\times 3$的矩阵，因为每个点有XYZ三个空间坐标信息。

Loss Function

由于输出点云和GT点云都是无序的，所以loss需要对点的排列顺序保持不变。论文引入两个置换不变函数：Chamfer Distance（CD）和 Earth Mover’s Distance（EMD）


CD不需要S1和S2是相同的形状，EMD需要S1和S2是相同的形状并且比较消耗内存。
Loss函数包含两个部分$d_1$和$d_2$通过α赋予不同的权重：

实验种，对于$d_1$使用的CD和EMD，对于$d_2$只使用的CD。