【三维深度学习】点云上采样网络PU-Net

点云上采样网络PU-Net,这篇论文的任务是在给定较为稀疏点云集合的基础上生成更为稠密的点，通过训练学习隐含的几何特征并利用更为稠密的点表示出来。与图像超分辨类似，但这一问题却需要处理非栅格点云数据；其次生成的点应该描述目标的潜在表面，应该尽量靠近目标表面；最后生成的点应该均匀分布在秒表面，简单插值方法无法有效解决。

为了解决这一问题研究人员提出了数据驱动的方法，在点云片级别提出了鼓励插值点靠近表面并均匀分布的联合损失函数，其关键的思想是为每个点学习多级特征，并在特征空间里通过多分支卷积来拓展点集，拓展r倍。拓展后的特征被重组为多个特征以此来重建上采样点集。

💻代码实现方面具体可以参看 👉 代码分析

1.网络架构

为了从非规则的点云中恢复出稠密的点云，并使得点云靠近目标表面均匀分布，PU-Net提出了包含四个步骤的方法，片patch抽取、点特征嵌入、特征拓展、坐标重建等。

首先在三维模型先验上按照不同的尺度和分布抽取给定点云的patch，随后通过层级特征学习和特征增强将原始点云坐标映射到特征空间去。利用拓展单元将得到的特征进行拓展，并基于它们和一系列全连接层重建出稠密点云的坐标。

1.1 点云片抽取

在训练过程中，选择了覆盖多样性的几何外形，包含了平滑曲面和剧烈变化的边角。实现上采样需要学习局域的几何模型，所以研究人员提出了基于点云片的训练方法。具体来讲，先从目标表面随机选取M个点，针对每个点，以这个点为中心d的距离内所有点都被囊括进来作为对应的点云片。随后再利用泊松disk采样的方式从表面得到N个点作为基准GT分布。由于上采样中对于局域和全局特征都有需求，所以选择了变化的d来得到不同尺度和密度的点云片。

1.2 点云特征嵌入学习

为了学习局域和全局几何特征，本文提出了两种学习策略包括层级特征学习和多级特征聚合。

层级特征学习利用不断扩大的尺度来抽取局域到全局特征。利用类似PointNet++的层级方法，在每一层使用相对较小的一组半径，来使得新生成的点更多地利用局域信息。
多级特征聚合用于将不同级别的特征整合得到更好的上采样结果。直接将不同层级的结果进行聚合以学习每层的特征。需要注意的是更底层更小尺度对应着更为细节的特征，反之亦然。
由于随着特征抽取点云片逐渐下采样，对于每一个层级首先利用PointNet++的插值方法从下采样特征中对原始点云的特征进行重建，随后利用1x1卷积将不同层级的特征压缩到相同维度C上，最后将这些特征斜街起来获得嵌入特征f。下图中红色为直接从各级点云得到的原始特征，绿色为下采样后逐渐重建的特征。

1.3 特征扩展

在获取特征嵌入后需要在特征空间内扩展特征的维度以便增加点云的数量。特征扩展将要扩大对应点云数量和特征维度，将N个点变为r*N:
$$N\ast C-->r\ast N\ast C_2$$
这与图像中的特征上采样类似，但针对非规则的无序点云研究人员提出了亚像素卷积的特征拓展操作：
$$f^{\prime }=RS([C_2^1(C_1^1(f)),...,C_r^2(C_r^1(f))])$$
其中RS代表了reshape操作，将NxrC2转换为rNxC2,括号中测代表了r个特征拓展操作，每个c为一个1x1的卷积。由于在前一步的多尺度特征聚合中已经充分将局域特征考虑进来，所以在进行特征拓展时无需考虑空间分辨率问题。但值得注意的是内层的C1卷积得到的特征具有很强的相关性（下图中第二列特征），这会使得重建的点倾向于靠近。为了避免过于拥挤用另一个卷积为r个不同的集合训练了r个卷积来学习尽可能多的信息减小内部相关性。通过使用r个分离的卷积来得到不同尺度的信息，并最终reshape得到新的特征。

1.4 坐标重建

基于上一步得到的rNxC的特征后，就可以利用全连接层回归出最后的点云位置，最终输出rxNx3的加密r倍后的点云结果。从这里可以看出上采样率是由特征拓展中拓展的通道数决定的，如果拓展的r倍数越大，最终得到的点云密度也可以越大。

2.网络训练

为了对模型进行训练，研究人员在每个epoch时从基准的GT点集中以r的比例下采样，这等同于给定稀疏输入时多个可能的输出的分布。这主要是由于点云上采样是一个病态问题，有多种可能的输出，所以用分布来来进行处理。这种方法可以扩大训练数据集，减少对于数据的依赖。

在训练过程中抱哈了两个损失，一个鼓励重建靠近表面的点云另一个则鼓励生成的点云更为均匀。其中重建损失基于Earth Mover距离EMD,这个描述分布的距离将不断最小化重建点云和GT点云间的差异。比起ChamferDistance，EMD可以更好地的捕捉形状信息使得点靠近表面。
$$L_{rec}=d_{EMD}(S_p,S_{gt})=\underset{S_p->S_{gt}}{\min }\sum _{x\in S_p}||x_i-\varphi (x_i)|{|}_2$$
重建的点由于相关性倾向于堆积在一起所以引入了斥力损失来促使分布均匀，其中$\eta$是斥力项目，w是权重函数，靠的越近损失越大，k为最邻近点$\bar{N}$为生成的稠密点数：
$$L_{rep}=\sum _{i=0}^{\bar{N}}\sum _{i^{\prime }\in K(i)}\eta (||x_{i^{\prime }}-x_i||)w(||x_{i^{\prime }}-x_i||)$$

数据集使用了从Visionair repository中选取的60个模型，40个用于训练并从每个模型中剪取了100个点云片。选择随机点的数量为M=4000.测试时测利用蒙特卡洛方法选取5000个点。为了验证模型泛化性，同时在SHREC15和ModelNet40以及ShapeNet上进行了实验。

3.评价指标

在测试模型的结果时研究人员利用了距离偏差来描述生成点云与基准偏移的距离，以及归一化均匀性描述生成点云的均匀性。
其中距离指标是预测点与最邻近mesh点的距离并计算误差的均值和标准差；而针对均匀性则定义了NUC指标：
$$\begin{gathered} avg=\frac{1}{K\ast D}\sum _{k=1}^K\sum _{i=1}^D\frac{n_i^k}{N^k\ast p} \\ avg=\sqrt{\frac{1}{K\ast D}\sum _{k=1}^K\sum _{i=1}^D(\frac{n_i^k}{N^k\ast p}-avg{)}^2} \end{gathered}$$
其中在目标表面放置了D=9000个大小的disk分别计算标准差并在形状个数K上和每个形状的测试数量D上进行了归一化。可以有效表示生成点云在表面分布的均一性。

均匀性的体现，可以看到最后一个具有较好均匀性的点云在真个表面分布较为均匀不会有集中聚集的地方。

与Edge Aware Resampling，EAR¹方法相比,发现EAR方法受到半径影响较大。与pointnet++相比效果更好，本方法参数更少，偏差小而且得到的加密点云更为均匀。

两个重建结果，对于光滑曲面和复杂表面的重建效果都很好：

这一模型可以同时处理不同数量的点云输入以及带有噪声的点云数据：

在真实扫描数据集上表现也较好：

ref：
https://yulequan.github.io/pu-net/index.html
paper:https://arxiv.org/pdf/1801.06761.pdf
poster:https://yulequan.github.io/files/cvpr18_posterv2.pdf
supplementery:https://yulequan.github.io/files/CVPR18_PUNet_supp.pdf
group：Lequan Yu，Chi-Wing FU, Philip,Daniel Cohen-Or,Pheng Ann Heng，港中文虚拟现实-视觉-图像研究中心
Data-driven Upsampling of Point Clouds
Patch-based Progressive 3D Point Set Upsampling
L2G Auto-encoder Understanding Point Clouds by Local-to-Global Reconstruction with Hierarchical Self-Attention
High Fidelity Semantic Shape Completion for Point Clouds using Latent Optimization

---

pic from pexels.com

---

1. EAR方法的课题组，Prof. Daniel Cohen-Or ↩︎