Patch-based Progressive 3D Point Set Upsampling

方法

在本文中，给定无序的3D点集，对点集采用一个端到端的渐进式学习的方法，即通过训练一个基于补丁的多步骤网络，在不同的细节级别学习信息。
如图2和3所示，本文所提出的模型由一系列上采样网络单元组成，每个单元具有相同的结构，但是是在不同的细节级别上使用它，并且所有级别的信息都通过在单元内部和单元之间的内部和内部连接共享。通过对所有网络单元进行端到端的逐步培训，在以前的工作上取得了重大改进。

1、Multi-step upsampling network

Multi-step patch-based receptive field

本文的关键思想是使用基于多步补丁的网络，补丁的大小应适应当前步骤中接收域的范围。注意，在神经点处理中，感受野的范围通常由特征提取层中使用的kNN大小定义。因此，如果邻域大小是固定的，则随着点集变得越来越密集，接收场会变得更窄。该观察结果表明，当接收场相对较窄时，网络无需处理所有点。如图2所示，我们的网络递归地对一个点集进行升采样，同时减小其空间跨度。这种基于多步补丁的监督技术可实现较高的上采样率。

Multi-step end-to-end training.

网络采取L步以2^L次方的比例将一组点上采样（？），对于L级的详细信息，我们训练一组子网单元{U1，U2，…，UL}。通过逐步激活单元的训练来训练这样一组序列的上采样单元，它已经被用于许多多尺度神经图像处理工作中。
更具体地说，我们的整个训练过程有2L-1个阶段，除了第一个上采样单元其余每个上采样单元都有两个阶段。我们用Lˆ表示当前目标的详细程度。在ULˆ的第一个阶段我们固定U1单元到ULˆ-1单元的网络参数并且开始训练ULˆ。在第二个阶段，我们释放固定单元并同时训练所有单元。这种渐进式训练方法很有用，因为不成熟的单元会在先前的单元上施加破坏性的梯度湍流。
我们分别用T，P和Q来表示ground truth模型，预测补丁和参考补丁，并使用Lˆ和l来表示目标的详细级别和中间级别，如图2和图6所示。在实践中，我们通过将输入的补丁限制到一个固定点的数量（N）来递归地缩小空间范围。

2、Upsampling network unit
我们现在观察上采样网络单元Ul，它以Pl-1中的补丁作为输入，提取深层特征，扩展特征数量，将特征通道压缩为d维坐标Pl。

Feature extraction via intra-level dense connections

我们努力从输入点集（N×d）中提取结构感知特征（N×C）。在神经图像处理中，skip-connection是一种强大的工具，可以平衡从网络的不同层提取到的特征。
我们提出了一种架构，可促进点集上的有效密集连接。我们定义了特征空间中的局部邻域。从局部邻域中提取点特征，该局部邻域是基于特征相似度通过kNN搜索动态计算的。结果，我们的网络无需点集二次采样即可获取远程和非本地信息。

如图5所示，我们的特征提取单元由一系列密集块组成。在每个密集块中，我们将输入转换为固定数量（C‘）的特征，使用基于特征的KNN对特征进行分组，通过一系列紧密连接的MLP细化每个分组的特征，最后通过最大池化。我们在密集块内部和之间引入dense connection。在密集块中，每个MLP的输出（即特征的固定数量（G））将传递到所有后续MLP；在块之间，每个块产生的点要素将作为输入馈送给所有后续块。所有这些skip-connection都可以实现显式的信息重用，如第4节中所示，这在提高重建精度的同时，显着减小了模型的大小。总体而言，我们的具有四个2x上采样单元的16x上采样网络的网络参数要比一个4x上采样的PU-Net要少得多。

Feature expansion via code assignment

在特征扩展单元，目的是将提取的特征（N×C）转换为一组上采样的坐标（2N×d）。
复制每个点的特征，然后为每个重复的特征分配一个值分别为-1和1的一维代码，以将他们转换到不同的位置，如图4所示。接下来，我们使用一组MLP压缩2N×（C + 1 ）的特征为2N×d残差，我们将其添加到输入坐标以生成输出点。（相加？）
实验表明，所提出的特征扩展方法可在不使用附加损失的情况下获得分布良好的点集。而且，网络参数的数量与上采样率无关，因为所有扩展功能都共享连续的MLP。

Inter-level skip connection via bilateral feature interpolation

我们引入了层间跳过连接以增强上采样单元之间的通信，这充当使用不同接收域范围提取的特征的桥梁，如图3所示。
为了将先前级别的特征传递到当前级别，关键是一种特征插值技术，该技术可根据先前的上采样单元构造相应的特征，因为上采样和补丁提取操作会更改点对应关系。 具体来说，我们使用双边插值。 对于当前的级别 l，我们分别用pi和fi表示第i个点的坐标及其特征提取单元生成的特征，而Ni’表示pi从级别l开始的空间kNN。 fi~的插值特征可以写成：

实现层间连接的一种方法是对所有先前的层进行〜fi插值和级联，即使用与特征提取单元内的密集链接相同的密集链接。 但是，这样做会导致网络非常广泛，在l级的lC的特征（通常为C = 216），从而导致可伸缩性问题和优化困难。相反，我们应用剩余的跳过连接，即fi =fi~ + fi。 通过按级别应用此类残差链接，可以将来自较粗尺度的上下文信息传播到整个网络，并将其合并以恢复更精细的结构。 我们通过实验了解到，密集链接和残留链接都对上采样结果有正面贡献，但后者在存储效率，训练稳定性和重构精度方面具有更好的性能。