5.3-5.10周报

论文标题：AnchorFormer: Point Cloud Completion from Discriminative Nodes

机构单位：中科大、罗切斯特大学等

Github地址：GitHub - chenzhik/AnchorFormer

论文的核心思想是提出了一种新颖的点云补全架构——AnchorFormer，通过学习一组能够表征不同局部几何模式的锚点，来增强点云补全任务中对区域信息的捕捉和利用，从而实现更精细和准确的3D形状重建。

引言

        点云补全旨在从物体的部分观测中恢复物体的完成3D形状。一种常见的策略是将观察到的点编码为全局特征向量，全局特征向量通常通过编码阶段的池化操作来封装整体形状信息。池化操作不可避免地会导致细粒度细节的丢失，并限制全局功能的能力。因此，很难从这种退化的全局特征向量中进行解码，以重建3D对象的不同模型，尤其是对于完成一些几何细节。例如下图中飞机机翼及尾部等一些细小的几何特征。

        在本文中，提出了一种新的形状补全架构，即AnchorFormer，AnchorFormer 通过基于输入部分观察的点特征学习一组锚点来模拟区域区分。这样的锚点通过估计特定的偏移量来分散到观察到的位置和未观察到的位置，并与输入观测的下采样点形成稀疏点。

        为了重建细粒度的对象模式，AnchorFormer进一步采用了一种调制方案，将稀疏点各个位置的规范2D网格变形为详细的3D结构。AnchorFormer的整体架构针对两个目标进行了优化:预测点与地面真实点之间的倒角距离，以及每个图案中生成的点的紧凑型约束。

贡献

        该论文有以下贡献：提出了AnchorFormer，可用于在点云补全中重建形状。补全的同时还解决了如何表征对象中的几何图案以及如何将图案转换为细粒度 3D 结构的点云视图的问题。且在四个数据集上的大量实验从定量和定性的角度证明了AnchorFormer的有效性。

方法介绍

        

        给定对象的输入部分图案 P，将点下采样到 S0，并通过transform编码器提取点特征来预测一组锚点 A。在特征编码过程中学习锚点和下采样点的特征F。通过学习F上的特定偏移量，锚点进一步分散到不同的 3D 位置。将散射后的锚点A‘和下采样点S0作为稀疏点S，设计了一种变形方案来重建每个稀疏点位置的详细3D结构，用于密集点D预测。

        整体的方法可以分为以下三个阶段：

        锚点生成：首先采用基于EdgeConv的头部将输入观测下采样到N个点，提取维度为C的点特征。然后将采集到的点特征转换为特征序列再进行下一步锚点的预测。锚点预测则利用了一个双重注意力机制，先利用输入点特征与相应池化特征向量之间的特征差异进行锚点特征预测（找到锚点），再利用预测的锚点特征和输入点特征之间的交叉注意进行锚点坐标学习。先预测锚点特征，再移动锚点位置。

        将增强点特征作为x,并利用特征扩展模块预测L个锚点的特征。通过对增强点特征xi与相应池化特征向量gi之间的特征差进行线性投影，得到锚点特征X'，然后将增强点特征X与锚点特征X'和输入点S进行交叉注意力融合，最后将得到的聚合与池化特征向量gi融合，预测L个锚点的坐标ai。

        锚点分散：

        在特征编码过程中，获得的锚点坐标通常聚集在局部位置，因此很难利用这些锚点来表示整体对象形状。为了解决这个问题，通过学习特定的偏移量来将锚点分散到不同的位置，以捕获不同的对象形状。

        首先对从transform中获得的点特征F进行最大池化，获得的最大池化向量进行线性投影来预测锚偏移量▲A。然后通过融合学习到的偏移量将每个锚点输出到分散的3d位置。将输入观测的分散锚点A‘和下采样点S0结合作为稀疏锚点S，用于下一步细粒度的3D结构重建。

        2d点变形：

        给定输入稀疏点 S 和对应的输入点特征 F，首先使用由六个解码器块组成的解码器进行特征融合。我们将解码器的输出特征作为解码点特征E。然后将其送入三个级联点变形块进行局部模型重建。

        级联点变形块结构具体来说，计算全局特征向量α和局部点特征β对于所有 N + M 个稀疏点。为了重建第 j 个稀疏点周围的图案，我们利用α和β作为仿射参数来调节2D网格的变形。给定输入网格特征 hin，第 j 个稀疏点的输出网格特征 hout 由下式计算：其中 μ 和 σ 表示hin 的均值和标准差。

       将最后一个Morphing Block的输出特征维度 Cm​ 设置为3，这样可以获得3D偏移量 Δ𝑑𝑗。对于第 𝑗个稀疏点，它的坐标 𝑠𝑗被重复 K 次以匹配网格的特征维度，然后与计算得到的3D偏移量 Δ𝑑𝑗相加，生成围绕该稀疏点的 K 个密集点 𝑑𝑗。最终，所有稀疏点周围的密集点被收集起来，获得最后输出密集点 𝐷，其维度为 𝑅[(𝑁+𝑀)×𝐾]×3，其中 𝑁是输入观测的下采样点的数量，𝑀是预测的锚点数量，𝐾是每个稀疏点周围的密集点数目。

       部分结果展示

        从八类PCN数据集的L1倒角距离（CDL1）比较中可以看出AnchorFormer在每类倒角距离和平均距离方面始终优于所有baseline。可视化了四种不同形状的点云完成结果。可以明显看出来AnchorFormer预测了具有更光滑表面（例如飞机机身）和更细粒度局部结构（例如汽车车轮）的高质量物体形状。此外，AnchorFormer生成的点云中的噪声较小。

        在KITTI上使用AnchorFormer进行实验，以测试真实3D汽车形状上的点云完成情况。表中显示了不同方法的保真度距离（FD）和最小匹配距离（MMD）。就这两个指标而言，AnchorFormer始终比其他模型表现得更好。其中一方面，AnchorFormer获得的最低FD反映了通过形状重建来很好地保留输入结构。另一方面，最低的MMD表明AnchorFormer预测的形状比其他方法更像汽车。同时图展示了两个视图中两个示例的点云完成情况。AnchorFormer在细粒度图案中以更好的质量重新创建形状。

总结与展望

       文章提出了一种新颖的点云补全架构，通过利用模式感知的判别节点（锚点）来动态捕获对象的区域信息，以改进3D形状的生成。AnchorFormer通过预测一组锚点，并通过学习特定的偏移量将这些锚点分散到不同的3D位置，与输入观测的下采样点形成稀疏点，进而重建对象的细粒度模式。在PCN、ShapeNet55/34和KITTI数据集上的广泛实验表明，AnchorFormer在定量和定性评估中均优于现有的点云补全方法。但是文章使用了大量的注意力机制，会造成巨大的内存消耗，未来可以考虑如何优化内存消耗。