PIVOT-Net: Heterogeneous Point-Voxel-Tree-based Framework for Point Cloud Compression

PIVOT-Net：基于异构点-体素-树的点云压缩框架

点云格式的通用性使其在许多3D应用中得以广泛应用，因此在实践中，点云的压缩成为一个关键的阶段。作为离散的3D点进行采样，点云通过有限的比特深度逼近嵌入3D中的2D表面。然而，实际点云的点分布随着比特深度的增加而发生 drastical 变化，需要不同的方法来进行有效的消耗/分析。在这方面，提出了一种异构点云压缩（PCC）框架。我们将典型的点云表示方式——基于点的表示、基于体素的表示和基于树的表示——以及它们相关的主干统一在一个基于学习的框架下，以在不同比特深度水平上对输入的点云进行压缩。在认识到体素域处理的重要性后，我们通过提出的上下文感知上采样用于解码以及增强的体素变换器用于特征聚合来扩展该框架。大量实验证明了我们的提案在各种点云上的最先进性能。

图1. 不同比特深度水平下的几个3D点云。

图2. 利用不同点云表示方式的有损点云压缩框架的比较。

图3. 我们的PIVOT-Net架构。橙色块包含可学习的神经网络层，其中点分析/合成是基于点的神经网络，而体素和特征分析/合成是稀疏CNNs。

图4. 用于自适应体素合成的上下文感知上采样。可学习模块以黄色标识。

图5. 增强体素变换器（左）及其自注意力模块（右）。可学习模块以黄色标识。