论文 :https://yihangchen-ee.github.io/project_hac/
https://yihangchen-ee.github.io/project_hac/
图1：顶部：一个示例展示了我们的方法如何使原始3D高斯分割（3DGS）模型的大小缩小72倍（或相比于现有的最先进的Scaffold-GS [27] 缩小9.49倍），同时保持相似或更好的保真度。底部：大多数现有的3DGS压缩方法仅专注于通过剪枝或向量量化来减少参数“值”，以缩小模型的大小，却忽略了高斯分布之间的结构关系。Scaffold-GS [27]引入锚点来聚类并通过神经网络预测关联的高斯分布，同时独立处理每个锚点。我们的核心思路是进一步利用锚点的内在一致性，通过结构化的哈希网格来实现更紧凑的3DGS表示。
1. 摘要
3D高斯点云渲染（3D Gaussian Splatting，3DGS）作为一种有前景的新型视图合成框架，以其快速的渲染速度和高保真度受到了广泛关注。然而，3DGS的高斯点和它们相关的属性需要有效的压缩技术。然而，点云的稀疏性和无序性（即我们论文中的“锚点”）给压缩带来了挑战。
为了解决这个问题，我们利用无序锚点和有结构的哈希网格之间的关系，利用它们的互信息进行上下文建模，提出了一种哈希网格辅助上下文（HAC）框架，用于高度压缩的3DGS表示。
我们的方法引入了二进制哈希网格来建立连续的空间一致性，从而通过精心设计的上下文模型揭示锚点的内在空间关系。为了方便熵编码，我们利用高斯分布来准确估计每个量化属性的概率，并提出了一个自适应量化模块，用于对这些属性进行高精度量化，以提高恢复的保真度。
此外，我们还结合了一种自适应掩膜策略，以消除无效的高斯点和锚点。值得注意的是，我们的工作首次探索了基于上下文的3DGS表示压缩方法，取得了超过75倍的压缩比，相比传统的3DGS方法显著提高了压缩率和保真度，并且相比现有的最先进3DGS压缩方法Scaffold-GS，压缩比提升了11倍以上。我们的代码可在此获取。
2 方法
上图HAC框架。具体来说，HAC基于基准方法Scaffold-GS [27]（图2顶部），该方法引入了带有属性A（特征、缩放和偏移量）的锚点，用于聚类并神经预测3D高斯属性（不透明度、RGB、缩放和四元数）。在我们的HAC框架的核心，我们提出了联合学习结构化紧凑的哈希网格（每个参数二值化），该网格可以在任何锚点位置查询，以获得插值后的哈希特征 f_h（图2中间）。与直接替代锚点特征不同，f_h 被用作上下文，以预测锚点属性的值分布，这对于随后的熵编码（即算术编码AE）至关重要。
我们的上下文模型（图2底部）是一个简单的多层感知器（MLP），它以 f_h 作为输入，并输出 r，用于自适应量化模块（AQM）（将锚点属性值量化为有限集）和高斯参数（µ 和 σ），用于建模锚点属性的值分布，从中我们可以计算每个量化属性值的概率，供AE使用。请注意，为了便于解释，我们在图2中画出了两个MLP（MLPq和MLPc），但它们实际上共享相同的MLP层，只是输出的维度不同。此外，图2左上角采用了自适应偏移掩蔽模块，用于修剪冗余的高斯分布和锚点。
2.1 Scaffold-GS
Scaffold-GS [27] 遵循3DGS框架，并引入了一种更节省存储且能满足保真度要求的基于锚点的方法。它利用锚点来聚类高斯分布，并通过MLP从附加锚点的属性中推导出它们的属性，而不是直接存储这些属性。具体来说，每个锚点由位置
和锚点属性
组成，其中每个组件分别表示锚点特征、缩放和偏移量。在渲染过程中，f_a被输入到MLP中生成高斯分布的属性，这些高斯的定位通过将 x_a和 o相加来确定，L被用来正则化高斯分布的定位和形状。
虽然Scaffold-GS通过这种以锚点为中心的设计已展现出其有效性，但我们认为锚点之间的内在一致性仍然存在显著冗余，我们可以充分利用这些一致性，以实现更紧凑的3DGS表示。
2.2 锚点与哈希网格的桥接
2.3 HAC: 哈希网格辅助上下文框架
HAC的主要目标是通过哈希特征 f_h来最小化锚点属性 A 的熵（即最大化 p(A|f_h)，从而在使用熵编码（如AE [41]）对锚点属性进行编码时实现比特压缩。如图2所示，锚点位置 x_a首先输入哈希网格进行插值，获得的 f_h随后作为 A的上下文进行使用。
2.3.1 自适应量化模块
2.3.2 高斯分布建模
2.3.3 自适应偏移掩码
2.3.4 哈希网格压缩
2.4 训练和编码过程
在训练过程中，我们结合了渲染保真度损失和熵损失，以确保模型在提高渲染质量的同时，以可微分的方式控制总比特率消耗。我们的总体损失函数为：
3 试验
3.2 消融实验
在本小节中，我们进行消融实验，以展示每个技术组件的有效性。我们在最具挑战性的 大规模 BungeeNeRF 数据集[42] 和小规模的 Synthetic-NeRF 数据集[28] 上进行实验，以支持令人信服且稳健的结果。我们通过禁用以下其中任一技术组件来评估单个技术组件的有效性：1）来自哈希网格的互信息，2）自适应量化模块，3）自适应偏移掩蔽。结果如图6所示。
首先，我们将哈希网格设置为全零，以消除互信息。这导致条件概率从 p(A|f_h) 降低为 p(A)，这表明 
的概率只能通过图3左侧的统计量 μ 和 σ 来估计。因此，比特消耗大幅增加，因为概率无法准确估计。
关于后两个组件，它们从不同的角度提供贡献。禁用 AQM（我们移除 r但保留 Q_0 以确保必要的十进制量化步长）会导致保真度显著下降，尤其是在更复杂的场景或更高的比特率下，因为在量化后 
无法保留足够的信息进行渲染。相反，偏移掩码可以在更简单的场景或较低比特率段中实现显著的比特率节省，因为高斯分布中的位置冗余更为显著。
总体而言，所有三个组件都提供了值得的权衡，以改善率-失真（RD）性能.
3.4 比特分配可视化
尽管 HAC 衡量了参数的比特消耗，但我们更关注在空间中不同局部区域的比特分配。如图7所示，我们利用 Synthetic-NeRF 数据集[28]中的场景进行可视化，并通过体素化的彩色球体表示比特分配情况。从第二列可视化的子图中可以观察到，模型倾向于将更多的比特分配给具有复杂外观或尖锐边缘的区域。例如，“材料”中的镜面物体和“鼓”中的仪器支架，由于复杂的纹理，展现出较高的总比特消耗。从平均视角分析第四列可视化图，揭示了每个锚点的比特消耗趋势。对于高比特消耗的体素，创建更多锚点以精确建模会使每个锚点的比特数平均化，从而平滑或减少每个锚点的比特消耗。这与我们假设锚点在3D空间中具有固有一致性，附近的锚点展现出相似的属性值，从而使得哈希网格能够更准确地估计它们的值概率。
3.5 训练和执行时间
训练时间：HAC 中引入的额外模型导致了训练时间的增加，大约比 Scaffold-GS 多 0.9 倍。对于具有挑战性的 BungeeNeRF 数据集[42]，训练时间分别为 3DGS[19] 的 38.2 分钟，Scaffold-GS[27] 的 15.1 分钟，HAC 的 27.6 分钟。对于小规模的 Synthetic-NeRF 数据集[28]，训练时间分别为 3.4 分钟、4.4 分钟和 9.0 分钟。我们模型训练时间的增加是与 Scaffold-GS 相比的主要限制，但其速度仍然较快。
编码时间：在 λe = 4e−3 时，编码/解码过程分别在 Synthetic-NeRF 和 BungeeNeRF 数据集上分别花费约 0.87 秒和 26.7 秒。主要的时间消耗发生在 AE 的 Codec 执行过程中，且都在 CPU 上运行（超过 90%），因为我们仅使用了一个线程。
推理时间：推理过程受益于上下文建模的设计，使得一旦解码了 AAA，哈希网格可以被移除。因此，在渲染过程中不需要额外的操作，导致与 Scaffold-GS 相似的 FPS。对于 BungeeNeRF 数据集，3DGS、Scaffold-GS 和 HAC 的渲染 FPS 分别为 75、232 和 283，而在 Synthetic-NeRF 上则为 401、326 和 341。与 Scaffold-GS 相比，我们模型的 FPS 提升可能归因于无效高斯/锚点的修剪，从而促进了更快的渲染。
4 结论
我们首次探讨了无组织和稀疏的高斯（或锚点）与结构化良好的哈希网格之间的关系，利用它们的互信息实现紧凑的 3DGS 表示。我们的 Hash-grid Assisted Context（HAC）框架在压缩性能上达到了 SoTA，并在与当前工作的比较中展现了显著的领先优势。广泛的实验结果证明了 HAC 及其技术组件的有效性。总体而言，我们的工作成功地缓解了 3DGS 模型的主要挑战，即大规模存储问题，从而使其能够在大规模场景和多种设备中得到应用。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
