无损渲染爆减一半高斯点！SteepGS最速密度控制（CVPR ‘25）

点击下方卡片，关注“3D视觉之心”公众号

第一时间获取3D视觉干货

>>点击进入→具身智能之心技术交流群

更多干货，欢迎加入国内首个具身智能全栈学习社区：具身智能之心知识星球(戳我)，这里包含所有你想要的。

最速密度控制

3D高斯泼溅作为神经辐射场(NeRF)的继承者，在新视角合成领域展现出卓越性能，能够实时渲染高分辨率的大规模场景。与传统NeRF的体素化表示不同，3DGS将三维场景的辐射场建模为高斯基元的混合体，每个基元通过位置、尺寸、不透明度和外观等参数定义。通过集成GPU光栅化管线，该方法实现了超高效的渲染与反向传播，显著加速了场景重建与视图推理过程。

3DGS的核心在于交替优化框架：首先以预计算的稀疏点云作为初始化，随后通过标准梯度法优化基元参数以最小化光度误差，同时配合专门设计的自适应密度控制算法(ADC)动态调整基元数量。在致密化阶段，ADC会识别经过充分优化的基元点集，根据其绝对尺寸进行克隆或分裂操作：对尺寸较小的基元沿梯度方向生成两个子代，而对大尺寸基元则在其分布范围内随机生成缩包子代。这种机制旨在扩展场景覆盖范围并捕捉精细几何细节。

然而，现有重构流程存在显著缺陷：生成的冗余点云会导致内存占用激增、渲染速度下降及存储开销过大，这对移动端设备部署形成严重制约。尽管已有研究尝试通过后处理剪枝或量化压缩缓解此问题，但针对致密化过程的优化方法仍属少数。现有改进方案多依赖启发式规则，例如修改分裂准则或基于不透明度分布采样生成新基元，但由于缺乏对致密化机理的深入理解，其性能提升十分有限。

项目主页：https://vita-group.github.io/SteepGS/

本研究通过非凸优化视角对3DGS密度控制机制进行理论解析。我们通过引入"分裂矩阵"这一新型数学工具，揭示基元分裂与损失函数海森矩阵的深层关联，证明分裂操作在逃离鞍点过程中的关键作用。基于此，我们提出四项核心结论：

1. 每个基元分裂为两个子代即可实现损失最优下降；

2. 子代幅值需减半以保持局部密度；

3. 沿分裂矩阵最小特征向量方向位移可获得最速下降；

4. 提供子代不透明度的解析归一化方案。

这些理论发现被整合为"最速密度控制"原则，并由此构建出SteepGS系统[1]。

实验表明，SteepGS在保持渲染质量的前提下，将基元数量缩减约50%，显著提升内存效率与渲染速度。我们的工作不仅为3DGS优化提供了理论支撑，更推动了该技术向移动端设备的实用化进程迈出关键一步。

具体方法

尽管传统的自适应密度控制(ADC)在3D高斯泼溅(3DGS)中取得了经验性成功，但其启发式且略显手工化的分割标准往往会产生冗余的点。本节我们将建立一个理论框架来研究密度控制机制。通过这种方式，我们明确回答了三个关键问题：

1. 高斯基元需要分割的必要条件是什么？

2. 新的高斯子代应该放置在何处？

3. 如何调整新高斯点的不透明度？。

结合这些结果，我们提出了一种具有硬件高效实现的新型密度控制策略。

问题设定

假设场景由n个高斯基元表示，其参数集合记为 ，总损失为 （如公式4所定义）。我们的目标是将每个高斯分割为 个子代。记第i个高斯的子代参数为 ，其中 是第j个子代。此外，为每个高斯分配一组权重系数 来重新调整其不透明度。由于场景通过求和近似，分割过程可以等价地视为用子代的组合局部替换现有高斯： 。每个旧高斯的2D投影变为 （对所有相机位姿 ）。注意 表示不发生分割，原始高斯保持不变。

我们将所有新高斯的参数收集为 ，权重系数为 作为简写。密度控制算法在每一步确定 、 和 的值。指定 后，这些系数将被吸收到子代的不透明度值中。

原始ADC可以通过该框架的视角进行解释：(i) 若 则 ，否则 ；(ii) 若 ，则 ，否则 且 （对所有 ）；(iii) 两种情况下均设 （对所有 ）。

何时密度控制有益？

本节我们通过检查分割后的光度损失来理论阐明密度控制算法的作用。新增高斯基元后，损失可评估为：

其中 表示用新参数 和 通过公式2渲染的像素颜色。原始ADC[13]无法保证分割后损失会降低。正如我们稍后所示，随机分割点甚至可能增加损失。Bulò等人[3]和Kheradmand等人[14]调整高斯子代的不透明度值以在分割后保持局部总密度。在此设置下，损失 近似等同于 。然而，我们接下来将证明这种保持原则并非最有效方法。通过选择合适的高斯基元，甚至可以进一步降低损失。

从现在起，我们考虑两个额外的实际条件：首先，为确保分割后总不透明度守恒，我们施加约束 （对所有 ）。其次，我们假设子代参数接近原始参数，即 位于 的邻域内： （对某些 ）。定义 为第i个高斯在密度控制后的平均位移， 表示每个子代相对于 的额外偏移。图2展示了我们的符号说明。

基于这些设置，我们提出第一个主要结果，该结果将分割后的损失分解：

定理1 假设 关于 具有有界三阶导数，则

其中 连接所有平均偏移， 定义为：

所有证明见补充材料附录C。定理1将平均位移和每个子代个体偏移的影响解耦并分组。蓝色标注的前三项称为均值偏移项，共同表示整体均值偏移的影响。由于同时偏移所有子代等价于对原始高斯应用相同偏移，橙色标注的涉及个体偏移的项完全捕捉了分割过程的内在效应。我们将该求和中的各项分离，称为分割特征函数，其完整描述了单个高斯点分割的效果：

本质上，分割特征函数关于矩阵 呈现二次型。我们称 为分割矩阵，其完全决定了分割特征函数的行为。定理1得出以下两个见解：

密度控制帮助逃离鞍点 通过使用定理1的右侧作为最小化损失的代理，可以观察到优化均值偏移项不需要密度控制，标准梯度下降即可实现。然而值得注意的是，公式4的损失函数是高度非凸目标，其损失景观中存在大量多余鞍点（见图1右侧示意）。梯度容易陷入这些鞍点，此时梯度下降无法带来进一步改进。但通过在鞍点处将高斯点分割为多个粒子，会产生一个新项——由分割特征函数 捕获——这些项可能变为负值从而进一步降低损失。因此，密度控制成为逃离鞍点的有效机制。

何时分割能降低损失？ 实际上，可以通过分割特征函数 进行更精细分析。由于分割对损失的总体贡献表示为关于分割矩阵的二次函数之和，仅当相关分割矩阵非正定时 才可能为负从而降低损失。这意味着执行分割的必要条件是 ，其中 表示矩阵的最小特征值。

最优密度控制

基于定理1，我们可以推导出更强的结果。我们希望找到一种密度控制策略，在引入最少数量点的同时实现损失的最陡下降。每一步最大化损失下降能强制保持低重建误差并加速收敛。为此，我们制定以下约束优化目标：

该目标寻求最优配置：子代数量 、重加权系数 以及新基元参数更新 （对所有 ）以最大化损失下降。

虽然直接求解公式7很困难，但定理1提供了理想的二阶近似作为替代。由于分割高斯的效果完全由分割特征函数表征，因此最小化 关于 即可。相应的解是简单且解析的。我们的主要结果如下：

定理2 公式7的最优解包含两部分：

1. 若分割矩阵 半正定（ ），则分割无法降低损失。此时设 且不进行分割。

2. 否则（ ），以下分割策略在 约束下最小化 ：

其中 表示对应最小特征值 的特征向量。

我们将定理2概述的分割策略称为最陡密度控制(SDC)，其具有四个实际意义： i) 密度控制的必要条件是分割矩阵的非正定性； ii) 将每个高斯分割为两个子代足够，生成更多子代无额外益处； iii) 新基元的幅值必须减半以保持局部不透明度； iv) 两个子代的参数应沿分割矩阵最小特征值对应特征向量的正/负方向更新。

此外，(i)的结果（如4.2节所示）可作为过滤器减少待密度控制的点数；(ii)的结果证明了现有ADC算法中"两个子代"选择的合理性，并确保适度增长率；(iii)的结果与Bulò等人和Kheradmand等人的方法形成对比，后者基于渲染特定方案调整新高斯的不透明度；(iv)给出了两个更新方向，当点优化到驻点时将其转移到非鞍点区域（如图1右侧所示）。图3展示了该分割方案如何局部优化几何结构。

最陡高斯泼溅

本节我们实例化一个以SDC作为密度控制方案的3DGS优化算法，称为SteepGS。SteepGS的核心是计算分割矩阵并利用它们决定何时及如何分割点。附录A.1的算法1提供了SteepGS的参考实现。我们证明这些可以高效实现并集成到CUDA内核中。

回顾定理1中分割矩阵的形式，注意到 表示标量损失 反向传播到第i个高斯基元输出的梯度， 是第i个高斯关于其自身参数的Hessian矩阵。值得注意的是，分割矩阵是逐点定义的，仅依赖于每个高斯单独的Hessian。因此存储分割矩阵的总内存占用为 。当我们仅考虑位置参数 时， 。

为计算分割矩阵，我们注意到梯度 在计算 的反向传播过程中已获得。剩余部分——Hessian矩阵 可解析近似为（推导见附录C.4）：

其中 ， 表示由 给出的投影矩阵， 。 可并行计算，且中间结果如 可从先前前向计算中复用。计算 矩阵的最小特征值和特征向量的复杂度为 。由于我们仅使用位置参数，3×3矩阵的最小特征值和特征向量可使用求根公式[29]计算。尽管分割矩阵利用了二阶信息，但它与总损失 的完整Hessian不同，后者排除了完整Hessian 中的交叉项[36]。令人惊讶的是，问题的结构允许仅通过分割矩阵提供的部分Hessian信息即可逐点识别鞍点。

实验效果

总结一下

本研究针对实时高分辨率新视角合成的领先技术——3D高斯泼溅(3DGS)存在的效率问题提出了解决方案。虽然3DGS效果显著，但其致密化过程常产生冗余点云，导致高内存占用、低效渲染和存储压力，阻碍了在资源受限设备上的部署。为此，我们建立了理论框架来阐明并优化3DGS的密度控制机制。分析揭示了分裂操作对逃离鞍点的重要性，确立了致密化的最优条件，包括子代高斯的最小数量及其参数更新方式。基于这些理论成果，我们提出的SteepGS集成了最速密度控制策略，在保持紧凑点云的同时减少50%的高斯点，显著提升了实际应用中的效率和可扩展性。

参考

[1] Steepest Descent Density Control for Compact 3D Gaussian Splatting

【3D视觉之心】技术交流群

3D视觉之心是面向3D视觉感知方向相关的交流社区，由业内顶尖的3D视觉团队创办！聚焦三维重建、Nerf、点云处理、视觉SLAM、激光SLAM、多传感器标定、多传感器融合、深度估计、摄影几何、求职交流等方向。扫码添加小助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）

扫码添加小助理进群

【具身智能之心】知识星球

具身智能之心知识星球是国内首个具身智能开发者社区，也是最专业最大的交流平台，近1500人。主要关注具身智能相关的数据集、开源项目、具身仿真平台、VLA、VLN、Diffusion Policy、强化学习、具身智能感知定位、机器臂抓取、姿态估计、策略学习、轮式+机械臂、双足机器人、四足机器人、大模型部署、端到端、规划控制等方向。星球内部为大家汇总了近40+开源项目、近60+具身智能相关数据集、行业主流具身仿真平台、各类学习路线等，涉及当前具身所有主流方向。

扫码加入星球，享受以下专有服务：

1. 第一时间掌握具身智能相关的学术进展、工业落地应用；
2. 和行业大佬一起交流工作与求职相关的问题；
3. 优良的学习交流环境，能结识更多同行业的伙伴；
4. 具身智能相关工作岗位推荐，第一时间对接企业；
5. 行业机会挖掘，投资与项目对接；