【三维重建】FeatureGS:特征值优化的几何精度和伪影减少3DGS的重构

文章：https://arxiv.org/pdf/2501.17655
标题：FeatureGS: Eigenvalue-Feature Optimization in 3D Gaussian Splatting for Geometrically Accurate and Artifact-Reduced Reconstruction

---

摘要

  三维高斯溅射（3DGS）是一种功能强大的利用三维高斯数据重建三维场景的方法。然而，高斯模型的中心和表面都不能精确地对齐，这使得它们在点云和网格重建中的直接使用复杂化。此外，3DGS通常会产生artifacts，从而增加高斯数和存储需求。

  为了解决这些问题，我们提出了FeatureGS，它将一个基于特征值导出的三维形状特征的附加几何损失项合并到3DGS的优化过程中。目的是提高局部三维邻域的几何精度，提高平面表面结构熵的性质。我们提出了基于高斯分布的“平面性planarity”，以及高斯邻域的“平面度planarity”、“全方差omnivariance”和“特征熵eigenentropy”的几何损失项的四种可选公式。我们对DTU基准数据集的15个场景进行了定量和定性的评估，重点关注以下关键方面：几何精度和伪影减少，由倒角距离测量，和内存效率，由高斯的总数评估。此外，渲染质量是由峰值信噪比监测的。FeatureGS在几何精度方面提高了30%，减少了90%的高斯数，并抑制了浮动伪影，同时保持了可比的光度渲染质量。高斯函数的“平面性”几何损失提供了最高的几何精度，而高斯邻域的“全方差”最多地减少了漂浮物的人为因素和高斯函数的数量。这使得FeatureGS成为一种几何精确、伪影减少和记忆有效的三维场景重建的强方法，从而能够直接使用高斯中心进行几何表示。

---

一、引言

  自神经辐射场（NeRFs）[18]的引入以来，几何三维场景重建的创建发展迅速。在nerf中，一个网络通过估计每个位置和方向的颜色和体积密度来隐式地描述场景。相比之下，三维高斯溅射（3DGS）为三维场景和点云重建提供了新的可能性，因为它通过三维高斯分布来表示场景。这些都是椭球状的结构，以缩放、旋转和颜色为特征。在优化过程中，将三维高斯分布投影到图像上。为了最小化渲染图像和训练图像之间的光度误差，对高斯分布进行了细化和适应。与NeRF不同，3DGS中的高斯分布明确地表示了据称存在几何信息的场景。然而，高斯分布的中心和表面并不能直接代表物体表面，这使得它们直接用于三维点云和网格重建显得不切实际。此外，3DGS经常会导致浮动工件，这进一步增加了已经很高的高斯函数，从而增加了存储需求。

在这项工作中，我们提出了FeatureGS，它包含了四种基于特征值导出的三维形状特征的附加几何损失项的不同公式到3DGS的优化过程中。三维形状特征被广泛应用于语义解释和点云分类[25,26]的任务。因此，由一个点及其局部邻域推导出的三维协方差矩阵（三维结构张量）是描述这种形状性质[25]的著名特征。三个特征值${\lambda }_1\ge {\lambda }_2\ge {\lambda }_3\ge 0$对应于一个正交的特征向量系统（${ϵ}_1，{ϵ}_2，{ϵ}_3$），表示三个椭球主轴的方向（旋转），对应于三维椭球沿主轴的范围（尺度）。根据特征值的行为，可以描述λ1、λ2和λ3的结构。FeatureGS旨在提高高斯分布的几何精度，通过降低结构熵的局部三维邻域增强平面曲面的性质。首先，与之前的扁平化方法[3,6,9,11]一样，FeatureGS的目标是通过增强高斯特征的“平面性”作为三维特征来实现三维高斯特征的扁平化，以获得更高的高斯中心几何精度。其次，点云的真实物理情况可以用single value[10]的可解释的几何特征来描述。为了增强邻域中三维高斯中心的结构表示，特别是对于与曼哈顿-词假设的人造对象(曼哈顿世界假设Manhattan World Assumption 假设人造环境中的主要结构（如墙壁、地板、天花板等）倾向于沿着三个正交的主方向（通常是笛卡尔坐标系的 xyz 轴）对齐)，我们利用了由每个高斯分布的k-最近邻（kNN）得到的邻域三维特征。通过在几何损失中加入“平面性”、“全方差”或“特征熵”的三维特征，加强了具有结构熵的平面为优势的局部三维结构的表征。

我们研究了FeatureGS的不同几何损失项的结合是否可以通过加强高斯和高斯邻域的特定三维形状特性来提高高斯中心的三维几何精度和抑制伪影。评估的重点是倒角云到云的距离，以实现几何三维精度和伪影减少，以及表示场景的记忆效率所需的高斯数总数。虽然我们的主要目标是实现精确的几何表示和有效的内存使用，但我们还报告了渲染质量，通过峰值信噪比（PSNR）来测量，以确保场景重建的一致性。对来自DTU基准数据集的15个场景进行了实验。

通过将三维形状特征属性集成到三维高斯飞溅的优化过程中，FeatureGS在几何精度、浮动伪影抑制和记忆效率之间取得了显著的平衡。FeatureGS提高了几何精度，使高斯中心可以作为一个更精确的几何表示。此外，FeatureGS减少了表示与3DGS相同渲染质量的场景所需的高斯数总数。所得到的三维场景重建与高精度高斯中心的几何表示是伪影减少和记忆效率。

二、相关工作：3D特征

  有几种类型的三维特征用于基于点云的应用程序，如分类、配准或校准。不能直接解释的复杂特征是描述符，如形状上下文3D（SC3D）[8]、定向直方图的签名（SHOT）[22]或快速点特征直方图（FPFH）[20]。相比之下，可解释特征，如局部二维和三维形状特征。为了描述三维点周围的低结构，通常考虑局部邻域中其他三维点的空间排列。因此，三维协方差矩阵，也被称为三维结构张量，是众所周知的，适合于表征三维数据的形状性质。

  它是从点本身和它的局部邻居显式地导出的。三个特征值${\lambda }_1\ge {\lambda }_2$