论文阅读：SuperGaussians: Enhancing Gaussian Splatting Using Primitives with Spatially Varying Colors-CSDN博客

本文链接：https://blog.csdn.net/m0_48319749/article/details/144217669

摘要

Gaussian Splattings 在基于高斯显式表示的多视图重建中展示出了令人印象深刻的结果。然而，当前的高斯基元只有单视图依赖的颜色和不透明度来表示场景的外观和几何形状，导致了一种非紧凑的表示。

在本文中，我们引入了一种名为“超高斯（SuperGaussians）”的新方法，它在单个高斯基元中利用空间变化的颜色和不透明度来提高其表示能力。我们实现了双线性插值、移动核，甚至是小型神经网络作为空间变化函数。定量和定性的实验结果表明，这三种函数都优于基线，其中最佳的移动核在多个数据集上实现了卓越的新视角合成性能，突显了空间变化函数的强大潜力。我们的代码可在以下网址找到：https://github.com/XrviTd/SuperGaussians。

1. Introduction

输入图像通过一组高斯基元进行拟合。每个原语只有一种与视图相关的颜色和不透明度，以表示场景的外观和几何形状。然而，当场景具有复杂的几何和外观时，这些方法必须创建大量的这些简单的高斯函数来近似场景中空间变化的不透明度和纹理，这导致了高斯函数的巨大浪费。如图1右下角所示为一个例子，我们的目标是用四种不同的颜色拟合一个圆形平面，而原始的2DGS[11]或3DGS[16]都无法通过使用一个高斯基元来重建这个简单形状的颜色和不透明度。

为了解决这个问题，我们引入了一种名为supergauss的新方法，该方法在单个高斯原语中利用空间变化的颜色和不透明度来提高其表示能力。这个空间变化的属性意味着，如果不同的射线在不同的位置与高斯射线相交，那么相交于同一高斯原语的不同射线可能具有不同的颜色。在原版高斯飞溅中，高斯原语总是对所有光线具有相同的不透明度或视图依赖颜色，而我们的空间变化的高斯原语对不同的交叉点显示不同的颜色。这使得单个高斯函数更能拟合场景中复杂的纹理和几何，提高了表示能力，使我们的表示更加紧凑和有效，如图1所示。

图1所示。超高斯函数赋予每个高斯函数空间变化的能力。与2DGS[11]和3DGS[16]相比，supergauss更具表现力，可以更好地重建细节（如白色区域所示）。此外，超级高斯可以仅使用一个高斯来表达更多的颜色变化，而不是仅限于一种颜色（右下）。

为了定义高斯原语中的空间变化函数，我们尝试了三种不同的设计。如图2所示，这三个空间变化函数都是基于高斯曲面[11]实现的。第一个函数使用双线性插值将每个高斯图划分为四个象限，为每个象限分配一个可学习的颜色和不透明度值，这增强了颜色表达，但可能导致梯度消失问题（见图3 (a)）。在第二种设计中，我们在原始高斯的基础上定义了四个可移动的核，提供了更高的灵活性和更强的表现力，如图3 (b)所示。第三，我们在每个3D高斯上应用了一个微小的三层神经网络，它可以返回冲浪图上任何交叉点的颜色和不透明度值。这种基于神经网络的表示具有较强的表示能力，但其参数明显多于其他两种函数。