用高斯Splatting做几何编辑 GaMeS: Mesh-Based Adapting and Modification of Gaussian Splatting

最近高斯splatting很火，但是3DGS本身没法做几何任务 这篇文章用mesh作为高斯点的载体，可以在3DGS的基础上实现几何编辑，今天读读论文做个笔记 如有错漏敬请斧正

摘要

先看下摘要(机翻）：

最近，引入了一系列基于神经网络的图像渲染方法。其中一种得到广泛研究的神经辐射场 (NeRF) 依靠神经网络来表示 3D 场景，从而可以从少量 2D 图像合成真实的视图。然而，大多数 NeRF 模型都受到较长训练和推理时间的限制。相比之下，高斯分布 (GS) 是一种新颖、最先进的技术，用于渲染 3D 场景中的点，通过高斯分布近似其对图像像素的贡献，从而保证快速训练和快速实时渲染。GS 的一个缺点是由于需要调节数十万个高斯分量，因此缺乏明确定义的调节方法。为了解决这个问题，我们引入了Gaussian Mesh S platting (GaMeS) 模型，该模型允许以与网格类似的方式修改高斯分量。我们通过网格面的顶点对每个高斯分量进行参数化。此外，我们的模型需要在训练期间对输入或估计网格进行网格初始化。我们还仅根据它们在网格上的位置来定义高斯图，从而允许在动画过程中自动调整位置、比例和旋转。结果，我们获得了可编辑 GS 的实时渲染。

摘要里边可以提取出来一些信息，这篇文章需要有一个先训练好的几何初始化，高斯点的坐标是mesh决定的，加入mesh以后渲染还是实时的。

介绍

Introduction部分，作者攻击3DGS"在改变高斯位置时可能会出现实际挑战，特别是在准确跟踪高斯分量（例如椭圆）形状的变化方面。此外，当对象进行大小调整时，缩放高斯分量被证明是具有挑战性的，这对于经典网格来说不是问题，因为当调整顶点位置时，它们的三角形面可以很容易地更新。"主要还是说3DGS不好编辑。作者还提到了SUGAR,SUGAR主要目的是从3DGS提取出精确的mesh，这篇文章的mesh是完全为高斯服务的，可以不连续。作者在主要贡献里也谈到输入也可以是伪mesh。

方法

作者直接把高斯点放在mesh上了，给定一个三角面片：

那么这个面片上的高斯点就可以用mesh的顶点坐标来表示，α是可训练的参数，三个分量加起来等于1。通过这种参数化，让高斯能一直在面片中间：

高斯和面片的协方差：

每个单独的面片上，如果有k个点（ρ是决定高斯大小的参数）：

这样，只要有三角面片就可以稳定得到相应的高斯，进行渲染。同时也方便编辑，编辑三角面片的同时高斯也跟着变。没有初始化的情况下，就先学习高斯，然后估计对应的面片，之后继续回到这条线上。

有初始化情况下的高斯分布，σ是不透明度，c是sh系数：

无网格初始化：

关于网格初始化，该方法每个面使用固定数量的高斯分量。 “对于具有不同面片尺寸的模型，找到这些参数并非易事。”这是一个潜在的缺点。 为了解决这样的问题，作者的建议是把大面片切割成多个小的，但是并没有给出切割方案。

那么高斯紧贴面片表面的好处有哪些呢？其实也很好理解，高斯并不是简单的点，而是有自己的体积，如果只是简单的平移，那么高斯朝向不会发生变化。但是，如果对模型进行放缩，旋转等操作，高斯的朝向、大小都发生了变化，只有和面片大小朝向一致的情况下才能产生正确的渲染结果：

实验

作者提到，不同场景下训练时间差距巨大，从几分钟到几十分钟，这个应该是跟mesh数量成正比的。

放张实验，可以看到场景。物体渲染质量还是可以的

除此之外，作者还提到在没有网格初始化，场景面片很大的情况下，优化结果会比较差，这也是一个问题。

其他还有引入网格以后显存占用肯定是比纯3DGS要大很多。

应用

作者给出了几何编辑的一些应用，比如通过其他模型生成人体网格，通过调节相关参数让人做出不同表情。

总结

总结一下，这篇文章用传统网格思维做几何编辑，用高斯的管线进行渲染，把高斯和网格紧密结合起来，保留高斯实时渲染优势的同时也可以方便的编辑网格。