CVPR 2024最佳论文分享：Mip-Splatting: 无混叠3D高斯溅射

本推文详细介绍了CVPR 2024最佳论文提名《Mip-Splatting: Alias-free 3D Gaussian Splatting》。该论文的第一作者为 Zehao Yu（图宾根大学在读博士，导师：Andreas Geiger ）。论文提出了一种名为Mip-Splatting的方法，用于无混叠的三维高斯溅射。这种方法通过结合多级混合技术和高斯溅射，解决了传统三维点绘中常见的混叠问题。Mip-Splatting利用二维和三维滤波器来有效处理不同分辨率的图像，从而在保持高质量渲染的同时，提高了计算效率。本推文由陆新颖撰写，审校为李扬和朱旺。

原文链接：

https://arxiv.org/abs/2311.16493

代码链接：

https://github.com/autonomousvision/mip-splatting

演示实例链接：

https://niujinshuchong.github.io/mip-splatting/

CVPR (IEEE Conference on Computer Vision and Pattern Recognition)是计算机视觉领域最有影响力的会议之一，主要方向包括图像和视频处理、目标检测与识别、三维视觉等。近期，CVPR 2024 公布了最佳论文。共有10篇论文获奖，其中2篇最佳论文，2篇最佳学生论文，2篇最佳论文题目和4篇最佳学生论文提名。本公众号推出CVPR 2024最佳论文专栏，分享这10篇最佳论文。

1.研究背景及解决的问题

1.1研究背景

三维渲染技术在计算机图形学和视觉效果生成中起着关键作用。然而，传统的三维高斯溅射（3D Gaussian Splatting, 3DGS）方法在处理高分辨率图像时，常常出现混叠伪影，这种问题严重影响了图像的视觉质量。混叠现象主要是由于在低分辨率下无法准确表示高频细节而导致的。此外，在多尺度图像处理方面，传统方法在保持高质量渲染和计算效率之间存在困难，如图1所示。图1中的（a），（b）子图是全分辨率，当子图（c）中将图片缩小后，发现渲染的图片将自行车轮胎的钢丝颜色调亮且加粗了，而子图（d）进行放大操作后，图片出现高频伪影并且刹车线变得很细。

图1 混叠伪影现象

1.2解决的问题

论文提出的Mip-Splatting方法通过结合多级混合技术和高斯溅射，引入2D和3D Mip滤波器，有效减少了传统3DGS中的混叠伪影。该方法在不同分辨率下实现了高质量的图像渲染，并通过多尺度数据的训练和测试，展示了在处理多分辨率图像时的优越性能和高计算效率。这不仅显著提升了渲染质量，还解决了多尺度图像处理中的性能瓶颈问题。

2.方法

论文提出的方法基于3DGS。该方法通过将3D对象表示为3D高斯点，然后将其投影到图像平面，并在屏幕空间进行二维扩展。这样，3D对象的表示可以简化为二维空间中的点云。为了更好地理解3DGS方法的工作原理，需要掌握多视图频率界限以及采样率相关的知识。多视图图像是连续3D场景的二维投影，图像的分辨率、相机焦距和场景与相机的距离共同决定了采样率。

为了克服上述挑战，提出了Mip Gaussian Splatting方法，对原始的3DGS模型进行了两项重要修改：引入了3D平滑滤波器和二维Mip滤波器。3D平滑滤波器通过限制3D表示的频率来消除高频伪影，而二维Mip滤波器通过模拟物理成像过程中的盒式滤波器来有效地缓解混叠效应和扩展问题。这些改进使得Mip-Splatting方法能够在各种采样频率下实现无伪影的渲染。

2.1 2D平滑滤波器

重建的3D场景的最高频率受到训练图像所施加的采样约束的限制。通过应用高斯低通滤波器Glow来约束每个3D高斯基元的最大频率，从而在将其投影到屏幕空间之前进行处理，以有效地正则化3D高斯基元的最大频率，从而消除放大时的高频伪影。

2.2 二维Mip滤波器

模拟2D盒式滤波器，通过近似物理成像过程中的实际2D盒式滤波器，确保在不同尺度下的无混叠重建和渲染。

3.实验

3.1 实验设置

为了对所提出的Mip-Splatting方法进行了广泛的实验评估。实验环境包括多个具有挑战性的基准数据集，如合成数据集和真实数据集。并且与现有的最先进的方法进行了对比，包括直接3D渲染、体绘制技术以及标准的3DGS方法。

（1）评价指标：图像质量评价指标，如峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）、结构相似性指数（Structural Similarity Index，SSIM）和感知图像错误（Learned Perceptual Image Patch Similarity，LPIPS）。

（2）数据集：论文主要展示了在Blender 数据集和Mip-NeRF 360数据集上的成果。

3.2多尺度训练和多尺度测试

论文使用多尺度数据训练模型并在多尺度数据上进行评估。对全分辨率图像的光线采样更频繁，约占 40％，其余图像分辨率各占 20％。定量评估结果如表 1 所示。论文的方法在性能上与最先进的方法如 Mip-NeRF和Tri-MipRF相当或更优。值得注意的是，论文方法由于使用了2D Mip滤波器，性能显著超越了3DGS方法和3DGS + EWA方法。

表1 在Blender数据集上的多尺度训练和多尺度测试

3.2单尺度训练和多尺度测试

论文考虑了一个新的实验设置，即在全分辨率图像上训练，并在不同分辨率（即1×, 1/2, 1/4, 和1/8）下渲染，以模拟缩小效果。定量结果如表 2 所示，论文的方法获得了最优性能。

表2 在Blender数据集上的单尺度训练和多尺度测试

定性比较如图2所示，在原始训练尺度上，基于3DGS的方法在捕捉细节方面比Mip-NeRF方法和Tri-MipRF方法更有效。而论文方法在低分辨率下的渲染质量明显优于3DGS方法和3DGS + EWA方法。特别的是，3DGS方法的渲染效果出现扩展伪影。EWA splatting方法使用大低通滤波器限制渲染图像的频率，这样会导致渲染效果过度平滑，尤其在低分辨率下尤为明显。

图2 单尺度训练和多尺度测试效果展示

4.结论

论文提出的 Mip-Splatting方法通过引入3D平滑滤波器和2D Mip滤波器，显著改进了现有 3DGS 技术在不同采样率下的渲染质量。实验结果表明，Mip-Splatting方法能够有效消除混叠效应和伪影，显著提升了多视角合成的保真度和视觉质量。此外，Mip-Splatting方法仅需对现有3DGS代码进行少量修改即可实现，应用起来非常方便。