GaussianShader: 3D高斯喷溅与遮阳功能的反射

翻一个论文。

图1所示。GaussianShader保持实时渲染速度，并为一般和反射表面渲染高保真图像。

Ref-NeRF[45]和ENVIDR[27]试图处理反射表面，但它们的优化非常耗时，渲染速度慢。三维高斯溅射[21]保持了较高的效率，但无法处理这种反射表面。

最近，神经三维高斯[21]的出现给神经渲染领域带来了一场革命，促进了高质量实时渲染的生成。然而，在应用于具有反射表面的场景时，这种显式离散表示法遇到了挑战。在本文中，我们介绍了一种新方法 GaussianShader，它在三维高斯上应用简化的着色函数，以增强具有反射表面的场景中的神经渲染，同时保持训练和渲染效率。应用着色函数的主要挑战在于对离散三维高斯进行精确的法线估算。具体来说，我们提出了一种基于三维高斯最短轴方向的新型法线估算框架，并精心设计了损失，使法线与高斯球的几何形状保持一致。
PS: 首要问题似乎都是法线
实验表明，GaussianShader 在效率和视觉质量之间取得了值得称赞的平衡。在镜面物体数据集上，我们的方法在 PSNR 方面超过了高斯拼接（Gaussian Splatting）[21]，提高了 1.57dB。与之前处理反射表面的工作（如 Ref-NeRF [45]）相比，我们的优化时间大大缩短（23 小时对 0.58 小时）。请点击我们的项目网站查看更多结果。

5. Conclusions

总之，我们提出了 GaussianShader，通过扩展的三维高斯模型推进反射物体和一般物体的渲染。具体来说，我们的方法将着色函数与三维高斯表示整合在一起，用于处理视图相关的外观，成功地处理了反射表面。此外，我们还提出了一种新颖的法线预测方法来实现高质量的法线，该方法将阴影参数与三维高斯的真实几何形状相关联。结果表明，我们的方法实现了高质量的渲染，标志着在高效、逼真的三维物体渲染方面取得了重大改进。

Introduction

近年来，三维计算机视觉领域在三维场景的三维重建和可视化方面取得了显著进步。神经辐射场（NeRF）[32] 等创新技术在生成三维物体和场景的新视图方面取得了重大突破，为高质量和逼真的渲染提供了可能。尽管取得了这些进步，与 NeRF 相关的方法 [6, 27, 45]，仍然面临着计算昂贵的优化和缓慢的渲染速度等挑战。这些局限性限制了它们在实时交互场景中