CVPR 2024 最佳论文分享┆物体用体积表示：一种不透明固体图形的随机几何表示方法

本文详细介绍了一篇获得CVPR 2024最佳论文提名的论文《Objects as volumes: A stochastic geometry view of opaque solids》。该论文的作者为Bailey Miller等人。论文提出了一种新的理论框架，从随机几何学的角度解释和改进当前体积表示方法，即将不透明固体表示为体积，从而解决现有3D重建方法中的不足。本文由李杨撰写，审校为陆新颖和朱旺。

原文链接：

https://arxiv.org/abs/2312.15406

代码链接：

https://github.com/cmu-ci-lab/volumetric_opaque_solids

演示实例链接：

https://imaging.cs.cmu.edu/volumetric_opaque_solids/#visualization

CVPR (IEEE Conference on Computer Vision and Pattern Recognition)是计算机视觉领域最有影响力的会议之一，主要方向包括图像和视频处理、目标检测与识别、三维视觉等。近期，CVPR 2024 公布了最佳论文。共有10篇论文获奖，其中2篇最佳论文，2篇最佳学生论文，2篇最佳论文题目和4篇最佳学生论文提名。本公众号推出CVPR 2024最佳论文专栏，分享这10篇最佳论文。

1.研究背景及论文贡献

1.1研究背景

体积表示方法广泛用于模拟半透明物体（如组织、云、蜡）和参与性介质（如烟雾、雾）的光传输。随着NeRF（Neural Radiance Fields）等神经渲染技术的兴起，体积表示方法用于模拟仅有光表面相互作用的不透明物体，而不是传统的包含体积散射和次表面散射的半透明物体。论文旨在通过开发新的理论框架，从随机几何学的角度解释和改进当前体积表示方法，以提升3D重建效果。

图1 确定性微粒几和随机性固体几何的射线投射过程

图1展示了在体积表示中，确定性和随机性的射线投射过程，并区分了微粒几何和固体几何两种场景。

1.2论文贡献

论文提出了一种新的理论框架，将不透明固体表示为体积，从而解决现有方法中的不足。

1）从随机几何学角度重新审视体积表示，证明在特定条件下不透明固体可以用指数体积传输模型进行建模。

2）推导出体积衰减系数的表达式，适用于各向同性和各向异性散射。

3）将不透明固体表示为随机隐函数，确保表示方法满足物理约束如互易性和可逆性。

4）提出新的体积表示方法，通过从基本原理出发，修正和扩展现有方法，显著提升3D重建任务的性能。

2.方法

图2 体积表示理论的总体架构

图2展示了作者提出的体积表示理论的总体架构。该图展示了不同密度（low density 和 high density）的3D形状和各向异性参数（anisotropy）的变化。衰减系数（attenuation coefficient）是密度（density）和投影面积（projected area）的乘积，反映光线在不同方向穿过物体时的衰减。密度通过点的梯度和空隙率（vacancy）计算，表示光线被物体阻挡的概率。投影面积考虑光线方向和物体表面法向量的分布，光线垂直入射时，投影面积最大；掠角入射时，投影面积最小。空隙率表示点的透明度，平均隐式函数（mean implicit function）提供点的期望值。各向异性参数表示不同方向上光线衰减的差异。

3.实验结果

表1 在DTU和NeRF Realistic Synthetic上的重建质量对比

表1展示了在DTU和NeRF Realistic Synthetic上的重建质量对比，使用的指标是Chamfer距离（Chamfer distance）。在这两个数据集上，论文提出的模型平均值和中位数最小，3D重建质量均显著优于现有模型。

表2 在DTU数据集上重建质量的消融研究结果

表2展示了在DTU数据集上不同隐式函数分布（implicit function distribution）和法向量分布（distribution of normals）的设计选择及其重建质量的消融研究结果。使用高斯分布（Gaussian distribution）和空间变化的混合分布（spatially varying mixture distribution）的设计选择取得了最佳表现，平均值和中位数分别为1.75和1.59。该表还显示，当使用违反互易性的ReLU项时，性能显著下降。

图3 BlendedMVS数据集中形状和关键量的可视化

图3展示了关键量在3D场景中的分布和变化，说明了论文提出的模型如何在复杂场景中有效捕捉这些几何和物理特征。图4展示了在BlendedMVS和NeRF Realistic Synthetic数据集上，论文模型与VolSDF和NeuS模型的重建质量对比。通过对比重建结果的视觉效果（图4中的虚线圆圈标注了感兴趣区域），清晰显示了论文模型在细节恢复和整体质量上的优势。

图4 不同模型在BlendedMVS和NeRF Realistic Synthetic数据集上

4.结论

论文提出了一种新的体积表示理论，用于不透明固体的3D重建，解决了现有方法在处理不透明物体时的不足。经典的体积表示方法用于模拟半透明物体和参与性介质，但缺乏对不透明物体的理论支持。论文从随机几何学出发，通过随机指示函数表示不透明固体，推导了指数体积传输模型和体积衰减系数，推广至各向同性和各向异性散射。实验结果表明，体积表示理论为现有方法提供了数学支持，并在实际应用中获得了显著性能提升，为进一步研究提供了基础和指导。