Relightable 3D Gaussian论文精读

这篇论文提出了一个新颖的可重照明3D高斯点云渲染框架，该框架能够从多视图图像中分解材质和光照信息，并支持实时重照明和光线追踪。它使用一组具有法线方向、BRDF参数和不同方向入射光的3D高斯点来表示3D场景。此外，论文还引入了基于包围体层次结构的点云光线追踪方法，以高效实现每个3D高斯点的可见性计算和实时渲染，提供准确的阴影效果。通过广泛的实验，该框架显示出在BRDF估计和新视角渲染结果方面较传统方法有所改进。总体而言，这项工作展示了基于点云的图形管线在场景重照明和编辑方面的潜力。

主要工作

1. 材料和光照分解：为每个3D高斯点分配法线向量（Normal Vector）、BRDF（Bidirectional Reflectance Distribution Function）值和入射光（Incident Light），并对这些属性进行优化。
2. 基于边界体积层级的点基射线追踪（Point-Based Ray Tracing with Bounding Volume Hierarchy）：这是一种高效的可见性预计算（Visibility Baking）技术，它能渲染出带有逼真阴影效果的3D场景。
3. 全面的图形处理管线（Comprehensive Graphics Pipeline）：该管线完全基于离散点表示，支持3D点云的重照明（Relighting）、编辑（Editing）和射线追踪（Ray Tracing）。

利用Vis-MVSNet，根据从多个视角捕获的图像来估计每个像素的深度值。直接从渲染的深度图中计算出每个点的表面法线.
Vis-MVSNet 是一种多视图立体匹配网络，能够处理多个视角的图像，并估计出每个视角对应的深度图。该网络利用深度学习技术，通过分析不同视角的图像间的差异和相似性来推断深度信息。

法向量

1. 基于局部平面假设执行法线估计。但这种方法因点云密度稀疏和对物体表面对齐不精确而受限。
2. 提出了一种从初始随机向量开始，通过反向传播来优化法线 n 的方法。这包括渲染特定视点的深度图 D 和法线图 N。
3. 法线一致性：鼓励渲染的法线 N 与从渲染深度 D 计算得到的伪法线 N‘ 之间保持一致性。

法线
N ~ u , v = ∇ u P × ∇ v P ∥ ∇ u P × ∇ v P ∥ \widetilde{N}_{u,v} &#