简介
主页：https://4dqv.mpi-inf.mpg.de/NeRF-OSR/
NeRF-OSR是第一个用于室外场景重照明的神经辐射场方法，学习了场景几何、漫射反照率和光照依赖阴影的神经表示，这些阴影来自一组从不同视角和不同时间捕捉到的相同地点的图像，能同时编辑场景的照明和视角，通过定义一个球面谐波模型，直接控制现场照明
与SoTA的比较表明，NeRF-OSR在更高的质量和真实的自阴影编辑可控的照明和视点编辑
贡献点
- NeRF-OSR，即第一种利用神经辐射场进行室外场景重照明的方法，支持场景光照和摄像机视点的同时且有语义意义的编辑。模型对场景内部有明确的控制，包括局部阴影、阴影甚至反照率。
- 学习了一个神经场景表示，将场景分解为空间占用、照明、阴影和漫反射反射率。它以一种自我监督的方式，从不同视角和不同光照下获取的户外数据进行训练。
- 一个新的、最大的户外场景重照明基准数据集。它包括8座建筑，从3240个视角，在110个不同的时间拍摄。此外，它是第一个包括颜色校准360◦环境地图，这允许准确的数值评估
实现流程
NeRF-OSR将在不同时间和不同视角拍摄的单个场景的多个RGB图像作为输入，然后从任意的观点和各种照明下呈现被检查的场景。可明确地估计场景的内在，并直接访问场景照明，还包括一个用于预测阴影的专用组件，即室外场景照明的基本特征。同时以一种自我监督的方式训练在不受控制的设置中捕获的户外数据，可以呈现逼真的视图
NeRF公式
每条射线中采样
N
d
e
p
t
h
N_{depth}
Ndepth个点组成
{
X
i
}
i
=
1
N
d
e
p
t
h
\{X_i\}^{N_{depth}}_{i=1}
{Xi}i=1Ndepth，
{
t
i
}
i
=
1
N
d
e
p
t
h
\{t_i\}^{N_{depth}}_{i=1}
{ti}i=1Ndepth为对应的射线深度
NeRF-OSR使用在不受控制的环境中拍摄的场地的户外图像(绿色虚线)来恢复一个可靠的隐式场景模型。它学习了用SH系数表示的场景特征和光照。在这里，一个专门的神经组件学习阴影。在测试过程中，NeRF-OSR可以在任意摄像机视点和场景光照下合成新的图像;用户通过环境地图或通过SH系数直接提供所需的相机姿态和场景照明。
Spherical Harmonics NeRF
NeRF公式学习了一个固定照明下的场景的朗伯模型，具有视图方向依赖性的更一般化模型在固定光照下学习了一个明显的BRDF切片，这种习得的表现仍然没有潜在场景内在的语义意义，也没有直接控制灯光
为了允许重照明，引入了一个显式的二阶球面谐波(SH)照明模型，并重新定义渲染方程
⊙表示elementwise乘法（元素的智能乘积 | 对应元素逐个相乘）（例如：
v
1
,
v
2
,
v
3
T
⊙
w
1
,
w
2
,
w
3
T
=
v
1
w
1
,
v
2
w
2
,
v
3
w
3
T
{v_1,v_2,v_3}^T ⊙ {w_1,w_2,w_3}^T = {v_1w_1,v_2w_2,v_3w_3}^T
v1,v2,v3T⊙w1,w2,w3T=v1w1,v2w2,v3w3T ）.
A(x)∈R3是累积的反照率颜色，其产生方式与(1)相似，即对反照率MLP的输出进行积分
L ∈ R 9 × 3 L∈R^{9×3} L∈R9×3为每个图像可学习的SH系数
b ( n ) ∈ R 9 b(n)∈R^9 b(n)∈R9为SH基
N(x)是由累积射线密度计算的表面法线
为了提取N，首先将射线上点的密度与射线样本的原始x-， y-， z分量进行微分，将它们以权重
T
(
t
i
)
α
(
σ
(
x
i
)
δ
i
)
T (t_i)α(σ(x_i)δ_i)
T(ti)α(σ(xi)δi) 累积到射线上的所有 Ndepth 样本上，并将结果向量归一化为一个单位球
在(2)中，使用屏幕空间反照率和神经体积积累的法线在屏幕空间中渲染，这种累积可以减少反照率和表面法向估计的噪声，有助于收敛，即只做一个阴影计算，而不是选择一个样本点和积累阴影颜色
除 SH 基 b(·) 和正常的提取算子 N(·) 是基于固定的显式模型外，(2)的所有项都是可学习的，照明模型允许通过改变 L 来显式照明，虽然它考虑了朗伯的效果，但缺乏直接的阴影生成，而阴影生成对于室外场景的建模和后续重光照至关重要。
Shadow Generation Network
为了在重光照过程中实现明确的阴影控制，引入了一个专用的阴影模型 S ( { X i } i = 1 N d e p t h , L ) S\big( \{ X_i \}^{N_{depth}}_{i=1},L \big) S({Xi}i=1Ndepth,L)，渲染公式改为
阴影模型由 MLP s(x, L)∈[0,1] 计算的标量定义，最后的阴影值是通过沿射线累积到 S ( { X i } i = 1 N d e p t h , L ) S\big( \{ X_i \}^{N_{depth}}_{i=1},L \big) S({Xi}i=1Ndepth,L) 来计算的
阴影只依赖于空间光的分布，阴影预测网络以其灰度版本的SH系数（ L ∈ R 1 × 9 L∈R^{1×9} L∈R1×9，而不是 L ∈ R 3 × 9 L∈R^{3×9} L∈R3×9）作为输入，阴影模型只通过与反照率和几何形状相同的单一前向传递，阴影估计器操作效率更高，使方法在计算上更具可扩展性，同时仍然允许使用全新的照明条件重新照明
Objective Function
MSE(·，·)为均方误差
第一项是由估计颜色 C 和对应的地面真值 C ( G T ) C^{(GT)} C(GT) 定义的重建损失
第二项规则化阴影，阴影网络 S 吸收了所有不能用SH解释的灰度照明效果，为了限制它只学习阴影，选择不降低重建图像的PSNR的正则化强度 λ 的最大值，去除正则器通常会导致 S 学习除色度之外的所有照明成分，从而使SH照明失效
效果
847
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
