【组会2023.12.11】I2-SDF:Intrinsic Indoor Scene Reconstruction and Editing via Raytracing in Neural SDFs

把组会讲过的论文整理一下，留个痕迹.......

组会第六篇论文

目录

引言

 问题

贡献

网络结构 

几何场

气泡损失

误差引导自适应采样策略

几何损失

​编辑

神经发射器语义场Fe

材料场

​可微蒙特卡罗光线追踪 

训练损失 

几何场和辐射场的训练

材料场和发射场的训练

实验

新视角合成

几何重建

场景编辑

消融实验

总结

贡献

局限性

---

基于神经SDFs光线追踪的室内场景重建和编辑

论文：https://ieeexplore.ieee.org/document/10204138

代码：https://github.com/jingsenzhu/i2-sdf

引言

隐式神经表示法是一种将各种信号参数化的新方法。传统的信号表示通常是离散的，隐式神经表示将信号参数化为连续函数。

SDF(Signed Distance Field)在3d和2d中都有对应的应用。在3d中光线追踪对于性能的消耗过大，所以sdf常常被用来作为物体的隐式表达，配合ray marching光线步进达到接近光线追踪的效果，也有比如deepSDF这种对于模型的隐式表达方面的应用。在2d中，sdf常常被用来表示字体，原神的面部渲染中阴影部分贴图也是基于sdf生成的。

SDF的本质就是存储每个点到图形的最近距离，即将模型划出一个表面，在模型表面外侧的点数值大于0，在模型表面内侧的点数值小于0。

SDF有2D和3D的区别。表示每个像素（体素）记录自己与距离自己最近物体之间的距离，如果在物体内，则距离为负，正好在物体边界上则为0。

SDFs：signed distance fields有向距离场：存储每个点到图形的最近距离 

 问题

神经辐射场(NeRF) 和多层感知(MLP)作为隐式函数，能够合成新视图的图像，但他们在处理无纹理表面上的形状-亮度模糊方面存在困难。

传统的多视图立体方法可以产生纹理表面的合理几何形状，但难以处理无纹理区域，如室内场景中常见的白墙。

现有内在分解方法只关注单个目标重建，不处理空间变化的光照条件，不适用于几何形状复杂、光照变化多端的室内场景。

贡献

I2 ： “Intrinsics and Indoor”

I2 –SDF：基于sdf的整体神经框架，用于复杂的室内场景，可以从多视图图像中共同恢复底层形状，亮度和材料场。

蒙特卡洛是一种求解随机问题的数值计算方法，基于概率的统计思想，通过随机采样和统计分析计算问题的解。在光线追踪算法中，蒙特卡洛常被用来解决光线的反射、折射和散射等问题。

网络结构 

由神经SDF场Fd，神经辐射场Fc，神经材料场Fa和Fp，和发射场Fe组成，最后是蒙特卡罗渲染层，该层使用分解的因子重新渲染场景图象。两阶段训练方案：首先训练几何场Fd，辐射场Fc和发射语义场Fe，然后训练材料场（Fa、Fp）和发射L[·]场。

几何场

气泡损失

为解决几何场中小物体曲面的SDF不能获得梯度来恢复小物体，文章提出为缺失的表面点插入气泡，以便在小或薄物体附近为SDF创建梯度。

虚线表示尚未被SDF网络学习的细几何体，∂δ/∂d随着d的增加而迅速消失，因此SDF不能学习小物体。中间：插入气泡（创建零值表面）恢复丢失对象周围的梯度流。右图：气泡随着引入的梯度生长，恢复小物体。

根据神经网络的重构误差自然滤除不感兴趣的大平面区域(低频)，保留小目标区域(高频)。

误差引导自适应采样策略

重要性采样算法是蒙特卡洛积分的一种采样策略，抽样时以更大的概率抽取函数值对积分贡献较大的区域的样本，这样能够提高估计的准确度。

几何损失

χ三维空间及附近表面均匀采样的三维点的小批量，程函项正则化SDF的值，对梯度的一种约束，要求梯度的二阶导等于一，可以保证形变空间的合理性。

深度：L1 Loss也称为平均绝对值误差（MAE），法向：角L1损失；深度和法向先验监督网络来处理形状-亮度模糊

利用SDF场梯度上的平滑损失来促进光滑表面的重建，ε为一个小小的随机均匀的三维扰动，S为地表附近采样点的小批量。

法向映射是凸凹纹理映射技术的一种应用，T表示的是从相机位置到3D空间点s之间的媒介透射率，α是透明度/不透明度

D表面深度，ti局部梯度；nr正态值，通过计算SDF函数在点x处的梯度估计；D(u,v)深度图像； [R|t]相机姿态；K相机特征；x(p)3D点；x(p,D)与像素p相关联的3D点；d(x)预测的点x的SDF值；P每次迭代采样像素的minibatch；β可学习参数，控制表面附近的稀疏度

神经发射器语义场Fe

二元交叉熵损失优化Fe，训练Fe后，它可以被我们的光线追踪阶段用于指示射线是否击中发射器。我们使用K- means算法将发射点聚为K个发射点。为了模拟HDR发射，定义了一个大小为K的数组L[·]作为一个可学习的参数，该参数对应于每个发射器的发射值。HDR是一种提高影像亮度和对比度的处理技术。

LDR = Low Dynamic Range，常用LDR图片存储的格式有jpg/png等。

在模块中添加了一个神经发射器语义场Fe，它决定了输入的3D点x是否在发射器上。

Me射线的估计发射器掩膜，通过体积累计计算，m^体积累计，T表示的是从相机位置到3D空间点s之间的媒介透射率，α是透明度/不透明度

 

材料场

本文将场景的空间变化材料参数化为神经场，并且使用基于物理的microfacet BRDF模型来呈现场景材料，并引入两个mlp来分别模拟场景的反照率和粗糙度。

为了保证预测材料参数的物理正确性，本文将正则化定义为Lmreg，M三个材料的参数

第一项为L2损失，即几何场的平滑损失，(·)+为ReLU函数。

BRDF描述的是物体表面将光能从任何一个入射方向反射到任何一个视点方向的反射特性。

可微蒙特卡罗光线追踪 

本文利用蒙特卡罗渲染技术来执行场景重新渲染。首先通过公式(21)对相机视图中的光线进行投射，得到与每个像素相关的表面点，并通过公式(6)得到对应的表面法线。然后，给定采样率N，我们使用GGX重要性采样，根据表面法线和材料参数^N(s)，从表面点s开始，生成N条出射光线，表面颜色通过蒙特卡罗积分表示

预测辐射值分为两种情况:用Fe来确定r是否击中了发射极，如果是，我们通过K-means获得发射器指数，并从发射场L[·] 中检索其发射。否则，我们使用Fc和体积渲染来预测光线的亮度。

PDF概率密度函数，𝑓𝑟(𝜔𝑖,𝜔𝑜)是双向评估价值和𝑝(𝜔𝑖,𝜔𝑜)的概率分布函数(PDF)值是双向重要性抽样

训练损失 

几何场和辐射场的训练

                  

材料场和发射场的训练

    

R表示在minibatch中采样的像素/射线集合，C(r)是ground truth pixel color，C^射线的像素颜色。

由于不可能从图像中捕获材料的基本事实，我们通过重新渲染结果来弱监督网络，而不是直接监督强材料先验。

最小化重新渲染结果(Eq.(22))与输入图像之间的L1误差。

实验

新视角合成

现有的数据集存在不准确的相机校准，错误的深度捕获和低图像质量(如运动模糊)，这将严重影响重建质量。提出了一个新的合成多视图室内场景数据集，提供了精心设计的室内场景，具有地面真实相机姿势，法线和深度图，具有优于现有数据集的图像质量。

NeRF和sdf基线在识别小物体方面存在困难，导致结果不佳。Instant-NGP在训练视图中表现最好。然而，这是通过颜色过拟合来实现的，而不是精确的几何理解，导致测试视图的质量很差。

几何重建

本文提出的合成的数据集。本文的方法优于所有基线，因为在小物体上精确重建。图5为重建深度图和法线图的定性结果，本文方法可以忠实地重建基线失效的薄结构。

场景编辑

通过形状、材质、光照的分解结果，本文可以实现材质编辑、重光照等逼真的场景编辑任务，如图1、图6所示。

图6分别改变了室内光线的色调(第1列)，增加了灯具的发射强度(第2列)，将衣柜门的材质改为镜子(第3列)。注意镜面的反射与周围环境是一致的。

消融实验

“σ噪声”和“3σ噪声”是指采用标准噪声模型和3倍噪声模型。“σ噪声”的负面影响可以忽略不计，而“3σ噪声”仍然优于“均匀”。

对不准确深度信息的鲁棒性：从图7和表3可以看出，噪声深度对结果的影响可以忽略不计，证明了我们方法的鲁棒性。

自适应采样策略的有效性：将误差引导自适应采样与均匀采样进行了比较。在图8中，均匀采样无法重建完整的灯杆，因为从缺失的灯杆上采样的气泡点不足。在表3中，带真值深度的均匀采样不如带噪声深度的自适应采样。

总结

贡献

I2-SDF：从多视图图像中重建一个内在的神经场景，从而实现可编辑室内场景的物理逼真的新视图合成。

冒泡策略和误差引导自适应采样策略：恢复大尺度场景中的小目标，并获得SOTA几何图形和新颖的视图合成结果。

局限性

基于MLP的网络骨干网不够强大，无法捕获高频纹理。

耗时的MC射线追踪增加了总重建时间。