79、ClimateNeRF: Physically-based Neural Rendering for Extreme Climate Synthesis

简介

主页

物理模拟可以很好地预测天气影响。神经辐射场产生SOTA场景模型。

ClimateNeRF 允许我们渲染真实的天气效果，包括雾霾、雪和洪水 ，结果可以通过有物理意义的变量来控制，比如水位 ，这允许人们可视化气候变化的结果将对他们产生什么影响

实现流程

首先，使用instant-NGP重建3D场景。重建的亮度场能够高效地合成高质量的新颖的场景视图图像。其次，有选择地微调学习的instant-ngp模型，以便它捕获所提供的样式图像的样式。这种3D一致的风格化对于难以通过物理模拟捕获的天气效应建模特别有用。第三，通过将相关的物理实体(雪、水、雾霾)集成到场景中并渲染物理上合理的图像来模拟气候事件。

3D Scene Reconstruction

在Instant-ngp这种显式的特征编码和空间划分特别适合于ClimateNeRF，因为可以相对容易地编辑局部特征。

物理模拟需要访问任意点的表面法线来计算与雪和水的交互，并且需要访问点的语义(在语义分割的意义上)来转换样式 。因此扩展NGP，允许它输出语义逻辑 s 和表面法线n，训练数据中没有语义或表面法线ground truth，这里使用现成的预训练单目语义分割网络为每张图像生成语义map，使用密度梯度来引导具有加权MSE损失的预测表面法线 n

为了模拟暴风雪，必须在场景中添加雪，并将树木变暗，但不应该改变房屋的形状，为了在程式化阶段保持空间特征的完整性，对instant-NGP的潜在特征进行了解纠缠，对于NGP模型中的每个体素，将潜在特征分为几何特征 和外观特征。

几何特征被训练来渲染密度。外观特征用于渲染颜色、语义和法线。

将在程式化阶段冻结几何特征向量，只改变外观特征向量

在给定查询点和光线方向的情况下，给出密度σ、颜色c、语义对数后验s和表面法线n

Stylization

使用FastPhotoStyle从预训练的模型转移样式到渲染图像,只转移到“地形”、“植被”或“天空”区域，以模拟自然天气变化现象，只是这样的话，产生的图像看起来很逼真，但不一定与视图一致。

对学生网络 instant-NGP模型进行微调，以确保风格转换后场景的视图一致性，尽量减少学生网络渲染结果和风格转移图像之间的色差，保持几何形状完整，只改变外观来实现这一目标，所以在样式转换阶段，只有外观特征代码。被优化

Representing and Rendering Climate Effects

生成具有新的物理实体的场景，雪，水，雾霾，必须确定它们的位置(物理模拟的工作)以及生成的图像是什么样子的(渲染的工作)

渲染总是涉及到对光线查询的计算响应，因此计算u在v方向上的辐射度。必须用密度表示模拟结果，并且必须能够计算法线和表面反射率属性

物理模拟得出的密度

预测法线

预测BRD

每个都取决于现有的场景。选择可以模拟各种效果，包括雾霾的大气效应，水面的折射和反射，以及积雪的散射。

{}在不同的物理模拟中有很大差异

一旦物理实体被函数 定义，就可以通过模拟物理实体与场景之间的光传输来真实地将它们渲染到图像中

给定查询点位置x，仿真框架通过基于物理的渲染来估计x位置物理实体的密度和颜色

上式基于物理的绘制方程

通过跟踪与学习的NeRF中入射方向相反的射线 来近似入射照明

根据物理实体的表面BRDF，对积分使用分析或基于采样的解决方案。注意，可以通过采样来模拟多次反弹

遵循在两个通道中定义的体积渲染过程。对于沿着摄像机射线的每个点，查询公式4中定义的物理实体的不透明度和颜色。同时，系统还通过公式2得到原始密度和颜色

Climate Effect Details

Smog Simulation

假设烟雾是由均匀分布在真空中的微小吸收粒子形成的, 空白空间中，NeRF密度,可以通过简单地在密度上添加一个非负常数来模拟自由空间中的烟雾密度,在NeRF的高密度区域内，加上常数不会显著改变积分

是决定雾霾密度的可控参数 ,雾霾颗粒有恒定的颜色 ，颗粒颜色和密度都是可控参数

Flood Simulation

洪水场景的水面近似为一个水平面:，其中重力方向法线 通过相机姿态和消失点检测估计，平面原点决定了水的高度

基于快速傅里叶变换(FFT)的波纹和波,FFT波以随机谱系数为输入，输出一个基于风速、方向和时空频率的时空面法线,与静水相比，基于fft的水面模拟显著提高了水面的真实感,模拟不透明度和微面波纹，使水看起来有光泽,近似公式 4中的积分，采用sigma-point方法，从x处采样5条射线，包括反射方向和附近的4条射线

Snow Simulation

雪更有可能堆积在朝上的表面上，由于重力作用，雪的深处密度更大,使用以表面为中心的metaballs并以密度为中心来模拟物体表面上的密度分布,metaballs内的密度分布可以用核函数 表示，随着距离球中心距离的增加，密度平滑地减小

对于空间中的任意点x，使用parzen窗口密度估计器在N个局部最近邻上计算x的雪的密度

是一个可控的曲面截断阈值，a是一个超参数 ,这个方程表明，如果一个点接近或大于阈值，它更有可能是表面边界,使用空间变化的漫射颜色(接近于纯白色乘以场景的平均照度)来近似BRDF，并应用地下散射效果来照亮雪的阴影部分,表面法线值仍然以基于梯度的方式计算

limitations

ClimateNeRF依赖于NeRF重建的质量。不准确的几何形状导致洪水和积雪模拟不理想。

在雪模拟中不正确的地面表面导致伪影的情况。

这也显示了未来通过物理模拟自动发现几何理解错误的机会。

Conclusion

提出了一种新的NeRF编辑框架，将物理模拟应用于场景的NeRF模型。利用这个框架，建立了ClimateNeRF，使能够渲染现实的气候变化影响，包括雾霾、洪水和雪。合成的视频是真实的，一致的，物理上合理的，高度可控的。展示了ClimateNeRF在帮助提高社区对气候变化的认识和增强对不利天气条件的自驱动健壮性方面的潜力。