94、DehazNeRF: Multiple Image Haze Removal and 3D Shape Reconstruction using Neural Radiance Fields

简介

论文：https://arxiv.org/pdf/2303.11364.pdf
主页：https://www.computationalimaging.org/publications/dehazenerf

模拟大气散射的物理现实项扩展了体绘制方程

• 通过基于物理的三维雾图像生成模型扩展NeRF的体绘制方程，精确模拟雾霾环境中普遍存在的内散射现象;
• 引入多个物理启发的归纳偏差和优化正则化器，以有效地消除表面外观的歧义，从而实现精确的清晰视图外观和仅使用有雾图像作为输入的几何重建。

实现流程

给定一组有雾图像，该方法用雾霾模块(黄色)增强了现有的NeRF管道(灰色)，该模块使用大气光和散射系数明确地建模散射现象。在训练过程中，将有雾重建渲染为表面和雾的组成，与输入的有雾图像进行比较，以联合优化可学习参数(绿色)。在推理过程中，使用surface模块(灰色)来渲染清晰的视图。

辐射传递方程(RTE)描述了光在介质中吸收、散射和发射辐射的行为，假设射线 $r(t)=o+td$在 $r(t_0)$ 处击中表面点，则近像面 $t_n$ 处的入射辐射度可分为三个部分

$ϵ$ 为发射辐射度，$C_e$ 表面交点处的出射辐射度，$c_s(r(t)，d)$ 是内散射光，${\sigma }_s$是散射系数，从衰减系数 ${\sigma }_t$ 计算透射率

$T_{{\sigma }_t}(t)=exp(-{\int }_{t_n}^t{\sigma }_t(t‘)dt‘)$，其中 ${\sigma }_t={\sigma }_a+{\sigma }_s$，包括吸收和散射效应

对于常见的雾霾形成，参与的粒子被认为是不发光的，因此可以去掉发射部分

与NeRF一样，将表面表示为一个有发射的连续密度场
$c(r(t),d):=c(r(t),d)\sigma (r(t))$，衰减 ${\sigma }_t$ 中的吸收部分可以解释为表面密度 σ，因为体积密度 σ 等于吸收系数 ${\sigma }_a$，它们都决定了光子或射线在给定位置终止的概率

对分别由{c， σ}和{$c_s，{\sigma }_s$}表示的 surface 和 haze 进行原则性的形式化解缠，以得到与NeRF体渲染公式类似的表达

为了正确地解缠它们，采用了合适的架构设计和训练正则化器，以捕捉雾和表面的不同物理特性

引入归纳偏差来匹配雾霾和表面的物理特性。

为了鼓励体密度 σ 形成一个定义良好的固体表面，采用NeuS中提出的用符号距离函数(SDF)， $f(r(t))\in R$对体密度进行重新参数化，而不是直接学习体密度

${\varphi }_s(x)$是sigmoid函数 ${\varphi }_s(x)=(1+e^{-sx}{)}^{-1}$，其导数是一个以0为中心的钟形密度函数，可学习的标准偏差为 1/s，其中， { p i = o + t n d ∣ n = 1 , ⋯   , N , t n < t n + 1 } \{p_i = o + t_nd|n=1,\cdots,N,t_n<t_{n+1} \} {pi​=o+tn​d∣n=1,⋯,N,tn​<tn+1​}

${\sigma }_t^n={\sigma }^n+{\sigma }_s^n$ 表示样本 n 处的总衰减，包括由于表面遮挡和外散射引起的衰减

使用低频先验来计算散射系数和大气光 {$c_s，{\sigma }_s$}，因为这些分量通常在常见的有雾场景中变化缓慢，采用带限小的MLP作为散射系数 ${\sigma }_s$ 来捕获非均匀霾

渲染像素颜色表示为 $C=C_{surface}+C_{haze}$

引入了进一步的正则化项，以指导优化过程收敛到更合理的清晰几何和颜色

给定精确的深度图D，假设全局散射系 ${\bar{\sigma }}_s$和大气光$\overline{c_s}$恒定，清晰图像 $C_{clear}$与有雾图像 C 之间的关系可由Koschmieder定律描述为

Koschmider模型是在假设散射系数空间不变(即均匀)和理想表面的情况下，对渲染方程 4的近似

其${\bar{\sigma }}_s$和 ${\bar{c}}_s$ 是射线上样本的平均值，而深度值 $D(r)$ 是通过学习曲面几何，通过累积射线上所有样本的射线长度来计算的

在不知道原始图像的情况下，有雾图像中严重衰减的颜色可以用雾霾来解释，也可以用暗淡的表面颜色来解释。为了重建合理的清晰视图颜色，采用了在基于图像的去雾方法中广泛使用的流行2D先验——暗通道先验(Dark Channel prior, DCP)，这是由于在自然无雾图像的大多数像素中，最小的三个颜色通道接近于零。将其应用于估计的清晰图像 $C_{clear}$之前

采用与HF-NeuS中相同的设置。这包括表面SDF, f和与视图相关的表面颜色，c的mlp，以及采样策略，背景组成和学习率调度

$L_{eukonal}$用于正则化SDF

由于使用SDF的表面表示，可以选择采用对象掩码进行监督。具体来说，给定对象掩码M，采样射线k的掩码损失 $L_{mask}$ 定义为

其中 ${\hat{O}}_k={\sum }_{i=1}^N{T}_{\sigma }^i{\alpha }^i$ 是沿相机射线的clearview表面颜色的总权重，BCE是二元交叉熵损失

实验

limitations

虽然证明了所提出方法捕获数据的有效性，但某些场景不在本文的范围内，是未来工作的研究方向。这包括严重的雾霾场景，其中相机配准由于缺乏有判力的图像特征而失败，以及动态雾霾，其中雾霾的分布不仅在空间上而且在时间上发生变化。尽管如此，认为所提出方法是迈向预期应用场景的重要一步，如自动驾驶或水下成像。将物理学纳入神经渲染的原理也适用于其他不适定的低级视觉任务，如图像去噪、图像增亮和超分辨率。