86、Reliable Image Dehazing by NeRF

简介

论文：https://arxiv.org/pdf/2303.09153v1.pdf
nerf应用扩展

一种高质量、应用广泛、不需要数据训练和先验的图像去雾算法

基于光学散射模型和计算机图形照明渲染模型相结合的新型可靠的除雾重建与除雾模型，基于新的雾霾模型和摄像机获得的图像，重建三维空间，准确计算空间中的物体和雾霾，并利用雾霾的透明度关系进行准确的去雾

3D模拟数据集从 Unreal 5 computer graphics rendering engine 获得

不同场景的实拍数据通过雾发生器、阵列相机、手机、水下相机和无人机得到雾霾数据

计算指标上遥遥领先(4 dB高质量平均场景)，颜色保持更自然，算法在不同场景下更鲁棒，主观感知最好

贡献点

• 放弃简单的去雾公式，使用更详细的照明散射公式。通过计算机图形绘制公式，将散射公式与三维重建相结合。计算原理更符合实际，除雾效果更可靠、更好。
• 该算法可应用于普通除雾、夜间雾除雾、遥感除雾、水下除雾等多个领域，且不需要每个领域的原始先验知识。
• 以往的除雾数据集采集比较困难。由于方法不需要先验知识和相应的图像对来训练，使用该方法，可以产生大量的多场景实景拍摄数据集。

去雾算法

现有算法在拟合图像数据对方面做得很好，但对于数据集中从未出现过的非均匀雾霾场景很难进行合适的处理。而且很多场景的雾霾浓度会发生变化，需要使用去雾算法来保证去雾后的无雾场景也能保持完整。

图像去雾算法泛化能力差。现有的除雾场景太多了，普通地面除雾、遥感除雾、夜间除雾、水下除雾、沙尘除雾、雨雪除雾。不同场景也存在多个雾霾并存和细分变化，因此对每种类型的方法分别研究先验信息是费时且无效的。

图像去雾只有很少的数据，而且生产成本很高。许多图像问题，如去马赛克，去模糊，去紫，去抖动，去噪等，由于导致这些问题的组件是在相机内部。内部相机校准和数据集采集相对容易。雾霾数据通常在室外，光照和雾霾条件很难保持一致。

实现流程

现实中的三维体积对应于每个神经辐射场体素，从生成的神经辐射场中去除代表雾霾的体素，然后重新渲染来获得无雾霾的图像，可用于图像去雾、镜面去反射、夜间去雾、遥感去雾、水下去雾等应用

More Reliable Haze Model

雾霾造成的图像退化主要是由于粒子对光线的散射。然而，实际场景的灯光并不总是均匀一致的。由于各种原因，雾霾在夜间图像中出现的方式不同。大气光在全局范围内具有均匀的照度。直光是直接被照亮的雾，而辉光是靠近光的晕霾。这三种不同颜色和强度的光通过散射最终到达CMOS

传统去雾公式

𝑥 是像素的位置，𝐼(𝑥)是相机像素接收到的信号，𝑅(𝑥)是物体自身发射的信号，𝐿(𝑥)是大气全局照度，𝑡(𝑥)是传输速率公式如下

𝑑(𝑥)是物体到相机的距离，𝛽是衰减系数，𝑒表示衰减是指数线性的

上述公式引入了深度信息，但认为雾霾引起的光散射只是在深度方向上进行是错误的。该模型的去雾往往与实际情况有很大出入。由于光散射问题的复杂性，应将其考虑到三维空间中

雾霾的形成主要分为吸收、外散射、发射、内散射。

吸收是指雾霾粒子吸收的光强，𝑥为雾霾粒子，𝜔为光从雾霾粒子中射出的角度，${\sigma }_{\alpha }(x)$ 为吸收系数

辐射传递方程(RTE)：

$-{\sigma }_{s}L(x,w)$表示向外散射,${\sigma }_s(x)$表示向外散射系数，${\sigma }_{\alpha }{L}_e(x,w)$代表发射,$f_p(x,w,w‘)$是一个相位函数，$f_{s^2}{f}_p(x,w,w‘)L(x,w‘)dw‘$表示内散射

近似推导上式的体积可以表示为3，称其为体绘制方程(VRE)

𝑀是不透明表面,𝐿𝑖(𝑥，𝜔)是5中的在散射,透光率是吸收和向外散射的净折射率，如式7所示

上述RTE和VRE公式是真实世界中光散射和计算机图形(CG)渲染的真实公式

如果追求精确的图像去雾，必须放弃Eq. 1和Eq. 2所示的简单的去雾公式，而是使用RTE或VRE

遗憾的是，现有的图像处理技术很难处理这种三维照明问题。但是计算机图形渲染对雾效应有非常深入的研究

Rebuild Haze Volume

上述RTE和VRE公式非常复杂，不仅需要大量的计算开销，还需要大量的参数获取过程。仅靠图像信息很难做到这一点，快速生产天气的技术可以降低雾霾重建的压力

在当前遮蔽的位置附近的所有点都接收到等量的二阶散射光，散射光为𝐺𝑛，目前阴影接收为 $f_{ms}$

不同阶次的散射光可以近似为线性关系

证明了光散射的最终结果必须进入收敛稳态。也就是说，当开始计算空间中的雾霾时，不需要计算光来回散射的复杂VRE过程，而只需要计算稳态

Voxels and Volumetric fog

由于式9的存在，多能级散射可以近似为一次。

在静态散射的稳态下，可以利用神经辐射场的三维重建能力，拟合出一个光和粒子都不发生变化的稳定雾霾空间。

空间中透明度较低的体素是真实散射模型中稳定后的雾霾区域，只需要去除空间中小于阈值的体素，就可以实现精确的非先验图像去雾

Determining the dehazing threshold (alpha)

由于采样的准确性，并不是所有的体素都是物体或雾霾，一些体素经常被采样到雾霾和物体的边界

以浅灰色和黑色体素为主的体素中，有一些中间灰色体素的体素，但是，对于整个体素空间，这部分边界是相当小的

阈值开始变化的时候会有三个阶段

• 去除大量的雾霾
• 去除少量的雾霾和少量的物体细节
• 去除大量的物体细节

需要在中间阶段捕捉到阈值，即需要找到当体素变化时，渲染图像结果变化相对缓慢的阈值

Global and Non-global Haze

全局阴霾和非全局霾是两种不同类型的阴霾，评价的基本标准是图像的主体是否有雾霾。

非全局阴霾并不统一，在夜间雾的照片中，灯光可见的区域经常有明显的雾霾

全局雾霾有两种类型:均匀和非均匀，全局一致的雾霾，如遥感照片或常规地面雾

在全局雾霾场景中，光线经常在照亮物体之前穿过雾霾，然后在进入相机之前再次穿过雾霾

在非全局雾霾场景中，光线先照射物体，雾霾后再进入相机

与非全局雾霾场景相比，全局场景光线穿过雾霾场景的次数更多，这一结论将影响后续的算法管线

需要将渲染的去雾图像和有雾图像之间的差异加倍，以获得光线击中物体并反弹到相机而不穿过雾霾的图像

通过雾霾的入射光是一个宏观概念，而上面渲染方程和散射方程中不同体素之间的光进出是一个微观过程。

Systom overview and Algorithm structure

一套软硬件集成的雾霾清除系统。包括雾霾图像拍摄，重建和删除体素，以及后期处理是组成系统的三个模块。

• 相机阵列还是单个相机的运动来捕捉雾霾的图像。
• 使用一些图像，重新创建模糊的3D体素空间。
• 还选择一个合适的阈值来消除该区域中被认为是模糊的体素。
• 通过使用图像的变化信息，我们限制了阈值。
• 为了获得所需的无雾图像，重新渲染了去除雾体素的3D空间。
• 为了提高渲染过程中由于各种雾霾原因和信息丢失造成的无雾图像的渲染质量，选择了特定的图像后处理技术。图像后处理包括均匀和非均匀雾霾场景的图像超分辨率和去雾优化。

由于该方法图像去雾处理更准确，与真实的雾霾场景更接近，因此产生的处理结果更精确，算法更可靠，并且不需要先验知识或数据驱动的训练。

DATA PREPARATION

现有的图像去雾数据往往只有雾和非雾两种类型。然而，在世界范围内拍摄薄雾、中雾、浓雾图像，不同的图像往往有不同的雾密度。雾浓度的确定是一个难点。因此，单密度雾霾数据集的通用性较差。但是，算法需要一个雾霾模拟工具，可以生成不同浓度的雾霾强度，并符合VRE或RTE等散射公式。室外实景拍摄数据集需要考虑物体运动、光线变化、雾霾漂浮、雾机功率等问题。因此，很难获得保持所有其他室外条件的真实雾霾和地面真实图像对。

提出了一种基于 Unreal Engine 5 的数据构建方法。渲染后的图像远高于图像处理中使用的亚像素精度。它也远远高于重建脱雾所需的精度。

我们能够通过Unreal Engine 5 收集两种不同类型的场景均匀和不均匀雾霾的数据对。

计算机视觉中的许多指标都对应着图像去雾领域。例如，大气雾和体积雾对应大气霾和辉光霾。雾密度、雾衰减、雾散射颜色、散射分布、反照率分别对应光学厚度、衰减因子、光源颜色、大气PSF、辉光霾梯度。与二维图像去雾相比，计算机视觉雾效果的三维参数更为复杂，有许多不对应的参数，如投射体积阴影和体积散射强度。

引擎中有两种主要类型的雾:指数高度雾和大气雾。分别表示图像去雾模型中的Glow项和Airlight项。夜间除雾与普通除雾的主要区别是在指数高度上的体积雾。

在三维空间中移动渲染引擎中的虚拟摄像机，并将摄像机固定在某个位置。可以分别拍摄有雾场景和无雾场景，得到成对的图像。图像将直接保存在项目文件夹中。而且由于是虚拟摄像机，获得的图像位置完全一致，因此不需要进行配准等后续操作。需要注意的是，在拍摄图像时，有些场景有活动部件和特效。为了保持场景的一致性，需要删除活动部分和特效。可以选择不同的场景和不同的观点，最终在不同场景下制作了180对3000*1600像素的夜雾和无雾图像对。

放大图像，可以发现采集的图像具有定向雾霾、大气光和原始图像信号衰减的特征。甚至发现渲染的场景也表明，雾霾降低了阴影的对比度。这些特征变化在普通图像去雾中往往缺乏考虑。

对于实际的数据收集，使用不同的方式拍摄每个场景。等待水和其他东西保持稳定，同时来回旋转防水相机拍摄水下照片。使用一个移动的无人机摄像机，它指向地面，为遥感捕捉图像。在有雾的日子里用iPhone录制视频，以获得夜间不均匀的雾霾视觉效果。使用600w超声波雾机为室内照片创建雾霾。漂浮的雾霾会对算法产生影响，但该设备的视频录制技术无法实时捕捉到有关雾霾的信息。因此，为了获得照片，使用了一个适度的相机阵列。至少有5台Android设备都是相同的，并且使用定焦录制。视频时间戳用于同步时间。

雾霾空间重构首先需要对雾霾图像进行配准。对于新的数据，使用colmap算法进行计算。前面提到的相机阵列方法也可以使用之前校准的相机参数。随着雾霾密度的增加，图像中的特征变得越来越模糊，图像配准变得越来越困难。在对模拟数据的测试中，当雾图像密度(体素)a大于0.2时，图像匹配成功率大幅下降，数据集几乎无法使用。幸运的是，在长期雾霾日的数据采集过程中，很少遇到全球性雾霾，计算出的体素a大于0.2。大多数数据浓度分布在0.01-0.1之间。几乎没有真实图像的雾霾浓度过高导致图像不匹配。

The Appropriate Dehazing Threshold

阈值方法的可行性由实验结果所示。不同的雾霾浓度用从0到0.2的不同颜色的线表示。来自阈值 𝑡 和 𝑡+ Δ𝑡 的图像以 psnr 和 ssim 为间隔进行比较。在不同t阈值下，用GT比较了图像和无雾图像的psnr和ssim。当阈值变化对图像的影响最小时，图像去雾效果最好，即psnr和ssim与无雾参考图像相比最高。

Number of Reconstructed Images

有或没有雾霾，重建图像的数量往往影响三维神经辐射场重建的质量。整个体素(雾霾粒子)的计算精度受到采样图像数量和网络的离散采样精度的限制。网络精度越高，计算成本越高。许多算法正在针对少量图像进行改进，但这些算法通常需要编码。空间编码的前提是空间中没有雾霾，所以算法中没有使用空间编码。

从表可以看出，4 ~ 10霾的重建效果迅速增加。从10到20次拍摄，效果略有提高，有时会出现噪音。但4 ~ 10张图的去霾效果也迅速提升，增长速度比雾霾重建更明显。10 ~ 20张图片的增长速度有所放缓，但也比霾重建的增长更为明显。

实验