图像去雾入门

1.背景

        大气污染现象愈发严重，雾霾天气频繁出现，而当监控和遥感成像系统等采集图像/视频的时候极易受到此类天气的影响，由此采集到的照片会有质量下降、对比度下降、颜色偏移等问题，且会对人们造成一些影响（如下图）：

1.影响人的观感，且不易识别图像内容；

2.影响智能视觉系统处理任务，目标检测/图像分割等。

图1主观影响

图2 客观影响

2.成因

根据大气散射模型（ASM），也就是退化图像成型模型：当雾霾存在时，空气中会存在不同的悬浮颗粒，这些颗粒会对不同的光吸收和反射；

图3 退化图像成因

3.意义及目标

        恢复清晰的图像，即边缘与纹理(高频信息)、色彩与亮度(低频信息)等对更好地获取低质量图像中的信息，及对后续高级视觉任务的影响具有重大意义。

图4 去雾目标

4.研究现状

根据方法的不同，图像去雾可分为以下三类。

图5 去雾的分类

4.1 图像增强法

        一个最简单直接的方法就是直方图均衡化：灰度图像是由灰度值在0-255(0为黑，255时为白)的像素点构成的，将图内所有灰度值数量统计得到直方图，将直方图内灰度值等比例映射至0-255，得到均衡化后的直方图。

图6  直方图均衡化

优点：计算简单，无需多余信息就能达到单图去雾；

缺点：容易造成局部过度增强，不适于复杂情况。

4.2 图像复原法

        复原法即根据物理模型恢复潜在原图像方法，假设雾天空气颗粒透射率为t，t为0%时全遮挡，100%时观察目标最清晰。再加上光照条件，由此得到大气散射模型：

图7 大气散射模型

雾天成像退化模型得来的先验方法：

I=Jt+A(1-t)→J=(I-A(1-t))/t，其中I作为输入，J作为要得到的目标。所以估算出透射度t(x)与大气光A即可得出结果，但是无法从输入图片中直接获取，需要从大量图片得到先验信息。

经典估算两种参数的文章为暗通道先验（DCP），大概步骤如下：

1.彩色图像包含三个颜色通道(RGB) ；

2.将每个位置的像素值取最低，并用最小滤波核取一个范围最小的值；

3.得到的图像即为暗通道图，图中取0.1%最亮的像素值作为光照A的值，并通过公式得到t；

4.通过计算大量图片得到t作为先验，在去雾时只需计算A即可得到清晰图。

图8 DCP方法大致步骤

优点：参数少，简单；

缺点：依赖先验信息，且在含有大片天空或曝光区域时效果不好。

4.3 深度学习法

        深度学习去雾算法大部分为有监督学习，效率高，且适应各种雾浓度的环境，目前主流深度学习算法框架分为以下几种：

1.基于物理模型：估算雾天成像退化模型中的参数(大气光/透射率)；

2.端到端：

          卷积神经网络(CNN);

          生成对抗网络(GAN)；

          Transformer;

          ……

4.3.1 基于物理模型

根据物理模型，可分为大致组成部分：透射率估计子网络，大气光估计子网络。

图9 基于物理模型深度学习网络示例（来自期刊论文）

优点：子网络分工明确，针对性的恢复图像；

4.3.2 基于GAN

生成对抗网络分为两个子网络，

生成器：生成去雾图；

判别器：判断生成图与真正的清晰图真假，以便更好地训练生成器；

图9 基于GAN的去雾网络示例（来自期刊论文）

优点：生成去雾图质量高，有时不需要清晰图像也可以训练；

缺点：可能在生成过程中产生随机噪声。

4.3.3 基于CNN

        CNN中重要的网络结构U-Net，包含对称的编码器与解码器，编码器不断提取抽象特征，解码器将特征不断恢复具体特征；U-Net广泛用于图像去雾/去噪/增强/超分辨率等领域。

图10 基于U-Net去雾的网络示例（来自期刊论文）

优点：可自行更改网络深度，可以更好恢复细节；

缺点：层数越深参数增长越快。

5.展望

1.稳定性：如何让可见度低的浓雾区域在细节上恢复得更清晰；

2.数据集：去雾数据集大都为合成数据集，即在清晰图像中合成雾霾作为训练集，导致现实雾霾图像恢复不真实，所以需要更真实的数据集；

3.泛化性：模型可以更多适应不同场景：如遥感/室内/夜间/水下；

4.多任务：模型可以解决多个不同任务：如去雾/去雨/增强/检测等。

        入行不深，本文根据个人理解所作，其中对于方法评价以及展望的内容包含部分的个人理解，请各位加以指正或改正。