基于梯度引导偏振度估算的图像去雾【1】

摘　要：　雾或霾天气下，大气粒子对光的散射作用造成光学图像细节弱化，严重影响后续图像分析与处理任 务. 现有去雾算法存在去雾后丢失图像信息、产生模糊以及天空区域过增强等问题. 本文从偏振视角与暗通道先验理 论出发，提出了一种基于直接透射光梯度特征引导的目标偏振度估算算法，进行图像去雾. 通过偏振图像获取场景与 大气偏振信息；再以暗通道先验算法估计的直接透射光梯度特征为引导，提出目标偏振度估算算法；最终将估算的目 标偏振度转为大气光强，经过原理性约束与引导滤波，得到优化的大气光强，进一步求解去雾图像与优化的目标偏振 度. 定性实验表明：本文算法去雾图像具有良好的平滑度，且克服了现有去雾算法存在的可见度低、去雾残留以及天 空区域过增强问题；定量实验表明：本文算法既不会造成图像信息丢失，也不会产生过多噪声与模糊. 综合对比五种 代表性去雾算法，本文算法具有良好的细节恢复能力、图像熵提升能力以及色调还原能力.

关键词：　图像处理；图像去雾；偏振图像；暗通道先验；偏振度估算

1　引言

        雾或霾天气下，大气中存在的高浓度微小粒子会 对光产生散射作用，粒子散射的光线与目标本身反射 的光线混合，造成民用监控和军事探测等专业成像设 备采集的图像清晰度与对比度严重下降，为后续的目 标检测、跟踪等任务造成严重影响. 含雾图像的去雾处 理可以有效提升图像清晰度，进一步提升后续图像分 析处理任务的性能. 因此，图像去雾在民用与军事领域 具有重要的研究意义. 近年来，涌现了众多图像去雾算法. 从去雾算法的 原理出发，可以将图像去雾算法具体分为三类：基于非 物 理 模 型 、基 于 物 理 模 型 和 基 于 深 度 学 习 的 去 雾 算法。

1. 1　基于非物理模型的去雾算法

        基于非物理模型的去雾算法，主要利用图像本身 的数学特征或统计特性增强图像细节，本质是图像增 强技术 . 具体包括直方图均衡化［2］ 、Retinex 算法［3］ 、小 波变换［4］ 等 . 直方图均衡化［2］ 利用非线性变换拉伸灰 度直方图增加图像对比度，进而实现去雾. 该方法原理 简单，可以实现一定程度的去雾，但容易引入额外噪声 且鲁棒性差 . Retinex 算法认为物体的色彩不受光照非 均性的影响，具有一致性 . Retinex 算法发展较为完善， 从单尺度 Retinex 算法改进为多尺度 Retinex 算法［5］ ，再 引入色彩恢复因子得到色彩恢复的多尺度 Retinex 算 法［6］ . 小波变换［4］ 具有多分辨率特点，由于雾霾主要影 响图像低频部分，算法通过抑制低频亮度，增强高频亮 度，实现去雾. 以上算法的本质都是经过一定的统计与 变换将细节特征进行放大，都属于图像增强手段［1］ .

1. 2　基于物理模型的去雾算法

        基于物理模型的去雾算法，主要以大气物理退化 模型为基础，通过结合不同的先验信息估算模型参数， 进一步求解去雾图像 . Schechner 等［7］ 最先提出较成熟 的偏振去雾算法，但对包含浓雾天气的图像处理效果 较差 . Fattal等［8］ 利用阴影与透射率局部不相关假设求 解透射率，但由于该方法固有的统计特性弱点，对浓雾 图像的去雾效果不好［9］ . Tan［10］ 认为无雾图像对比度高 于含雾图像，通过最大化对比度实现去雾 . 2009年，He 等［11］ 通过分析大量的户外无雾图像，提出暗通道先验， 进一步提出了暗通道先验去雾算法，是目前最稳定的 去雾算法［1］ . 该算法去雾效果明显，但存在颜色失真， 常伴有一定的分块与纹理效应［12］ . 后续基于物理模型 的去雾算法多以暗通道先验为基础，结合各种先验信 息构建约束函数进行求解，实现去雾. 暗通道先验去雾算法虽能取得较好的效果，但参数设置存在局限性，导 致去雾鲁棒性不强［9］ . 此外，使用暗通道先验去雾时， 大多数散射模型的去雾方法在处理天空区域时都会产 生过增强现象［9］ . 如，Tarel等［13］ 使用暗通道局部均值与 标准差表示大气光强，通过中值滤波估计大气厚度，利 用大气物理退化模型实现去雾.                                                                                                 除暗通道先验算法外，还有颜色衰减先验去雾算 法、基于偏振的图像去雾算法等. 其中颜色衰减先验去 雾算法复原的清晰图像色彩自然，但在景深处容易出 现雾残留等问题［1］ . 偏振去雾算法计算需要估计未知 大气条件标定信息，估计成本过大、过程繁琐导致实际 运用难度较大［1］ . 如，Fang等［14］ 基于直接透射光与透射 率局部不相关假设，估算目标偏振度，进一步求解去雾 图像，但该算法假设易受图像噪声影响，导致偏振度出 现较大偏差，去雾图像出现大面积失真. 孟宇飞等［15］ 提 出四分暗通道均值比较法，用于估计模型参数，进而实 现双角度偏振图像去雾算法 . 此算法虽然可以减小场 景中白色高亮物体对实验结果估计的影响，确保最后 所选区域位置在天空区域［15］ ，但易受过曝与图像噪声 影响，鲁棒性较差.

1. 3　基于深度学习的去雾算法

        基于深度学习的去雾算法，主要从去雾数据集中 学习如何从含雾图像恢复出清晰图像 . 常见的公开去 雾数据集有 I-HAZE［16］、O-HAZE［17］、RESIDE［18］、NHHAZE［19］ 和 BeDDE［20］ 等，但以上数据集均未含有偏振 数据.                                                                            早期两种较为经典的基于深度学习的去雾范式： 第一种是利用深度学习估计大气物理模型参数进而实 现去雾. Cai等［21］ 基于先验，提出一种名为DehazeNet的 端对端模型，输入含雾图像，输出透射图，代入大气物 理退化模型实现图像去雾. 去雾后图像细节明显，但景 深变化处去雾效果不好，低亮度区域易丢失图像信息， 且算法参数较多，效率较低. 此后，以DehazeNet为代表 的基于物理模型参数估计的深度学习去雾算法迅速发 展，如：王高峰等［22］ 在透射率估计部分引入深度可分离 卷积层，提出改进 DehazeNet 模型 . 麻文刚等［9］ 提出一 种景深引导网络（Depth Guided Netword，DGN）与环境 光优化的图像去雾算法 . 第二种是在像素域直接建立 含雾图像和清晰图像的映射，实现去雾 . Qin等［23］ 提出 一种端到端的特征融合注意网络（Feature Fusion Atten⁃ tion Network，FFA-Net）. Chen等［24］ 提出一种基于生成对 抗网络（Generative Adversarial Network，GAN）的端到端 模型（Gated Context Aggregation Network，GCANet），利用平滑卷积取代了扩展卷积. 该算法不依赖先验信息， 但对数据集要求高，且应用场景受限. 肖进胜等［25］ 基于 GAN 设计了漏斗型的生成器，实现从含雾图像到无雾 图像的转换.                                                                                                                                             此外，近年也涌现了很多新的去雾范式. Li［26］ 等提 出一种有效的半监督学习算法用于单幅图像去雾 . Shao［27］ 等为解决在合成图像上训练的模型不能很好地 推广到真实图像去雾的问题，提出一种域适应范式 . Zhao［28］ 等将去雾任务分为可见度恢复与真实度增强， 提出基于两阶段去雾策略的弱监督去雾模型（Refine⁃ ment Dehazing Network，RefineDNet）. Wu［29］ 等提出一种 新的真实图像去雾范式：一方面重新考虑真实雾天图 像退化过程，提出一种不同退化类型的现象学pipeline； 另一方面结合强大的高质量码本先验提出真实图像去 雾模型（Real Image Dehazing network via high-quality Co⁃ debook Priors，RIDCP）. Li［30］ 等为解决单幅图像去雾中难 以获取同场景无雾图像和采集数据成本高的问题，受层 解纠缠启发，提出第一个用于单幅图像去雾的无监督 的，未训练的神经网络（You Only Look Yourself，YOLY）. 绝大部分深度学习去雾算法的训练需要大量低质 量-高质量图像样本对，实际中成对样本难以获得，低质 量图像常通过物理模型对高质量图像降质得到，这种 人为仿真难以很好地模拟图像降质，因此训练出的模 型泛化性能差，处理真实图像时，往往会失效［31］ . 且由 于大部分深度学习算法要求固定的分辨率输入，导致 很难迅速地将算法用于不同分辨率的图像.

1. 4　本文去雾算法

        针对大多数暗通道先验去雾算法对天空区域的过增强现象，偏振去雾算法易受图像噪声影响，以及大多 数深度学习去雾算法泛化性差、难以快速用于不同分 辨率图像的问题，本文提出了一种基于梯度引导偏振 度估算的图像去雾算法. 首先，从采集的偏振图像提取 场景偏振信息与大气偏振信息. 然后，假设图像小区域 内场景光强、大气光强不变，以暗通道先验算法［11］ 估 计的直接透射光梯度特征作为引导，估算目标偏振 度 . 最后，将估算的目标偏振度转为大气光强，通过 原理性约束与引导滤波，求解去雾图像与优化的目 标偏振度 . 较于现有的暗通道先验算法，本文算法有 效地解决了天空区域过增强问题 . 相较于深度学习 去雾算法，本文算法不需要训练，具有普遍适用性， 且不会造成图像信息丢失或产生模糊. 实验结果表明， 本文算法具有良好的去雾效果，同时去雾图像具有良 好的细节信息、信息熵、色调还原程度与无参考图像质 量评价.

2　算法原理及模型构建

2. 1　大气物理退化模型

        大气物理退化模型假设大气是均匀的，并将成像 设备接收到的总光强 I 分为直接透射光强 D 和大气光 强A，如图1所示，使用公式表示为 I = D + A （1） 其中，直接透射光强 D 是目标反射光强 J 经大气衰减， 被成像设备接收的部分，使用公式表示为 D = Jexp ( - βd ) = Jt （2） 其中，β是大气衰减系数；d是目标到成像设备的传输距 离；t是透射率.

大气光强 A 由大气自身辐射，大气粒子散射太阳 光、环境光构成，使用公式表示为：

其中，A¥是无穷远处大气光强，通常视作全局参量［7］ .去雾算法的本质是去除大气光强A，并对目标反射 光强 J 的衰减进行补偿，即 J 是理想情况下的去雾图 像. 结合式（1）~（3），可得去雾图像：

        由式（4）可知，实现去雾需求解A与A¥. 相关理论与实验结果均表明大气光强 A与目标反 射光强 J 为偏振光［14］ . 将场景、大气、目标偏振特征与 大气物理退化模型相结合，得到大气物理退化模型的 偏振表示：

ρI = ρA A + ρD D （5）

        其中，ρ、ρA与ρD依次是场景、大气与目标偏振度. 进一 步推导，得到直接透射光强 D 与大气光强 A 的偏振 表示：

其中，式（7）将大气光强A表示为ρ、ρA与ρD的函数. 要 去雾需求解A与A¥，那么需要求解的参量分别是ρ、ρA、ρD与A¥.

2. 2　基于目标偏振度估算的去雾算法

        基于第 2. 1 节的分析，本节具体阐述如何求解 ρ、 ρA、ρD与A¥，并实现图像去雾. 基本思想是利用偏振图 像求解场景光强 I、场景偏振度 ρ与场景偏振角 α，在天 空区域估计大气偏振度 ρA，利用暗通道先验算法［11］ 估 计无穷远处大气光强 A¥ 与直接透射光强 Ddark. 由于 目标区域场景光强同时包含直接透射光强与大气光 强，直接估算目标偏振度 ρD 是十分困难的，因此考虑 反应目标偏振特性的直接透射光，将式（6）看作目标 偏振度的函数 D ( ρD )，以直接透射光 Ddark 的梯度特征 作为引导，估算目标偏振度 . 再通过一系列转换、约束 和滤波优化，最终求得去雾图像与优化的目标偏振 度 . 图 2 为所提算法流程图，图中序号为具体的实现 步骤.

        第（1）步、第（2）步：采集偏振图像并提取场景光强 I、场景偏振度 ρ 和场景偏振角 α. 采集起偏方向为 0°、 45°、90°、135°的图像，分别记作I0°、I45°、I90°和I135°，可求 得斯托克斯矢量：

        其中，S0是场景光强；S1是水平方向和垂直方向的光强 差；S2 是 45° 和 135° 方向的光强差 . 由式（8），可以求 解I、ρ与α：

        第（3）步：基于场景光强I，利用暗通道先验算法［11］ 估计无穷远处大气光强 A¥与直接透射光强 Ddark. 含雾 图像中天空区域光强非常接近 A¥，这使得暗通道中天 空区域的强度明显大于目标区域 . 由此选取暗通道中 强度最大的 0. 1% 像素，以其在 I 中的强度均值估计 A¥. 进一步估计直接透射光强 Ddark，详细推导见附 录A.

        第（4）步：基于场景光强 I，分割天空区域并估计大 气偏振度ρA与偏振角αA. 从大气物理退化模型大气均 匀的假设出发，理论上天空区域各像素偏振信息一致， 即 ρA 与 αA 是 全 局 参 量 . 基 于 天 空 区 域 像 素 估 计 ρA与αA：

        （1）由于分割天空区域是为了获取足够多的天空 像素，因此对分割边缘的准确性要求不高. 采用自动阈 值分割与手动分割结合的方式，在不含目标的前提下 获取足够多的天空像素；

         （2）采集偏振图像时，成像设备响应单元存在偏 差，这使得偏振图像含有一定的系统噪声 . 由于 S0 是 I0°与I90°之和，S1是I0°与I90°之差，S2是I45°与I135°之差， 可以认为S1与S2中的系统误差小于S0. 式（11）中，α的 求解只受 S1与 S2中的噪声影响，而式（10）中，ρ的求解 还会受到 S0中噪声的影响 . 为抑制系统噪声对估计的 影响：首先由式（11）求解各天空像素的偏振角，以出现 频次最高的偏振角为 αA；其次，选取偏振角为 αA 的天 空像素，以其最大偏振度为ρA.

        第（5）步：基于上述步骤得到的I、ρ、ρA与Ddark估算 目标偏振度. 基于场景光强I与大气光强A在均匀区域 内缓慢变化的性质，假设小区域内场景光强与大气光 强不变，该假设仅在少数边缘变化剧烈情况下有效性 较弱. 综合考虑I与A不变的假设和估算精度，选择5 ´ 5像素的小区域用于目标偏振度估算 . 由式（6）可以发 现，直接透射光强D在已知场景光强I、场景偏振度ρ与 大气偏振度 ρA的条件下，是以目标偏振度 ρD为自变量 的函数 D ( ρD ). 以 D ( ρD ) 梯度特征与 Ddark 梯度特征的 差异构造代价函数，通过优化代价函数估算ρD，求解过 程参照文献［32］，详细推导见附录B.

        第（6）步：将场景光强I、场景偏振度ρ、大气偏振度 ρA与目标偏振度ρD代入式（7），求解大气光强A. 第（7）步：由于 A 是 I的组成部分，对 A 进行 0 < A £ I约束，再以 I为引导图像，对 A 进行引导滤波［33］ ，得到 优化的大气光强Â . 第（8）步：将A¥与Â代入式（4），求解目标反射光强 J. 也可将式（7）变形，并将 Â代入，得到优化的目标偏 振度ρ̂ D = ρI - ρA Â I - Â . 由大气物理退化模型可知，求解目标反射光强J意 味着实现图像去雾处理.