本文提出了一种名为RYFNet的卷积神经网络架构，用于估计模糊场景的传输图。该网络结合了RNet、YNet和FNet，分别通过RGB和YCbCr颜色空间提取特征，并通过融合网络生成更鲁棒的传输图。实验表明，这种方法在单幅图像去雾任务上优于现有技术，并且在目标检测等高级视觉任务中表现出色。该方法在多个数据集上进行了验证，证明了其有效性和通用性。
概述
在本文中提出了一种基于卷积神经网络的体系结构来估计模糊场景的场景传输图（TrMap）。本文提出的网络以雾图像为输入，利用本文提出的RNet和YNet分别通过RGB和YCbCr颜色空间提取雾霾相关特征，并生成两个trmap。此外提出了一种新的TrMap融合网络(FNet)，将两种TrMap融合在一起，并估计出对雾天场景的鲁棒TrMap。为了分析FNet的鲁棒性，然后对现有最先进的trmap方法的组合进行了测试。利用结构相似度指标、均方误差和峰值信噪比对该方法进行了性能评价。在D-HAZY、Imagenet、Indoor SOTS、HazeRD五个数据集和真实世界的朦胧图像集上进行了实验。性能分析表明，该方法在单幅图像去雾方面的性能优于现有的先进方法。此外，此方法扩展了我们的工作以解决高级视觉任务，如在朦胧场景中的目标检测。观察到，在雾天场景中，使用所提出的方法对目标的精确检测有显著的提高。
主要贡献
本文提出了一种融合环境中晦暗的颜色信息的网络和多尺度滤波器组，学习输入的有雾图像与对应透射图之间的像素到像素映射。该网络以一幅有雾图像为输入，通过RGB和YCbCr颜色模型收集雾相关特征，并计算出两幅传输图，分别对应一幅。此外，本文提出了一种新的融合网络，能够整合多个传输图（trmap），并估计出更鲁棒的雾霾相关特征的场景。本文提出的网络设计借鉴了已有的雾霾先验，通过对采集的3万多个合成雾霾斑块进行训练，自动学习各层的网络参数。提出的网络是RNet、YNet和FNet三个子网的组合，如下所示：
-
RNet：RNet是通过特征图选择方法专门设计的，目的是在不影响系统性能的情况下降低C2MSNet的计算复杂度。RNet通过RGB颜色空间估计模糊图像的TrMap。
-
YNet:YNet旨在通过YCbCr颜色空间探索雾霾相关特征。YNet通过YCbCr颜色空间估计TrMap。
-
FNet：它是一个融合网络，集成了使用RNet和YNet估计的朦胧图像的霾相关特征。
结合起来，将所提出的网络称为RYFNet，用于有雾图像的传输图估计。该方法的性能在5000多幅真实图像和合成图像上进行了测试，以去除单幅图像中的雾霾。此外，为了分析所提出的融合网络的鲁棒性，已经对从现有最先进方法获得的不同TrMAPs组合进行了测试。
去雾模型
本文将提议的网络称为RYFNet，它是RNet、YNet和FNet的组合。下图说明了用于传输映射估计的拟议RYFNet体系结构，同时这是一个学习框架，它明确地集成了不同的雾霾相关特征，以预测传输图。
（a）YNet（b）RNet（c）FNet
RNet架构
本文设计的一个新的网络（RNet），并对C2MSNet进行了一些架构更改。RNet降低了C2MSNet的计算复杂度，同时保留了稳健的特征映射。拟议的RNet旨在通过RGB颜色模型学习雾霾相关特征。基本上，RGB颜色通道独立地保留边缘。然而，在自然的户外图像中，雾霾会均匀地传播到红色、绿色和蓝色通道。因此，在模糊图像的情况下，RGB通道的分割以及从彩色通道以及空间区域中计算最小值以估计暗通道（深度）是有说服力的。受DChP假设的启发和C2MSNet来估计雾霾场景传输图，然后通过光学模型来恢复无雾霾场景。在这种情况下，RNet的设计方式使其保留了与C2MSNet类似的架构功能，并丢弃了每层的冗余过滤器，以降低计算复杂度。上图（b）显示了拟议的RNet。下面为RNet的分层设计。
1、Cardinal Color Fusion CNN（C2FNN）：虽然现有的DehazeNet和MSCNN通过学习CNN架构中与雾霾相关的功能，解决了各种假设（先验）的缺点。然而，由于在第一层使用传统的卷积池结构，它们丢失了模糊场景的基本颜色信息。这会导致在阴暗环境（照明不良）或浓雾中出现颜色失真。DChP提出了一种新的暗通道来估计雾霾密度。同时可知来自RGB颜色空间的每个颜色通道都会提供一些有关雾度密度的信息，因此，为了了解颜色通道的复杂组合及其对雾霾密度的有用性，我们使用并行卷积层（conv1）和通道连接层（CwC）初始化了网络，如下所示
其中f k1和bk1分别代表滤波器和偏置。f k1∈ IRm×m×c是过滤器总数（F1=8）和k∈ [1，F1]其中c代表颜色通道，c∈ [R，G，B]和m×m是滤波器尺寸。IC是对应于单色通道的输入模糊图像。Oc1的空间大小与输入图像IC相同。
同时发现conv1 CwC层产生了不同风格的颜色通道，用于估算雾霾密度。此外，在CwC层的输出上使用等式（6）执行信道方式的最大池化（CwP，以实现先验的极值处理。
生成的特征图被称为多深度通道（MDCh）。
2、多通道多尺度CNN（McMs）− C N N）：受多尺度特征有效性的启发，本文设计了并行卷积滤波器组，可以提取精细和粗糙信息。拟议中的McMs-CN是RNet的一个子部分。MDCh特征映射作为多尺度并行滤波器组的输入，使用公式（7）实现尺度不变性。
其中，滤波器空间大小为m×m（m∈ [3,5,7]），F1代表等式（6）的输出总数，b2是偏置，i∈ [1，F2]对输出特征映射进行索引。 然后将多尺度滤波器的响应串联起来，以结合精细和粗糙特征。
3、RNet的目标：空间池的目的是实现局部不变性。为了整合多尺度特征地图的强响应，使用空间最大池（使用等式（8）和卷积层（conv3）。
（x）的求和 是以x为中心的m1×n1图案大小。
最后，使用非线性激活函数将网络响应限制在[0,1]之间。
YNet架构
YCbCr颜色模型是用于视频压缩的RGB颜色空间的压缩版本。色度通道（Cb、Cr）是亮度（Y）通道的加权偏差。同时，在单幅图像雾度去除中使用该模型可以抑制色度成分（Cb、Cr）中雾度的影响。因此设计了YNet，它通过YCbCr颜色空间预测样本模糊图像的TrMap。YNet架构分为三个子部分，即：（1） 时间特征学习（2）空间特征学习和（3）非线性激活。上图（a）显示了YNet体系结构。
1、 时间特征学习（TfL）：因为一个简单的卷积层失去了颜色特征，将导致了实验结果中浓雾中的颜色失真。然而，在YCbCr颜色模型中，色度分量只是亮度（Y）的加权偏差。因此，每个通道已经了解了其他通道的强度变化。因此，通道之间的相互依赖性导致我们在YNet中使用最简单的卷积层。本文将YNet的第一个模块设计为通道学习，这是卷积层和通道最大池的组合。特别是，通道式池实现了现有先验所建议的时间极值处理。
2、空间特征学习（SfL）：为了避免过度饱和，DCP整个实验过程中假设斑块大小为15×15。然而，固定大小的窗口会在深度不连续和复杂的边缘结构处产生光晕效应。因此，DCP无法应对规模变化。为了实现尺度不变性，我们将YNet的下一个子块设计为空间特征学习（SfL）。SfL包括多尺度卷积滤波和空间池。池层的目的是实现空间不变性。此外，该子块满足现有先验的空间极值处理
3、 非线性激活：与RNet类似，YNet的尾部由卷积层和BiReLU[34]激活函数组成。BiReLU保留了双侧约束和局部线性（与ReLU相同）。
FNet架构
本文通过RGB和YCbCr颜色空间提取了雾霾相关信息。现在，我们利用FNet来整合这些颜色模型的模糊特征。因此，设计了三层FNet：卷积、通道池和非线性激活单元（卷积后BiReLU）。FNet中卷积层的作用是检测来自先前层的霾相关特征的局部聚集。然而，池层将语义相似的功能集成到一个池中。上图（c）显示了拟议FNet的架构。此外，还设计了带有ReLU激活函数的FNet，而不是BiReLU，并对所有数据库的结果进行了比较。具有ReLU激活的RYFNet架构被表示为RYFNet_ReLU。
后处理
与现有方法类似，后续使用光学模型来恢复无雾场景。使用了[11]中提出的一种简单方法，用于全球空气光估计，并遵循等式大气模型获得无雾场景。使用全局空气光的原因是：粒子辐射它吸收的光，就像悬浮在空气中的光源。所有这些粒子产生大气光：被大量粒子多次散射的光。从统计学上讲，大气光在空间上是均匀的（在像场景这样的大尺度意义上）和各向同性的[11]。因此，我们根据[11]在我们的工作中提出的建议，估算了全球大气光。
C2MSNET的优化
尽管C2MSNet在层数方面是紧凑的体系结构，但它在每一层的过滤器数量上是冗余的。为了减少这种冗余，本文将每个卷积层中的滤波器数量减少了四倍。特征图选择（FMS）方法用于选择最强的激活。FMS包括每一层的视觉分析。图3显示了使用C2MSNet和优化的C2MSNet（建议的RNet）获得的多通道深度图（基本颜色融合网络的输出）。上图3（a）见证了提取的特征图中的冗余，它指示我们从并行卷积层（conv1）中消除冗余特征图和相应的滤波器。上图3（b）显示了从各个过滤器中提取的优化特征图。从上图3（b）中可以观察到，所有特征地图都带有不同的雾霾相关信息。对网络的其他层执行类似的过程，以降低计算复杂度。同样，对整个网络进行了视觉分析。由于C2MSNet只有六层，因此可以查看每个功能响应。对于更深层次的网络，必须遵循[32]中提出的网络可视化技术。
实验结果
使用结构相似性指数（SSIM）、均方误差（MSE）和峰值信噪比（PSNR）对所提出的网络进行定性和定量评估.
扫一扫
889
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
