Semi-supervised Single-Image Dehazing Network via Disentangled Meta-Knowledge TMM(2023) 论文阅读

qq_41776273

已于 2023-08-29 09:54:49 修改

阅读量314

点赞数 1

文章标签：论文阅读

于 2023-08-08 11:39:42 首次发布

本文链接：https://blog.csdn.net/qq_41776273/article/details/132160797

版权

paper: https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=10202595

code: https://github.com/dehazing/DNDM

室外场景采集到的图像很容易受到雾霾的影响。由于真实世界环境的复杂性和训练数据集的域差异，大多数图像去雾方法对真实世界雾霾图像的泛化能力有限。本文提出了一种基于解耦元知识的半监督单图像去雾网络。解耦网络的对称异构设计有利于分离雾霾图像的内容特征和降质特征，并将这些特征作为元知识，指导去雾网络中的特征融合过程。此外，提出色彩恒定损失和解耦重建损失，以确保生成的去雾图像的主观质量。在合成数据集和真实世界图像上进行的大量实验结果表明，所提出的算法优于最先进的单图像去雾算法。此外，该算法还有效提高了后续目标检测任务的性能。源代码可通过 https://github.com/dehazing/DNDM 公开获取。

PROPOSED DNDM SCHEME

大多数深度学习单图像去雾算法都使用合成数据集进行训练，这严重限制了此类方法在真实世界雾霾图像上的性能。为了提高网络模型在实际应用场景中的鲁棒性，所提出的 DNDM 基于真实世界和合成图像相结合的半监督训练。整个网络结构如图 1 所示，主要由三个部分组成：解耦重建网络(DRC)、元注意力网络(MAN)和去雾网络(DN)。

图 1. 所提去雾框架的整体结构。解耦元网络的内容和掩码分支通过学习元知识来生成解耦元注意力，用以指导去雾网络中的特征融合过程。

A. DRC and MAN

如图 2 所示，DRC 网络由内容网络、掩码网络和重构网络组成。内容网络和掩码网络的前后两端都包含一个 3 × 3 的卷积层，中间由八个残差网络块组成。重构网络包含 8 个残差块和 4 个卷积层，它融合了内容网络和掩码网络的最后一层特征，以还原相应的图像。

图 2. 解缠重构网络的结构。

雾霾图像的内容信息和降质信息是各向异性的，而不同的网络结构在提取不同属性特征、促进内容特征和降质特征解耦方面具有指导作用。基于此，我们从卷积核大小、激活函数和特征融合方法三个方面设计了对称异构结构（SHS），以更好地区分图像的内容信息和掩码信息。内容分支和掩码分支都有八个残差结构，而残差网络--内容网络（C35）和掩码网络（M53）的核大小分别为 3 × 3 和 5 × 5、5 × 5 和 3 × 3。此外，内容网络和掩码网络的残差网络块分别使用了 Relu 和LeakyRelu 激活函数。C35 与 ReLU 的结合有利于保留图像的局部细节信息，而 M53 与 LeakyReLU 的结合可以提取从粗到细的退化信息。

我们希望内容特征包含更多信息，在重建过程中占据更高的权重。因此，我们选择了内容和掩码的乘积以及内容的总和作为重建网络的输入。通过这种方式，SHS 引导内容特征包含更多详细信息，在重建过程中的参与度更高，而掩码特征则更侧重于退化信息。

如图 1 所示，输入图像通过 DRC 网络，以获得多层次的内容和降质特征。然后将内容特征和降质特征串联到 $F_{DM}$ 中，作为 MAN 的输入，以实现解耦元注意力机制。计算公式如下

$A_{DM}=sigmoid(Conv1Relu(Conv1GAP(F_{DM}))),$

其中， $A_{DM}$ 表示分离的元关注度。在 MAN 中通过一个全局平均池化层、两个 1 × 1 卷积层和一个 sigmoid 层。

B. Dehazing Network

如图 1 所示，每幅输入图像都要经过去雾网络(DN)处理，得到最终的去雾结果。在 DN 中，输入图像由一个 3×3 卷积层进行预处理，然后经过三个阶段。

DN 中 stagei 的详细结构如图 3 所示。所提议的去毛刺模型的每个阶段由五个区块和一个卷积层组成。其中一个块包含两个卷积层、一个通道注意（CA）模块和一个像素注意（PA）模块。第 i 阶段的卷积层采用 (2i-1)×(2i-1) 的卷积核大小，提取不同感受野的特征。DN 中的连续通道和像素注意为处理不同类型的信息提供了额外的灵活性

图 3. 去雾网络中的阶段结构。每个Stage由五个block组成，这些区块中每个卷积核的大小 n 等于 (2i - 1) × (2i - 1)。

然后，来自三个阶段的特征图 S1、S2 和 S3 根据 MAN 计算出的解耦元注意力 $A_{DM}$ 进行加权，如下公式所示。这种外部元知识使 DN 能够根据输入图像的内容和掩码信息进行自我调整。

$S_{DM}=A_{DM1}\bigotimes S_1+A_{DM2}\bigotimes S_2+A_{DM3}\bigotimes S_3 .$

随后，像素注意力(PA)模块用于选择和优化特征。最后，经过两层卷积后输出去雾图像。

C. Loss Function

在所提出的方法中，单图像去雾霾网络的半监督训练是通过一种解耦元注意机制来实现的。在前向传播过程中，输入一对合成图像 $(I_{Sh},I_{Sc})$ 和真实世界图像 $(I_R)$ 。每幅图像通过 DNDM 网络获取内容和降质特征、以及用于计算损失的去雾图像和重建图像，整体DNDM 方案见算法 1。

去雾损失 $L_{DE}$ 只用于有监督的数据，而其余损失 $L_{DRC},L_{COL},L_{TV},L_{DCP}$ 则应用于有监督合成和无监督数据，网络训练的总体损失函数如下：

$L_{train}=\lambda _1L_{DE}+\lambda _2L_{DRC}+\lambda _3L_{COL}+\lambda _4L_{TV}+\lambda _5L_{DCP} .$

去雾化损失 $L_{DE}$ 被广泛应用于低视觉任务中对有监督部分的限制，它包含平滑损失 L1 和感知损失 Lp，比例为 1:0.04。感知损失 Lp 采用在 ImageNet 上预先训练好的 VGG16 作为损失网络，并从前四阶段的最后一层提取特征。

DRC 网络计算解耦重建损失 $L_{DRC}$ 。除了广泛使用的重建损失外，我们还利用内容和掩码分支设计了内容和掩码损失函数。其中，内容分支计算出的 $L_{Con }$ 可用于保持图像内容的一致性，而 $L_{Mask }$ 可用于限制图像退化。

我们引入了色彩恒定损失 $L_{COL}$ ，以根据图像与原始图像的颜色相关性对去雾霾图像进行约束。它包括 $L_{CAP}$ 和 $L_{Lab}$ ，分别考虑图像的颜色和亮度，系数比为 1:0.1。在本研究中，利用输入输出图像亮度信息，设计了一个亮度恒定损失函数 $L_{Lab}$ 来限制 DN 在图像亮度方面的稳定性。

无监督总变异损失 $L_{TV }$ 被广泛应用于低级视觉任务，以保留结构和细节信息。此外，结合暗通道先验DCP，利用暗通道损失 $L_{DCP}$ 对去雾结果进行约束。

EXPERIMENTS

Datasets

在这项研究中，我们在合成数据集和真实世界数据集上对网络进行了训练。我们从互联网上手动收集了 13990 张真实世界的雾霾图像和 14427 张清晰图像，创建了无监督数据集；这些数据可在 https://github.com/dehazing/DNDM 网站上公开获取。我们选择 RESIDE数据集中的室内（ITS）和室外（OTS）合成数据集作为监督数据集。测试数据集选择RESIDE中的SOTS，HSTS以及RTTS数据集。此外，也在HazeRD，I-HAZE，O-HAZE等多个数据集上验证了算法的有效性。

Evaluations on Synthetic and Real Datasets

在合成数据集上比较了所提DNDM和先前方法的主客观结果。从表 I 可以看出，我们的方法在 SOTS 和 HSTS 数据集上取得了最佳结果，在 HazeRD 数据集上也具有竞争力。如图 4 所示，与最先进的去雾方法相比，所提出的算法表现出色。

我们还在实际数据集 I-HAZE 和 O-HAZE 上进行了客观指标比较。表 II 显示，我们的方法在 I-HAZE 数据集上取得了最佳结果，在 O-HAZE 数据集上也具有竞争力。

我们评估了模型处理真实世界图像的能力。如图 5 所示，大多数算法都存在去雾霾不彻底的局限性。而我们提出的方法表现出色，获得了更好的视觉效果。

Task-driven Evaluation

雾霾严重降低了基于视觉的户外工业系统中图像的可见度。例如，在监控系统中，人脸被雾霾遮挡，导致视觉和身份线索不足。这对在没有雾霾场景下训练的人脸检测和识别算法提出了挑战。此外，车辆和行人的轮廓和详细信息也会在雾霾中丢失，从而导致错误检测，严重影响自动驾驶系统的稳定性。所提出的去雾化算法能有效提高图像的可见度，恢复身份线索以及行人和车辆的详细信，从而提高后续检测和识别任务的准确性。

Ablation Study

我们对所提网络的结构和损失函数的有效性进行了广泛的消融实验。

1) Network Architecture

本节介绍了为评估各组成部分的功效而进行的消融实验的结果

a) 解耦网络中内容和掩码分支网络的 SHS 设计

解耦网络结构部分对SHS中卷积核的大小、激活函数以及重构的特征融合方式进行了消融实验，证明了所提结构的有效性。

b) 网络结构和训练数据的配置

不同网络结构和训练数据的消融实验对比结果如图 9 和表 VI 所示。可以看出，去雾霾网络中的通道注意力机制CA和像素注意力机制PA 都能有效提高算法性能（M10/M11/DNDM）。元学习的加入，以及真实数据引入训练，均有效提升了模型性能。

2) Loss Functions

我们每次从整体损失函数中移除一个损失，以验证其对网络的影响。定量结果如表 VII 所示，LDE 和 LDRC 对网络性能的影响很大，这可能是因为它们比其他损失函数更能稳定模型训练。实验的主观结果见图 9 M14-M18。在训练过程中专门设计了 DRC 损失函数和色彩恒定损失函数，以优化去雾霾网络。

我们使用不同的超参数进行了消融实验，验证了所使用的损失函数超参数均处于合理量级。

CONCLUSION AND FUTURE WORK

本文提出了一种基于解耦元知识的半监督去雾霾算法。该算法首次将解耦表征与元学习结合实现了半监督去雾霾网络，增强了网络对真实场景的泛化能力。为了更好地提取雾霾图像去雾过程中的有效引导信息，解耦网络采用了独特的对称异构设计。最后，色彩恒定损失的加入确保了去雾霾图像的色彩稳定性，更好地保存了图像信息。在合成和真实世界的雾霾图像上进行的大量实验结果表明，所提出的算法比最先进的去雾霾方法性能更佳。

虽然所提出的 DNDM 在图像去噪方面取得了良好的泛化能力，但由于网络结构是人工设计的，因此仍有改进的余地。此外，数据集仍然是影响图像去雾霾性能的因素之一，我们将重点收集更多的真实雾霾图像，并研究其对半监督和无监督方法性能的影响。在 SHS 中提出的融合方法可以引导内容特征，保留更多细节信息；同时，对称异构网络结构的参数需要针对不同类型的降解图像进行特殊设计。在今后的工作中，将利用网络结构搜索来探索不同对称异构网络结构对其他类型降解图像的适用性。