DSNet: Joint Semantic Learning for Object Detection in Inclement Weather Conditions

Abstract

DSNet可以端到端的解决三个任务：可见性提升，目标分类，目标定位。DSNet包含两个子网络：检测子网和恢复子网。恢复子网通过与检测子网共享特征提取层并采用特征恢复模块来增强可见性

Introduction

使用先进的去雾模型做预处理的图像作为目标检测器的输入并不总是保证提高对象检测性能。此外，由于额外的去雾任务，将去雾所使用的的模型与检测方法相结合会降低检测速度
主要贡献如下：
1、所提出的FR（feature recovery）模块与检测子网络协同学习，以实现目标定义，从而在能见度低的情况下提高目标检测的准确性
2、目标检测是通过联合优化可见性增强、目标分类、目标定位
3、与基本检测网络相比，所提出的模型保持了较高的速度

Method

检测子网络
使用的RetinaNet，RetinaNet提出使用焦点损失来降低与分类良好的例子相关的损失，并将更多的注意力放在学习难以分类的例子上，以在训练过程中实现类别之间的平衡。此外，RetinaNet采用了一种FPN，该网络提供了自上而下的路径和横向连接，能够从丰富的语义层构建更高分辨率的层，从而显著提高在雾霾情况下检测小目标的准确性

RetinaNet作为backbone，它与恢复子网络共享一些称为CB模块的特征提取层，并在学习过程中与该子网络相结合，已以完成目标检测。
为了有效检测目标，检测子网络遵循特定策略：
1、ResNet50用来提取特征
2、在ResNet50顶部，建立FPN并构建多尺度特征来应对不同大小的目标
3、通过在每个FPN级别上添加小型FCNs，以实现卷积对象分类和边界盒回归完成目标检测任务。
分类损失：

定位损失：


Restoration Subnetwork
恢复子网络负责生成fc2并且共享这些特征给检测子网络来提高低可见度下目标检测的准确性，
恢复子网络在转换大气模型上的基础上完成目标，主要包括两个模块，如图2

转换公式，场景辐射率可以从大气散射模型获得：

去雾方法基于公式6来增强有雾图片的可见性，分别评估了t(x)和全球大气光。但是这种方法通常需要很多步骤增加了模型的复杂性。受AOD的启发，在可见性增强期间恢复子网络将t(x)和α合并为一个变量。因此，公式改变为

CB Module
CB模块用于提取输入图片的特征，包含同时学习可见性增强，目标分类，目标定位三个任务
将检测子网的前十个卷积层组成CB模块，C2作为输出，得到的特征图被分别送到FR模块提高可见性和Conv3_x用于检测目标

FR Module
CB模块提取的特征可能会因雾度而退化，从而导致较差的物体检测性能。为了恢复在fc2，恢复子网络使用FR模块，FR模块受AOD的启发，由三个子模块组成：
1、上采样子模块
2、多尺度映射子模块
3、图片生成模块

上采样子模块
在恢复子网，输出图片和输入图片的尺寸一样，但是在使用CB模块提取特征后，fc2只有输入特征的四分之一。FR模块采用上采样模块来使fc2的分辨率匹配输入图片。上采样模块首先使用11卷积层降低特征维度。特别是，fc2的通道数量降低了8倍，然后，使用双线插值把fc2放大到和输入图片一样的尺寸。
多尺度映射模块
多尺度特征被广泛地应用于许多去雾方法并且能有效地提升可见度。受多尺度提取的成功，MM子模块基于Inception架构并行使用卷积层来提取多尺度特征提高可见性。MM 子模块由5个并行卷积组成，即11,33,55,77，通道为4，特征融合后，用一个33卷积来估计G（x），它同时包含介质透射和全局大气光如公式8所示
图片生成模块
使用IP模块恢复场景辐射。IP子模块使用G（x）作为输入，采用元素相乘、元素相减、元素相加来计算7中的变换公式。恢复子网采用均方差损失

其中n是批量大小，Yj是基本实况图像，并且Y^j是估计的恢复图像。
我们强调，尽管恢复子网络可以直接产生无雾图像，但其目的不是生成无雾图像作为检测子网络的输入，而是通过学习可见性增强任务从CB模块生成干净特征（fC2）。
结果，通过联合优化可见性增强、对象分类和对象定位，提高了所提出模型的检测性能