PE-YOLO: Pyramid Enhancement Network for Dark Object Detection

• 论文地址：https://arxiv.org/abs/2307.10953
• 论文代码： https://github.com/XiangchenYin/PE-YOLO

文章主要内容

  目标检测在不利的条件下（黑暗环境）性能较低，为此，本文提出了一个金字塔增强网络（PENet），并将其与YOLOv3联合起来，构建了一个名为PE-YOLO的暗目标检测框架。在精度和准确度PE-YOLO都得到了大幅度的提升。

文章的主要贡献点

1. 我们建立了一个金字塔增强网络（PENet）来增强不同的低光图像。我们提出了一个细节处理模块（DPM）和一个低频增强滤波器（LEF）来增强组件.
2. 通过将PENet与YOLOv3结合起来，我们提出了一个端到端训练的暗目标检测框架PE-YOLO来适应黑暗条件。在训练过程中，我们只使用正常的检测损失。
3. 与其他暗探测器和低光增强模型相比，我们的PE-YOLO在ExDark数据集上取得了先进的结果，实现了令人愉快的精度和速度。

1. PEnet由detail processing module (DPM)和low-frequency enhancement filter (LEF)组成。
2. DPM：上下文分支通过捕获远程依赖关系来获取上下文信息，并通过全局方式增强组件。边缘分支使用两个不同方向的Sobel算子来计算图像梯度，以获得边缘并增强组件的纹理。

LEF（丰富重构图像的语义）。假设分量为f∈Rh×w×3，我们首先通过卷积层将其转换为f∈Rh×w×32。使用一个动态低通滤波器来捕获低频信息，并且我们使用平均池化来进行特征滤波，这只允许低于截止频率的信息通过。不同语义下的低频阈值是不同的。在本文中，采用大小为1×1、2×2、3×3、6×6的自适应平均池，并在每个尺度末端采用上采样来恢复特征的原始大小。在不同内核大小的平均池化条件下，形成了一个低通滤波器。我们通过通道分离分为四个部分，即{f1、f2、f3、f4}。每个部分都使用不同大小的池化进行处理，并将其描述为；

1. PE-YOLO

损失：检测器的损失

图像金字塔：

高斯金字塔是最基本的图像塔。首先将原图像作为最底层图像G0（高斯金字塔的第0层），利用高斯核（5*5）对其进行卷积，然后对卷积后的图像进行下采样（去除偶数行和列）得到上一层图像G1，将此图像作为输入，重复卷积和下采样操作得到更上一层图像，反复迭代多次，形成一个金字塔形的图像数据结构，即高斯金字塔。

  在高斯金字塔的运算过程中，图像经过卷积和下采样操作会丢失部分高频细节信息。为描述这些高频信息，人们定义了拉普拉斯金字塔(Laplacian Pyramid， LP)。用高斯金字塔的每一层图像减去其上一层图像上采样并高斯卷积之后的预测图像，得到一系列的差值图像即为 LP 分解图像。在使用拉普拉斯金字塔操作中，实际上也就实现了上采样的过程

①：首先，将图像在每个方向扩大为原来的两倍，新增的行和列以0填充(0)

②：使用先前同样的内核(乘以4)与放大后的图像卷积，获得 “新增像素” 的近似值。

实验

数据集：ExDark数据集涵盖了从极弱环境到微光环境（共10种不同条件）下的7363幅弱光图像，包含有12个对象类

与一般低光照图像增强算法的相比

与一般的目标检测相比：