论文阅读：《HLA-Face: Joint High-Low Adaptation for Low Light Face Detection》

1. Motivation

• 在光照条件恶劣的情况下，人脸检测仍然具有挑战性。在光照不足的情况下拍摄的图像会出现一系列的退化，例如:，低能见度，强烈的噪音和颜色。
• 正常光和弱光之间有两个层次的gap，一个是像素级外观上的差距，如照明不足、相机噪声和颜色偏差。另一个是正常和弱光场景之间的对象级语义差异，包括但不限于车灯路灯广告牌等的存在。传统的低光增强的方法无法填充语义空白。
• 低光条件和弱光条件存在巨大域差异。

2.Contribution

• 提出无注释暗数据的人脸检测框架。
• 对于低级适应，设计了一个双向策略——对弱光数据加亮和对正常光数据加噪声和颜色偏差的扭曲。
• 对于高级适应，提出面向特征适应的跨域自监督学习。

3. Method

3.1 Overview

3.2 Bidirectional Low-Level Adaptation

• 基于Zero-Reference Deep Curve Estimation (Zero-DCE)——将光增强制定为一项用深度网络进行图像特定曲线估计的任务。
• 模型由迭代二次曲线LE(·)组成。

• $L{E}_n$为迭代的结果（image），$A_n$为神经网络估计的像素级三通道平差图。
  

• 本文模型使用的是一个Strong的增强策略，在Zero-DCE的基础上增加一倍的迭代次数得到$E(L)$

• 然后用d = 25， σ = 75的强双边滤波器对$E(L)$进行模糊处理得到$E(L{)}_{blur}$

• 训练一个Pix2Pix从$E(L{)}_{blur}$转移到$E(L)$。

• 最后，用同样的方法模糊H，并使用训练好的Pix2Pix添加噪声。

3.3 Multi-Task High-Level Adaptation

Closing E(L) and H：

• 基于情境的自我监督学习设计了前置任务，通过这些任务，模型可以学习理解物体的空间环境。
• 将3 × 3个patch组装成一幅图像，并设置patch排列数为30（类似于30个分类任务）
  
  • $F_{jig}$表示从对应域里面抽取到的特征；
  • $p_{jig}$表示排列标签；
  • $L_C$表示交叉熵损失。
  • E(L)和H共享分类头，可以强制将语义特征映射到相同的空间，从而弥合高层差距。最终loss为：
    
    Closing H and D(H)
    
• $v$ 表示一个query，$v^{+}$表示”positive“样本， v − = { v 1 − , v 2 − , . . . , v n − } v^- = \{v^-_1,v^-_2,...,v^-_n\} v−={v1−​,v2−​,...,vn−​}表示”negative“
• 将H的正对设为D(H)的patch，反之亦然:
  

4. Experiment

4.1 Comparisons with State-of-the-Art Methods

目前对于暗光人脸检测主要有三种策略,如图所示：

• Enhancement ：使用弱光增强方法对DARK FACE图像进行增强，然后应用人脸探测器。代表方法：Zero_DCE,MF
• Darkening：首先将WIDER FACE转换到DARK FACE，然后使用转移后的WIDER FACE重新训练DSFD。代表方法：CycleGAN、MUNIT、CUT(better)。
• Unsupervised Domain Adaptation：OSHOT、 Pseudo Labeling（它首先使用CycleGAN人工生成训练数据，然后使用伪标签微调检测器。表现相较于CycleGAN，性能+3.2%）、 Progressive DA（像素级转移和特征级）。

下表是作者在Dark Face数据集上和现有的暗光方法的比较：

4.2 Ablation Studies

• 第二行展示了在测试时Enhance Low light Image的有效性
• 第三行，E(L) ↔ H展示了基于上下文的自我监督学习的不同选择对closeE(L)和h的影响，单独使用拼图是最好的。添加旋转会损害性能。
• 第四行，跨域对比学习方案$L_{H\leftrightarrow D(H)}$可将mAP得分提高1.8%。
• 第五行展示的是组合设计的结果