TPAMI 2024 | 无监督光照适应低光视觉

 

题目：Unsupervised Illumination Adaptation for Low-Light Vision

无监督光照适应低光视觉

作者：Wenjing Wang; Rundong Luo; Wenhan Yang; Jiaying Liu

摘要

光照不足对人类和机器视觉分析都带来了挑战。现有的低光增强方法主要关注人类视觉感知，往往忽略了机器视觉和高层语义。在本文中，我们首次构建了一个面向高层视觉的光照增强模型。借鉴相机响应函数的灵感，我们的模型可以从机器视觉的角度增强图像，尽管其架构轻量、公式简单。我们还引入了两种方法，利用基础增强曲线的知识和自监督预任务来训练不同的从正常光到低光的适应场景。我们提出的框架克服了现有算法的局限性，无需在低光条件下获取标注数据。它能够更有效地恢复光照和对齐特征，显著提高下游任务的性能，并可以即插即用。该研究推进了低光机器分析领域，广泛适用于分类、面部检测、光流估计和视频动作识别等多种高层视觉任务。

关键词

• 领域适应

• 高层视觉

• 光照增强

• 低光

• 自监督学习

I. 引言

光照不足是由恶劣环境、设备故障或不当拍摄设置导致的常见图像退化问题。它会损害图像的视觉质量，导致细节丢失、可见度下降和美感失真。此外，随着深度学习的进步，视觉分析在众多应用中变得越来越重要。低光条件也会对机器分析提出挑战，使高层视觉任务（如夜间监控视频分析和自动驾驶）变得更加困难。

自数字成像诞生以来，低光图像的恢复得到了广泛关注。许多工作有效地提高了低光图像的人类视觉质量，从早期手动设计的算法到最近的基于学习的模型。然而，大多数现有的低光增强方法旨在改善图像的视觉质量，却忽略了机器视觉的需求，从而误导了下游高层视觉模型。一些方法尝试嵌入语义感知进行视觉重建，但仍无法保证下游高层视觉任务的性能。

为了进一步提高机器视觉在黑暗中的表现，一个直观的想法是直接在标注的低光数据上训练模型。尽管在某些任务上表现良好，标注要求却严重限制了它们的应用范围。因此，无监督的正常光到低光领域适应成为一个有前景的研究方向，这种方法消除了标注的需求。在这个领域中，一些方法提出通过图像翻译合成目标领域标注，而另一些则采用自监督学习或手工操作符。然而，现有算法要么依赖多个源域，要么采用繁琐的多阶段和多级过程，或在更暗的情况下失效。此外，大多数适应方法集中于机器分析模型的高维特征，而忽略了输入图像本身的特性。

与上述方法相比，我们充分利用了光照调整的潜力。我们提出了一种基于曲线的增强模型和两种自监督训练策略，以从机器视觉的角度增强图像，从而提升模型在下游高层任务中的表现。首先，受韦伯-费希纳定律和相机统计数据的启发，我们通过“凹性”约束我们的增强函数，该函数通过预测非正二阶导数并应用离散积分来高效实现。此设计使得增强模型能够生成自然逼真的图像，并提高其对多个下游任务的适应性。随后，我们设计了两种自监督策略，将此模型训练为无监督适应。当任务相关信息可用时，我们提出汇集预定义的基础增强曲线的知识。该过程通过汇总这些曲线增强图像上的模型预测结果为伪标签来实现。尽管公式简单，但汇集基础曲线能够为后续的自我训练带来可靠的监督。

III. 架构：深凹曲线

A. 动机：从CRF到凹曲线

相机响应函数（CRF）定义了场景光照强度与相机捕获的像素值（强度）之间的关系。光照与辐照度线性相关，但与强度有着复杂的非线性关系。基于此，一些低光增强工作利用了辐照度的线性关系。他们首先将图像强度转换为辐照度，线性调整辐照度，然后将辐照度映射回强度。

B. 公式和实现

我们的光照增强函数应满足两个基本特征：递增单调性和凹性。因此，我们称我们的增强模型为“深凹曲线”。