CVPR 2022|大连理工提出SCI《Toward Fast, Flexible, and Robust Low-Light Image Enhancement》论文超详细解读(翻译+精读)

前言

大连理工大学2022年4月发表在CVPR Oral上的一篇文章,提出自校准照明框架SCI(这名字不中都难呀),用于现实场景的低照度图像增强。跑完代码效果是非常不错的,出于好奇我去读了这篇论文,这可以说是我近期读的最舒适的一篇论文了,论文的整体框架很规范、思路也很清晰,实验部分的操作以及写法有很多值得我们模仿的地方,今天我们就来一起拜读一下~

学习资料:

目录

前言

Abstract—摘要

翻译

精读

一、Introduction—简介

Model-based Methods—基于模型的方法

翻译

精读

Network-based Methods—基于网络的方法

翻译

精读

Our Contributions—本文的贡献

翻译

精读

二、The Proposed Method—拟用的方法

2.1 Illumination Learning with Weight Sharing—权重共享的照明学习

翻译

精读

2.2 Self-Calibrated Module—自校准模块

翻译

精读

2.3 Unsupervised Training Loss—无监督训练损失

翻译

精读

2.4 Discussion—讨论

翻译

精读

三、Exploring Algorithmic Properties—探索算法特性

3.1 Operation-Insensitive Adaptability—操作不敏感适应性

翻译

精读

3.2 Model-Irrelevant Generality—模型无关通用性

翻译

精读

四、Experimental Results—实验结果

4.1 Implementation Details—实现细节

翻译

精读

4.2 Experimental Evaluation on Benchmarks—基准测试评估

翻译

精读

4.3 In-the-Wild Experimental Evaluation—野外实验评估

翻译

精读

4.4 Dark Face Detection—深色人脸检测

翻译

精读

4.5 Nighttime Semantic Segmentation—夜间语义分割

翻译

精读

4.6 Algorithmic Analyses—算法分析

翻译

精读

五、Concluding Remarks——总结

翻译

精读

Abstract—摘要

翻译

现有的弱光图像增强技术大多不仅难以处理视觉质量和计算效率,而且在未知的复杂场景中通常无效。在本文中,我们开发了一种新的自校准照明 (SCI) 学习框架,用于在现实世界的弱光场景中实现快速、灵活和稳健的增亮图像。具体来说,我们建立了一个具有权重共享的级联光照学习过程来处理这个任务。考虑到级联模式的计算负担,我们构建了自校准模块,该模块实现了每个阶段结果之间的收敛,产生仅使用单个基本块进行推理的增益(在以前的工作中尚未开发),这大大降低了计算成本。然后,我们定义了无监督训练损失,以提升可以适应一般场景的模型能力。此外,我们进行了全面的探索,以挖掘 SCI 的内在属性(现有作品中缺乏的),包括操作不敏感的适应性(在不同的简单操作的设置下获得稳定的性能)和模型无关的通用性(可以应用于基于光照的现有作品)以提高性能)。最后,大量的实验和消融研究充分表明了我们在质量和效率方面的优势。微光人脸检测和夜间语义分割的应用充分揭示了 SCI 的潜在实用价值。源代码可在 GitHub - vis-opt-group/SCI: [CVPR 2022] This is the official code for the paper "Toward Fast, Flexible, and Robust Low-Light Image Enhancement".获得。


精读

研究背景: 现有的低照度图像增强技术大多不仅难以处理视觉质量和计算效率,而且在未知的复杂场景中普遍无效

本文提出: 自校准照明 (Self-Calibrated Illumination, SCI) 学习框架,快速、灵活、鲁棒性好。

本文主要方法:

(1)构建了自校准模块,实现了各阶段结果之间的收敛,产生了只使用单个基本块进行推理的增益,降低了计算成本。

(2)定义了无监督训练损失,以提高模型适应一般场景的能力。

(3)对 SCI 的内在特性进行了综合探索,包括操作不敏感的适应性 和与模型无关的通用性 。

实现效果: 在弱光人脸检测和夜间语义分割方面的应用充分揭示了 SCI 潜在的实用价值。


一、Introduction—简介

Model-based Methods—基于模型的方法

翻译

Model-based Methods.一般来说,Retinex 理论 [16] 描述了微光图像增强的基本物理规律,即微光观察可以分解为照度和反射率(即清晰的图像)。受益于 l2-范数的便捷解,Fu 等人。 [5, 6] 首先使用 l2-范数来约束光照。此外,郭等人[8]采用相对总变化[28]作为光照的约束。但是,它的致命缺陷在于过曝的外观。李等人[13] 在一个统一的优化目标中对噪声去除和弱光增强进行了建模。 [10]中的工作提出了一种半解耦分解模型,用于同时提高亮度和抑制噪声。一些作品(例如,LEACRM [17])也利用相机的响应特性进行增强。受限于定义的正则化,它们大多会产生不令人满意的结果,并且需要针对实际场景手动调整大量参数。


精读

方法

  • Retinex
  • L2-norm
  • 采用相对总变化作为约束条件
  • 统一的优化目标
  • 半解耦的分解模型
  • 利用摄像机的响应特性进行增强

不足

  • 存在过度曝光现象
  • 受限于定义的正则化
  • 需要针对现实世界的情况手动调整大量参数

Network-based Methods—基于网络的方法

翻译

Network-based Methods.通过调整曝光时间,[3] 中的工作构建了一个新的数据集,称为 LOL 数据集。这项工作还设计了倾向于产生不自然的增强结果的 RetinexNet。 KinD [34] 通过引入一些训练损失和调整网络架构来改善 RetinexNet 中出现的问题。 DeepUPE [22] 定义了一个用于增强低光输入的照明估计网络。 [30] 中的工作提出了一个递归带状网络,并通过半监督策略对其进行训练。 EnGAN [11] 设计了一个在非配对监督下注意增强的生成器。 SSIENet [33] 构建了一个分解型架构来同时估计光照和反射率。 ZeroDCE [7] 启发式地构建了具有学习参数的二次曲线。最近,刘等人[14] 使用架构搜索构建了一个受 Retinexin 启发的展开框架。不可否认,这些深度网络是精心设计的。然而,它们并不稳定,难以实现始终如一的卓越性能,尤其是在未知的现实世界场景中,细节不清晰和曝光不当无处不在。


精读

方法

  • 调整曝光时间
  • 改善RetinexNet
  • 递归带状网络,并通过半监督策略训练
  • EnGAN
  • SSIENet
  • ZeroDCE

不足

  • 不稳定,不能持续表现高性能
  • 在未知的现实场景中,不清楚的细节和不适当的暴露是普遍存在的

Our Contributions—本文的贡献

翻译

Our Contributions.为了解决上述问题,我们开发了一种新颖的自校准照明 (SCI) 学习框架,用于快速、灵活和稳健的低光图像增强。通过重新开发光照学习过程的中间输出,我们构建了一个自校准模块,赋予单个基本块更强的表示,并在每个阶段的结果之间收敛以实现加速。更具体地说,我们的主要贡献可以总结为:

• 我们开发了一个用于光照学习的自校准模块,具有权重共享,以赋予每个阶段的结果之间的收敛性,提高曝光稳定性并大大减少计算负担。据我们所知,这是第一个通过利用学习过程来加速弱光图像增强算法的工作。

• 我们定义了无监督训练损失,以在自校准模块的影响下约束每个阶段的输出,赋予对不同场景的适应能力。属性分析表明,SCI具有对操作不敏感的适应性和与模型无关的通用性,这在现有工作中是没有的。

• 进行了广泛的实验来说明我们与其他最先进的方法相比的优势。进一步执行在暗面检测和夜间语义分割方面的应用,以揭示我们的实用价值。简而言之,SCI 重新定义了基于网络的低光图像增强领域的视觉质量、计算效率和下游任务性能的峰值点。


精读

(1)本文开发了一个具有权重共享自校准照明学习模块,以协商每个阶段的结果之间的收敛,提高曝光稳定性,并大幅度减少计算负担。这是第一个利用学习过程来加速微光图像增强算法的工作。

(2)本文定义了无监督训练损失来约束各阶段在自校准模块作用下的输出,赋予对不同场景的适应能力。属性分析表明,SCI 具有操作不敏感的适应性和模型无关的通用性,这是现有研究中未发现的。

(3)本文进行了大量的实验,并在黑暗的人脸检测和夜间语义分割方面进行了应用。


二、The Proposed Method—拟用的方法

2.1 Illumination Learning with Weight Sharing—权重共享的照明学习

翻译

     根据Retinex理论,在低照度观察值y和期望的清晰图像z之间存在着一种联系:y = z ⊗ x,其中x代表照明成分。一般来说,照度被看作是低光照图像增强需要主要优化的核心部分。根据Retinex理论,通过去除估计的照度,可以进一步获得增强的输出。在此,受作品[8,14]中提出的照度分阶段优化过程的启发,通过引入参数θ的映射Hθ来学习照度,我们提供了一个渐进的视角来模拟这一任务,基本单元被写为

        其中u t和x t分别代表第t阶段(t = 0,...,T - 1)的剩余项和照度。需要注意的是,我们没有在Hθ中标记阶段编号,因为我们采用了权重共享机制,即在每个阶段使用相同的架构H和权重θ。

        事实上,参数化算子H θ 1在照明和低光观察之间学习了一个简单的残差表示u t。这个过程的灵感来自于一个共识,即照明和低光观察在大多数地区是相似的或现有的线性连接。与采用低光观察和照明之间的直接映射(现有工作中常用的模式,如[14,22])相比,学习残差表示大大降低了计算难度,既保证了性能,又提高了稳定性,特别是对于曝光控制2。 特别是对于曝光控制2。

        事实上,我们可以直接利用上述建立的过程与给定的训练损失和数据来获得增强的模型。但值得注意的是,具有多个权重共享块的级联机制不可避免地会产生可预见的推理成本。 重新审视这个共享过程,每个共享块都希望尽可能地输出一个接近于预期目标的结果。再进一步说,理想的情况是第一个块可以输出期望的结果,满足任务需求。同时,后面的区块输出类似的结果。甚至是与第一个区块完全一样的结果。这样一来,在测试阶段,我们只需要一个区块就能加快推理速度。接下来,我们将探讨如何实现它。


精读

启示

低照度的图像与想要得到的清晰图像之间是有关联的,其中最重要的成分就是照明,这个也是在弱光图像增强中需要主要进行优化的部分。

本文的方法

提出了一种学习照明量的新模型:

  • u^{t}:第t阶段的残差——计算残差的方式可以大大降低了计算难度,既保证了性能,又提高了稳定性,尤其对于曝光控制会有很好的能力
  • x^{t}:第t阶段的光照
  • H_{\theta }:光照估计网络,并且Hθ与阶段数无关,采用了权重共享机制,即在每个阶段使用相同的架构H和权重θ

理想效果

理想的情况是第一个块可以输出所需的结果,满足任务需求。

同时,后一个块输出与第一个块类似,甚至完全相同的结果

这样,在测试阶段,只需要一个单独的块来加速推理速度。


2.2 Self-Calibrated Module—自校准模块

翻译

在这里,我们的目标是定义一个模块,使每个阶段的结果收敛到同一个状态。我们知道每个阶段的输入都源于前一阶段,第一阶段的输入明确定义为低光观察。一个直观的想法是,我们是否可以将每个阶段的输入(除了第一阶段)和弱光观察(即第一阶段的输入)连接起来,以间接探索每个阶段之间的收敛行为。为此,我们引入了一个自校准的地图 s 并将其添加到低光观察中,以呈现每个阶段和第一阶段的输入之间的差异。具体来说,自校准模块可以表示为

 其中 t ≥ 1,vt 是每个阶段的转换输入,Kϑ是引入的参数化算子具有可学习的参数 ϑ。那么第t阶段(t≥1)的基本单元的转换可以写为

 实际上,我们构建的自校准模块通过整合物理原理来逐步校正每个阶段的输入,从而间接影响每个阶段的输出。为了评估自校准模块对收敛的影响,我们在图 3 中绘制了每个阶段的结果之间的 tSNE 分布,我们可以很容易地观察到每个阶段的结果确实收敛到相同的值。但这种现象在没有自校准模块的情况下是找不到的。此外,上述结论也反映了我们确实实现了第二节最后一段所述的意图。 2.1,即使用权重共享模式训练多个级联块,但仅使用单个块进行测试。

我们还在图 2 中提供了总体流程图,以了解我们建立的 SCI 框架。


精读

目的

满足上面的理想状态,即定义一个模块,确保在训练过程中的不同阶段的输出均能够收敛到相同的状态。

自我校准模块

  • y:低照度图像
  • Z: 目标图像
  • S:自校正映射
  • K_{\vartheta }:参数化操作符,ϑ 参数可学习
  • V^{t}:每个阶段转换后的输入,校准后的用于下一阶段的输入

光照优化过程的基本单元被重新公式化为:

图3中绘制了每个阶段的结果之间的tSNE分布

结论:自校准模块的引入(a)使得不同阶段的结果能够很快地收敛到相同状态,即三个阶段的结果重合。但在没有自校准模块(b)的情况下,无法发现这种现象。

SCI框架

在训练阶段,SCI由光照估计自校准模块组成。

自校准模块将添加到原始的微光输入中,作为下一阶段照明估计的输入。

注意:这两个模块分别是整个训练过程中的共享参数。在测试阶段,我们只使用单个照明估计模块。


2.3 Unsupervised Training Loss—无监督训练损失

翻译

考虑到现有配对数据的不准确性,我们采用无监督学习来扩大网络的能力。我们将总损失定义为

其中Lf和Ls分别表示保真度和平滑损失。α和β是两个正平衡参数4。保真度损失是为了保证估计的照明与每个阶段的输入之间的像素级一致性,公式为

其中T是总级数。实际上,该函数利用重新定义的输入y + st−1来约束输出照度xt,而不是手工制作的地面实况或普通的低光输入。照明的平滑性是这项任务中的广泛共识[7,34]。在这里,我们采用具有空间变化的范数的平滑项[4],表示为

其中N是像素的总数。i是第i个像素。N(i)表示i在其5 × 5窗口中的相邻像素。wi,j表示权重,其公式化形式为

其中c表示YUV颜色空间中的图像通道。σ = 0.1是高斯核的标准偏差。


精读

原因

考虑到已有配对数据的不准确性,本文采用无监督学习来扩大网络的能力。

总损失公式

  • Lf :表示保真度
  • Ls :表示平滑损失

1.保真度损失

保真度损失是为了保证估计照度和每个阶段输入之间的像素级一致性,公式如下:

2.平滑损失

本文采用了一个具有空间变化 l1 范数的平滑项 ,表示为:


2.4 Discussion—讨论

翻译

本质上,自校准模块在学习更好的基本块(本工作中的照明估计块)时起辅助作用,该基本块级联以生成具有权重共享机制的整体照明学习过程。更重要的是,自校准模块赋予了每个阶段结果之间的收敛性,但在现有工作中尚未对其进行探索。此外,SCI的核心思想实际上是引入额外的网络模块用于辅助训练,但不用于测试。它改进了模型表征,以实现仅使用单个块进行测试。也就是说,可以将“权重共享+任务相关自校准模块”机制转移到处理其他加速任务。


精读

自校准模块的作用

  • 自校准模块在学习更好的基本块 时起到辅助作用,通过权值共享机制。
  • 自校准模块使各个阶段的结果趋于一致。

SCI 的核心思想

SCI 实际上是引入额外的网络模块来辅助训练,改进模型表征,实现只使用单个块进行测试。


三、Exploring Algorithmic Properties—探索算法特性

3.1 Operation-Insensitive Adaptability—操作不敏感适应性

翻译

一般来说,基于网络的方法中使用的操作应该是固定的,不能随意改变,因为这些操作是在大量实验的支持下获得的。幸运的是,我们提出的算法在 Hθ 的不同极其简单甚至幼稚的设置上表现出惊人的适应性。如表1所示,我们可以很容易地观察到我们的方法在不同的设置(块3×3卷积+ReLU的数量)下获得了稳定的性能。此外,我们在图 4 中提供了视觉比较,可以很容易地观察到,我们具有不同设置的 SCI 都使低光观察变亮,显示出非常相似的增强结果。重新审视我们设计的框架,可以得到这个属性在于 SCI 不仅转换了光照的共识(即残差学习),而且还整合了物理原理(即逐元素除法运算)。本实验也验证了我们设计的SCI的有效性和正确性。


精读

本文的优势

本文提出的算法在Hθ的不同极为简单甚至原始的设置上表现出令人惊讶的适应性。

表1.MIT测试数据集上不同Hθ设置之间的定量比较。其中,基本块包含大小为3×3的卷积层和ReLU层。“块”和“通道”分别表示基本块的编号和基本块中通道的变化。

在不同设置(块3×3卷积数+ReLU)之间获得了稳定的性能

图4.表1中不同情况下的比较

具有不同设置的SCI都使弱光观察变亮,显示出非常相似的增强结果。

原因: SCI 不仅转换了照明共识(即剩余学习),还集成了物理原理(即元素分割操作)。


3.2 Model-Irrelevant Generality—模型无关通用性

翻译

如果不限制任务相关的自校准模块,我们的 SCI 实际上是一种广义的学习范式,因此理想情况下,它可以直接应用于现有工作。在这里,我们以最近提出的代表作品 RUAS [14] 为例进行探索。表 2 和图 5 展示了使用我们的 SCI 训练 RUAS 之前/之后的定量和定性比较。显然,尽管我们只使用了 RUAS 展开过程中使用的单个块(即 RUAS (1))来评估我们的训练过程,但性能仍然取得了显着提高。更重要的是,我们的方法可以显着抑制原始 RUA​​S 中出现的过度曝光。这个实验反映了我们的学习框架确实足够灵活,并且具有很强的模型无关通用性。此外,这表明也许我们的方法可以转移到基于任意光照的低光图像增强工作中,我们将在未来尝试这样做。


精读

表2和图5展示了使用SCI训练RUA前后的定量和定性比较。

表2.SCI可用于改善现有工程的性能,例如,[14].其中RUAS(d)表示采用d个迭代块进行RUAS中出现的展开过程。在这里,我们采用LSRW [9]数据集进行测试
图5.表2中不同情况下的比较

结论:

  • 作者仅使用RUAS展开过程中使用的单个块(即RUAS(1))来评估训练过程,性能仍然得到了显著改善。
  • 本文的方法可以显著抑制原始RUA中出现的过度暴露。这个实验证明了SCI的学习框架确实足够灵活,并且具有很强的通用性。
  • 本文的方法可以转移到基于任意照明的微光图像增强工作中,这是未来尝试的目标。

四、Experimental Results—实验结果

4.1 Implementation Details—实现细节

翻译

参数设置。在训练过程中,我们使用了参数β1=0.9、β2=0.999和∈为10的八次方。小批量大小设置为8。学习速率初始化为10−4.训练历元数设置为1000。根据第3.1节的结论,我们在所有实验中采用3个卷积+ReLU和3个通道作为Hθ的默认设置。自校准模块包含四个卷积层,其中确保训练过程的轻量级。事实上,网络的形式可能不是固定的,我们已经在补充材料中做了实验来验证它。

比较方法。对于弱光图像增强,我们将SCI与最近提出的四种基于模型的方法(包括LECARM、SDD、STAR)、四种高级监督学习方法(包括RetinexNet、KinD、FIDE、DRBN)和四种无监督学习方法(包括EnGAN、SSIENet、ZeroDCE和RUAS)进行了比较。对于深色人脸检测,除了在检测器之前执行上述基于网络的增强工作外,我们还比较了最近提出的深色人脸检测方法HLA。

基准描述和指标。对于弱光图像增强,我们从MIT数据集中随机抽取100幅图像,从LSRW数据集中随机抽取50幅测试图像进行测试。我们使用了两个完全参考指标,包括峰值信噪比和SSIM,以及五个非参考指标,包括DE、EME、LOE和NIQE。对于深色人脸检测,我们使用了由1000张挑战性测试图像组成的深色人脸数据集,这些图像是从2021 CVPR举行的UG2+PRIZE挑战赛的子挑战中随机抽样的。我们将检测准确率和召回率作为评估指标。对于夜间语义分割,我们使用ACDC中的400幅图像进行训练,剩余的106幅图像作为评估数据集。评估指标定义为IoU和mIoU。


精读

参数设置

  • β1=0.9、β2=0.999和∈为10的八次方
  • minibatch size:8
  • learning rate:10的−4次方
  • epoch:1000
  • 默认设置:3个卷积+ReLU和3个通道

比较方法

弱光图像增强:

  • 四种基于模型的方法(包括LECARM、SDD、STAR)
  • 四种高级监督学习方法(包括RetinexNet、KinD、FIDE、DRBN)
  • 四种无监督学习方法(包括EnGAN、SSIENet、ZeroDCE和RUAS)

深色人脸检测:

  • 深色人脸检测方法HLA

基准描述和指标 

弱光图像增强:

  • 数据集:MIT数据集中随机抽取100幅+LSRW数据集中随机抽取50幅
  • 评估指标:两个完全参考指标:包括峰值信噪比和SSIM,以及五个非参考指标:包括DE、EME、LOE和NIQE

深色人脸检测:

  • 数据集:2021 CVPR举行的UG2+PRIZE挑战赛的子挑战中随机抽样1000张
  • 评估指标:检测准确率和召回率

夜间语义分割:

  • 数据集:使用ACDC中的400幅图像进行训练,剩余的106幅图像作为评估数据集
  • 评估指标:IoU和mIoU

4.2 Experimental Evaluation on Benchmarks—基准测试评估

翻译

绩效评估。如表3所示,我们的SCI实现了具有竞争力的性能,特别是在noreference指标方面。如图6-7所示,高级深度网络生成了未知的面纱,导致不显眼的细节和不自然的颜色。相比之下,我们的SCI实现了最好的视觉质量,具有生动的色彩和突出的纹理。更多的视觉比较可以在补充材料中找到。

计算效率。此外,我们报告了模型表4中列出了最近提出的一些基于CNN的方法的大小、FLOP和运行时间(GPU秒)。显然,我们提出的SCI是最轻量级的相比,其他网络,并显着优于其他上级。


精读

绩效评估

表3.在MIT和LSRW数据集上的两个全参考指标(包括PSNR和SSIM)和四个无参考指标(包括DE,EME,LOE和NIQE)的定量结果

结论: 本文提出的SCI在以上指标中和其他算法相比,多数取得最佳成绩。

图6.在MIT数据集上对最先进的低光图像增强方法进行视觉比较
图7.在LSRW数据集上对最先进的低光图像增强方法进行视觉比较

结论:本文提出的SCI实现了最好的视觉质量,具有生动的色彩和突出的纹理。

计算效率

表4.基于CNN的方法和我们的SCI的模型大小,FLOPs和运行时间(用于推理的GPU秒)

结论:SCI是最轻量级。


4.3 In-the-Wild Experimental Evaluation—野外实验评估

翻译

在野外场景中进行弱光图像增强是极具挑战性的。图像局部过曝信息的控制、整体色彩的校正、图像细节的保留都是亟待解决的问题。在这里,我们测试了来自DARK FACE [31]和ExDark [15]数据集的许多具有挑战性的野外示例。如图8所示,通过大量的实验可以看出,我们的方法比其他方法获得了更满意的可视化结果,特别是在曝光水平,结构描绘,颜色呈现方面。限于篇幅,我们在补充材料中提供了更多的比较。


精读

图8.对一些具有挑战性的例子进行视觉比较。更多的结果可以在补充材料中找到

结论:SCI相比于其他的方法,提出方法的增强结果亮度适中、细节丰富、色调自然、具有更高的视觉质量。


4.4 Dark Face Detection—深色人脸检测

翻译

我们利用S3FD [32],一种众所周知的人脸检测算法来评估深色人脸检测性能。请注意,S3FD是使用原始S3FD中提供的WIDER FACE数据集[29]进行训练的,我们使用S3FD的预训练模型来微调通过各种方法增强的图像。

同时,我们提出了一种新的方法,称为SCI+,它将我们的SCI作为一个基本模块嵌入到S3FD的前端,用于联合训练的任务和增强相结合的损失。如图9所示,我们的方法(SCI和SCI+)在所有比较的方法中实现了最好的分数,并且增强版本比微调版本获得了更好的性能。图10进一步展示了视觉比较。可以很容易地观察到,通过应用我们的SCI,也可以检测到较小的对象,而其他方法无法做到这一点,如放大区域所示。


精读

数据集:S3FD

方法:SCI+,它将SCI作为一个基本模块嵌入到S3FD的前端,用于联合训练的任务和增强相结合的损失。

图9.DARK FACE数据集上的精度-召回曲线。所有比较方法和SCI微调检测器上的增强结果。SCI+是联合训练检测器和SCI超过检测和增强损失的组合。

结论:SCI和SCI+在所有比较的方法中实现了最好的分数,并且增强版本比微调版本获得了更好的性能。

图10.在DarkFace数据集上进行人脸检测的视觉比较

结论:本文提出的方法具有明显优势,能够检测出更多的小目标。


4.5 Nighttime Semantic Segmentation—夜间语义分割

翻译

在这里,我们采用 PSPNet [35] 作为基线来评估所有方法在“预训练 + 微调”模式(类似于 SCI 在暗面检测中的版本)的分割性能。表 5 和图 11 展示了不同方法之间的定量和定性比较结果。我们的性能明显优于其他最先进的方法。如图 11 中的放大区域所示,所有比较的方法都产生了一些未知的伪影,从而损害了生成的分割图的质量。


精读

采用PSPNet 作为基线来评估所有方法在模式“预训练+微调”上的分割性能。

表5.ACDC数据集上夜间语义分割的定量结果。符号集{RO,SI,BU,WA,FE,PO,TL,TS,VE,TE,SK,PE,RI,CA,TR,MO,BI}表示{道路,人行道,建筑物,墙壁,围栏,杆,交通灯,交通标志,植被,地形,天空,人,骑手,汽车,火车,摩托车,自行车}。请注意,我们在所有比较方法生成的增强结果上重新训练了分割模型。最好的结果是红色,而第二好的结果是蓝色

结论:性能明显优于其他最先进的方法。

图11.ACDC数据集上语义分割的可视化结果

结论: SCI获得了有竞争的数值结果,同时在类别划分上更准确,边缘刻画更清晰。


4.6 Algorithmic Analyses—算法分析

翻译

比较分解的组件。实际上,我们的SCI属于基于光照的学习方法,视觉质量的提高在很大程度上取决于估计的光照。在这里,我们将SCI与三种具有代表性的基于照明的学习方法进行了比较,包括RetinexNet、KinD和SSIENet。如图12所示,我们可以很容易地看到,我们估计的照明保持了良好的平滑特性。它确保了我们生成的反射比在视觉上更友好。

消融研究。我们比较了图13中不同模式的性能。直接学习照明会导致图像曝光过度。学习照明和输入之间残差的过程确实抑制了过度曝光,但整体图像质量仍然不高,尤其是对于细节的把握。通过比较,使用我们的方法的增强结果不仅抑制了过度曝光,而且丰富了图像结构。


精读

比较分解的组件

SCI属于基于光照的学习方法,增强的视觉质量很大程度上取决于估计的光照。

图12.比较不同光照网络的分解分量。放大以获得最佳视图

结论:估计的照明保持了良好的平滑特性

消融实验

比较了不同模式的性能。直接学习照明会导致图像曝光过度。

图13.分析了光照学习的不同模式。

结论:SCI增强的结果不仅抑制过曝光,但丰富了图像结构。


五、Concluding Remarks——总结

翻译

在本文中,我们成功地建立了一个轻量级的,但有效的框架,自校准照明(SCI)的低光图像增强对不同的现实场景。我们不仅对SCI的优良特性进行了深入的探索,而且还进行了大量的实验,以表明我们在弱光图像增强,黑暗人脸检测和夜间语义分割方面的有效性和优越性。

更广泛的影响。从任务的角度来看,SCI提供了一个高效和有效的学习框架,并在图像质量和推理速度方面获得了极其优越的上级性能。也许它将是一个支撑,进入一个新的高速和高质量的时代,为低光图像增强。至于方法设计,SCI打开了一个新的视角(即,在训练阶段引入用于增强基本单元的模型能力的辅助过程),以提高其他低级视觉问题对真实世界场景的实用性。


精读

本文提出的SCI在图像质量和推理速度方面均取得了突破,为低光照图像增强任务的解决提供了一种新的视角,即如何在有限资源下赋予网络模型更强的刻画能力,该种视角相信也能够为其他相关视觉增强领域带来启发。未来,作者将继续探究如何设计更有效的学习手段来建立轻量、鲁棒、面向更具有挑战真实场景的低光照图像增强方案。


  • 37
    点赞
  • 43
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

路人贾'ω'

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值