原论文摘要
在增强低光照图像时,许多深度学习算法基于Retinex理论。然而,Retinex模型没有考虑隐藏在黑暗中或由照亮过程引入的损坏。此外,这些方法通常需要繁琐的多阶段训练流程,并依赖于卷积神经网络,显示出在捕获长程依赖关系方面的局限性。在本文中,提出了一个简单但原则性明确的一阶段Retinex基础框架(ORF)。ORF首先估计照明信息以照亮低光照图像,然后恢复损坏以生成增强图像。我们设计了一个照明引导变换器(IGT),利用照明表示来指导不同光照条件区域的非局部交互建模。通过将IGT插入ORF,即Retinexformer。全面的定量和定性实验表明,Retinexformer在十三个基准测试上显著优于最新的方法。用户研究和低光照物体检测应用也揭示了Retinexformer方法的潜在实用价值。
介绍
该方法的整体架构,正如图(a)所示,我们的Retinexformer基于我们提出的一阶段Retinex框架(ORF)。ORF由一个照明估计器(i)和一个损坏恢复器(ii)组成。我们设计了一个照明引导变换器(IGT)作为损坏恢复器。图(b)中描述了IGT的基本单元是照明引导注意力块(IGAB),它由两个层归一化(LN)、一个照明引导多头自注意力(IG-MSA)模块和一个前馈网络(FFN)组成。图©展示了IG-MSA的细节。
(a) Retinexformer采用了所提出的ORF框架,该框架由一个照明估计器(i)和一个损坏恢复器(ii) IGT组成。(b) IGT的基本单元是IGAB,它由两个层归一化(LN)、一个IG-MSA和一个前馈网络(FFN)组成。© IG-MSA使用由ORF捕获的照明表示来指导自注意力的计算。
理论详解可以参考链接:论文地址
代码可在这个链接找到:论文地址
本文在YOLOv8中的主干网络引入Retinexformer,用于低光照物体检测,代码已经整理好了,跟着文章复制粘贴,即可直接运行