论文精讲 | 基于昇思的联合矫正与细化平衡低光照图像增强

论文标题

Joint Correcting and Refinement for Balanced Low-Light Image Enhancement

论文来源

IEEE Transactions on Multimedia

论文链接

https://arxiv.org/abs/2309.16128

代码链接

https://github.com/Daniel00008/JCRNet-mindspore

昇思MindSpore作为开源的AI框架，为产学研和开发人员带来端边云全场景协同、极简开发、极致性能、安全可信的体验，支持超大规模AI预训练，自2020年3月28日开源以来已超过657W+的下载量。昇思MindSpore已支持上千篇AI顶会论文，走入290+所高校进行教学，通过HMS在5000+App上商用，拥有数量众多的开发者，在AI计算中心、智能制造、金融、云、无线、数通、能源、消费者1+8+N、智能汽车等端边云车全场景广泛应用，是Gitee指数最高的开源软件。欢迎大家参与开源贡献、套件、模型众智、行业创新与应用、算法创新、学术合作、AI书籍合作等，贡献您在云侧、端侧、边侧以及安全领域的应用案例。

在科技界、学术界和工业界对昇思MindSpore的广泛支持下，基于昇思MindSpore的AI论文2023年在所有AI框架中占比7%，连续两年进入全球第二，感谢CAAI和各位高校老师支持，我们一起继续努力做好AI科研创新。昇思MindSpore社区支持顶级会议论文研究，持续构建原创AI成果。我会不定期挑选一些优秀的论文来推送和解读，希望更多的产学研专家跟昇思MindSpore合作，一起推动原创AI研究，昇思MindSpore社区会持续支撑好AI创新和AI应用，本文是昇思MindSpore AI顶会论文系列第29篇，我选择了来自天津大学智能与计算学部的韩亚洪老师团队的一篇论文解读，感谢各位专家教授同学的投稿。

01

 

研究背景

低光照图像增强作为一个重要的预处理阶段，增强了图像分析和理解任务的可行性。近年来，得益于深度学习的影响，低光照图像增强技术取得了重大进展。然而，大多数现有的模型从整个图像中提取深层特征，忽略了图像的局部细节和局部亮度范围，这使得特征难以得到充分利用。为了解决这个问题，一些模型也考虑了光照平衡，但没有考虑图像中细节的全面转换和特定的亮度调整，模型没有足够的调整能力，导致图像增强不自然。

因此，虽然现有的低光照图像增强技术已经取得了一定的效果，但在实际应用中仍然需要考虑增强时亮度、颜色和曝光的平衡问题，否则会严重影响人类的视觉感知和高级视觉模型的性能。通过探索适当的协同增强机制，可以进行更有效更实用地低光照图像增强。

本文主要聚焦于实际应用场景中存在的极端环境（如夜间等低光照场景）情况下的低光照图像增强问题，着眼于通过平衡图像的亮度、颜色以及曝光之间的关系以实现低光照图像增强。现有的方法往往只关注图像的单一方面，而没有考虑如何注意这种平衡，这会导致颜色失真和过度曝光等问题。这严重影响了人类的视觉感知和高级视觉模型的性能。因此，本文中提出了一种新的协同结构，可以更有效地平衡亮度、颜色和曝光。具体来说，提出的联合校正和细化网络主要由特征提取阶段，联合细化阶段和光照调整阶段组成，以平衡亮度、颜色和曝光的增强。本文算法可以按照昇思MindSpore官方文档案例以及提供的代码进行实现，在不同的低光照图像增强数据进行了实验及分析验证了所提出方法的有效性。

02

 

团队介绍

论文第一作者于娜娜目前就读于天津大学智能与计算学部（2022-至今），博士研究生，主要研究方向包括计算机视觉和图像处理等，导师为韩亚洪教授。

论文通讯作者韩亚洪是天津大学智能与计算学部教授，博士生导师，研究方向为多媒体分析、计算机视觉和机器学习。2012年3月博士毕业于浙江大学计算机学院，博士毕业被天津大学直接聘为副教授，2016年在天津大学破格晋升正教授，2021年被聘为天津大学“英才教授”（长聘系列）；曾获得计算机学会（CCF）优秀博士学位论文奖，入选教育部新世纪优秀人才支持计划，加州大学伯克利分校统计系访问学者；获得ACM Multimedia 2017“最佳论文提名奖”和“技术竞赛奖”、ICCV 2017“视频问答LSMDC Challenge”第一名；指导博士生获得2021年度“中国图象图形学学会优秀博士学位论文奖”；近年来，在跨媒体内容理解与推理、对抗视觉和对抗鲁棒性等领域发表TPAMI等权威期刊和NeurIPS等顶级学术会议论文60余篇，承担国家重点研发、自然基金重点、科技创新特区和基础加强等项目课题的研究任务。

03

 

论文简介

本文介绍了一种关于低光照图像增强技术的研究，该技术在大模型引导的泛视觉场景的图像预处理阶段扮演着至关重要的角色，能够有效提升不同下游应用（如场景分析、目标检测、图像分割等）场景中模型的实用性和泛化性。

现有大多数低光照图像增强方法没有关注到图像的局部增强，导致增强图像的一些区域仍然曝光不足。以及，有些方法未能关注图像的局部曝光平衡，导致在原本曝光良好的区域出现过曝光现象。图1所示低光照图像中既有曝光不足的区域，也有曝光过度的区域，在增强过程中必须考虑曝光平衡。此外，如果不关注图像的颜色，增强后的图像将表现出暗淡的颜色和光晕等失真效果。从以上分析可以看出，现有的方法虽然在某些方面提高了低光照图像的质量，但在亮度、颜色和曝光水平方面仍然缺乏适当的协同机制。

图1：现有不同方法在局部亮度、曝光以及颜色等方面增强效果（折线图展示不同方法的定量评估结果）

针对上述问题，本文提出了一种保持图像亮度、颜色和曝光平衡的低光照图像增强网络。与现有方法不同，首先，本文利用注意力和局部监督机制提取更全面的局部信息，这有利于提高模型对亮度、颜色和光照的学习能力。此外，跨阶段的特征传输和空间特征转换可以恢复更多的细节，有助于提高颜色信息的保真度。最后，受反投影理论的启发，本文使用增亮和变暗操作来动态调整图像的亮度范围，避免增强图像的过度曝光，从而逐步学习残差信息。因此，对于低光照图像增强来说，具有协同校正和细化机制是很重要的，该机制可以在提高亮度的同时保持色彩保真度和曝光平衡。

如图2提出方法的网络结构所示，本文方法的核心是一个协调的三阶段网络：在特征提取阶段，残差通道注意力块和编码器-解码器块用于提取主要特征，并且利用自监督块实现了有用特征的自适应传播。在联合细化阶段，利用跨阶段特征传输和RGB图像颜色校正实现了图像细节增强和失真校正。在照明调整阶段，利用反投影理论，模型可以主动学习正常光图像和预测图像之间的残差，从而自适应地调整增强图像的曝光平衡。

图2：本文提出的低光照图像增强网络JCRNet架构

04

 

实验结果

为了验证本文提出的JCRNet的有效性，我们在9个广泛使用的低光增强数据集上（LOL, COCO, MIT, VV, MEF, NPE, DICM, ExDark, LIME）与20种先进的低光照图像增强方法进行比较，并进一步对实验结果进行了分析研究。

表1：在三个有参考数据集上评测指标的定量比较结果

表1直观地显示了所提出的低光照图像增强方法在三个广泛使用的数据集上的定量结果，其中最佳、次佳和第三佳的性能分别以红色、蓝色和绿色标记。本文提出的方法在这三个数据集上在多数指标上优于大多数比较方法。例如，在LOL数据集上，与第二好的方法相比，与现有的性能最好的方法相比，本文提出方法将PSNR提高了0.7dB。在其他指标中可以观察到类似的收益。

表2：在六个无参考数据集上评测指标的定量比较结果

表2显示了所提出方法在六个无参考数据集上的定量结果，其中“T”表示传统方法，“DL”表示深度学习方法。从表中可以看出，本文基于MindSpore框架训练的模型，在大多数数据集上均表现出了性能提升的优势。

图3：LOL数据集增强结果的可视化展示，红色框中显示了图像的放大部分

图3显示了LOL数据集中室内低光场景的增强结果。本文的方法增强后图像具有相对自然的整体亮度和颜色。然而，其他方法的增强结果存在整体变暗或过度曝光的问题，并且由于图像的过度增亮或模型的泛化能力较差，在某些区域出现了噪声。此外，我们放大了每种方法增强结果的一些细节，这表明本文方法在细节方面仍然具有竞争力。

图4：VV数据集增强结果的可视化展示，红色框中显示了图像的放大部分

图4提供了VV数据集中室内低光场景的增强结果。总体而言，大多数增强结果都是过度曝光的，但只有KinD、EnGAN、DDNet和本文方法不会导致过度曝光。

图5：MEF数据集增强结果的可视化展示，红色框中显示了图像的放大部分

图5展示了来自MEF数据集的低光照图像增强的示例。从比较中可以明显看出，本文方法产生了总体上更亮的结果，并恢复了更多的颜色和细节信息。

05

 

总结与展望

针对实际应用场景中存在的极端环境（如夜间等低光照场景）情况下的低光照图像增强问题，本文提出了一种联合矫正与细化的网络的平衡低光照图像增强网络JCRNet，以更有效地解决亮度、色彩和照明之间的平衡问题，对图像进行增强并提供更全面的细节。并通过跨阶段特征传输和空间特征转换进一步促进了色彩校正和特征细化。在9个不同低光照增强数据集上进行广泛的实验验证。综合实验表明，本文提出的方法在解决低光照图像中的颜色失真和曝光不平衡方面优于现有模型。此外，提出的模型在不同类型的低光照图像中证明了有效性，并在显著性检测任务中展示了实用性。

在使用昇思MindSpore复现本文的算法时，我们发现昇思MindSpore开源社区的大量教程文档与样例可帮助入门，完成相关算法的设计与实现，同时还包含了与其他深度学习框架（如Pytorch和TensorFlow）的API对照文档，能够帮助实现模型的迁移。希望能够积极鼓励和吸引更多的开发者和研究者参与到MindSpore社区建设中，提供更多的示例代码、案例分析和解决方案。

往期回顾

论文精讲 | 基于昇思MindSpore片段级异常注意力的弱监督视频异常检测

论文精讲 | 基于昇思MindSpore的动态加权对抗学习DWAL提升模型性能

论文精讲 | 基于昇思MindSpore的动作频率自适应视频时序动作提名生成研究，解决精确定位未修剪视频中的动作问题

论文精讲 | 基于昇思MindSpore无锚框时序动作定位研究解决未剪辑视频的识别和定位问题