点击下方卡片,关注“CVer”公众号
AI/CV重磅干货,第一时间送达
添加微信号:CVer2233,小助手会拉你进群!
扫描下方二维码,加入CVer学术星球!可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料,及最前沿应用!发论文/搞科研/涨薪,强烈推荐!
HVI: A New Color Space for Low-light Image Enhancement
作者:Qingsen Yan, Yixu Feng, Cheng Zhang, Guansong Pang, Kangbiao Shi, Peng Wu, Wei Dong, Jinqiu Sun, Yanning Zhang
论文:https://arxiv.org/abs/2502.20272
代码:https://github.com/Fediory/HVI-CIDNet
Hugging Face Demo:
https://huggingface.co/spaces/Fediory/HVI-CIDNet_Low-light-Image-Enhancement_
目前,所有的代码,算法,训练权重,基于11个数据集(LOLv1, LOLv2-real, LOLv2-synthetic, , DICM, LIME, NPE, MEF, VV, Sony-Total-Dark, SICE, LOL-Blur)的测试结果,均已开源。模型的demo也可以在hugging face网站上免费体验到,欢迎大家来使用我们的HVI-CIDNet方法。下面我们对我们的论文进行详细的介绍。
1. 关键动机
低光图像增强(LLIE)旨在提升暗光环境下捕获图像的视觉质量,同时抑制噪声和颜色失真。
传统的图像增强方法大多基于常见的sRGB色彩空间,但其有个致命缺点——颜色和亮度高度耦合,增强时易引发色偏和亮度伪影。
后来,研究者改用HSV色彩空间(把颜色解耦为为色调、饱和度和亮度),虽然取得了一些进展,但增强效果始终不理想,会导致红色与黑暗区域产生严重伪影。我们认为是HSV中有两种特殊的噪点导致了这个问题(如图1b):
(1)红色间断噪点:在HSV中,红色色调(Hue)在色环的两端(0°和360°)是同一个颜色,但算法处理时容易割裂,导致噪点。
(2)黑色平面噪点:低光区域的像素亮度极低,而HSV的变换过度放大这些黑暗区域,把噪声也过度放大,导致信噪比极低。
图1. sRGB->HSV->HVI的颜色空间变换过程与动机。
为了解决这两种噪声,我们基于HSV,设计了一个HVI色彩空间。只需简单两步就可以解决这个问题:
(1)极坐标化HS平面,让相邻的红色区域在数学上更连续,彻底消除断裂式噪点(见图1c),确保颜色空间内相似色彩的欧氏距离最小化,提高红色区域内的信噪比。
(2)HVI引入了一个可学习的光强压缩函数(Ck),动态压缩低光区域强度,抑制噪声,同时保留高光细节,维持色彩空间级别的更高信噪比(见图1d)。
基于HVI的特性,我们进一步设计双分支解耦网络CIDNet来作为一个新的低光增强基准线方法。具体来说,它由下面三个核心构成:
HV分支:建模颜色不变性,分离噪声与真实纹理;
I分支:学习光照分布的物理约束,实现自适应亮度增强;
交叉注意力机制:通过跨分支特征交互,联合优化噪声抑制与光照恢复过程。
实验表明,HVI-CIDNet在10+1个基准数据集(外加一个LOL-Blur联合任务数据集)上均达到SOTA性能。例如,在极端暗光数据集Sony-Total-Dark上,PSNR相比最优基线提升6.68 dB,且模型参数量仅1.88M,计算量7.57 GFLOPs,显著优于现有方法。
2. HVI颜色空间变换
接下来,我将们介绍如何基于一张sRGB格式的图像,对其进行HVI正变换(sRGB->HVI)。
第一步:根据Max-RGB理论,计算每个像素的强度(Intensity)通道,构建I-Map:
第二步:利用I-Map中像素的值,来得到HSV中的色相(Hue)和饱和度(Saturation):
如此,你可以发现在HSV空间中,红色在色相端点(h=0和h=6)上间断(数学不连续性),进而导致增强后出现红色断裂式噪声。因此我们只需要将h映射到两个新的正交分量H和V上即可解决这个问题:
第三步:因为HSV低光区域的颜色空间级别噪声被过度放大,因此我们需要一个坍缩函数来保持相近的颜色具有更近的欧式距离。因此,我们设计了光强压缩函数(Ck):
其中,k为一个可学习的参数控制低光区域的压缩强度;ε=10^-8避免梯度爆炸。
第四步:最终,我们将刚才的光强压缩函数,饱和度(S-Map),与I-Map逐元素相乘,得到两个最终的正交轴(HV)。将HV与I-Map按通道连接后,即可得到sRGB格式图像的HVI-Map。
3. 双分支解耦网络CIDNet
图2. HVI-CIDNet增强流程
CIDNet是为HVI色彩空间量身定制的双分支低光增强网络,旨在通过解耦建模颜色(HV通道)与亮度(I通道)信息,实现精准的噪声抑制与光照恢复。CIDNet基于编码器-解码器结构,包含三个下采样和三个上采样层,每层都嵌入了一个轻量化交叉注意力模块(LCA)。
将低光图像变换到HVI颜色空间后,将光强图输入至I分支,建模光照分布的物理约束,自适应增强全局与局部亮度,避免过曝/欠曝;将HVI图输入至HV分支,学习颜色不变性特征,分离噪声与真实纹理,抑制色偏与局部伪影。
LCA的作用:
HV → I:HV分支提供噪声分布先验,指导I分支在低光区域抑制过增强;
I → HV:I分支提供光照强度权重,引导HV分支在暗区加强去噪,亮区保留细节。
最后将增强后的HV图和I图按通道连接后,输入至HVI逆变换模块中(PHVIT),即可得到增亮后的sRGB图像。HVI逆变换和训练时损失函数详见论文。
4. 实验结果
表1 LOL基准测试结果
表2 CIDNet在DICM, LIME, NPE, MEF, VV, Sony-Total-Dark, SICE数据集上的结果
图3. LOL视觉效果对比
图4. 五个非配对数据集上的定性实验结果对比
基准实验:首先是在十个数据集(LOLv1, LOLv2-real, LOLv2-synthetic, DICM, LIME, NPE, MEF, VV, Sony-Total-Dark, SICE)上的定量实验。如表1和表2,在LOL数据集上,CIDNet的PSNR/SSIM/LPIPS全面超越SOTA方法(如RetinexFormer、GSAD),且保持7.57GFLOPs的较低运算量。在Sony-Total-Dark和SICE这两个大型数据集上也取得了最佳的指标。尤其是Sony-Total-Dark,PSNR 22.90 dB(比第二名提升6.68 dB)。视觉对比
虽然CIDNet在五个非配对数据集上(DICM, LIME, NPE, MEF, VV)的BRISQUE指标不如RetinexNet方法,但是却比它更接近真实世界(如图4)。
表3 HVI颜色空间在其它方法中的兼容性对比
跨方法兼容性:如表3,将HVI变换作为预处理模块应用于其他LLIE方法(如FourLIE、GSAD)后,平均PSNR提升1.2~3.5dB,且GSAD方法结合HVI后,SSIM与LPIPS均达到最佳效果。
表4 针对不同模块进行的消融实验
图5. 颜色空间消融实验
图6. CIDNet模块消融实验
如表4,图5,和图6,消融实验表明,我们所提出的光强压缩函数,HS极坐标化,和CIDNet的子模块均有效,获得了很好的定性与定量实验结果。
图7. LOL-Blur视觉对比
表5 LOL-Blur基准测试结果
附加:如图7和表5,在联合低光图像增强和去模糊LOL-Blur数据集上也取得了最先进的结果。
何恺明在MIT授课的课件PPT下载
在CVer公众号后台回复:何恺明,即可下载本课程的所有566页课件PPT!赶紧学起来!
CVPR 2025 论文和代码下载
在CVer公众号后台回复:CVPR2025,即可下载CVPR 2025论文和代码开源的论文合集
ECCV 2024 论文和代码下载
在CVer公众号后台回复:ECCV2024,即可下载ECCV 2024论文和代码开源的论文合集
CV垂直方向和论文投稿交流群成立
扫描下方二维码,或者添加微信号:CVer2233,即可添加CVer小助手微信,便可申请加入CVer-垂直方向和论文投稿微信交流群。另外其他垂直方向已涵盖:目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注:研究方向+地点+学校/公司+昵称(如Mamba、多模态学习或者论文投稿+上海+上交+卡卡),根据格式备注,可更快被通过且邀请进群
▲扫码或加微信号: CVer2233,进交流群
CVer计算机视觉(知识星球)来了!想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料,欢迎扫描下方二维码,加入CVer计算机视觉(知识星球),已汇集上万人!
▲扫码加入星球学习
▲点击上方卡片,关注CVer公众号
整理不易,请赞和在看