CVPR 2025 | 突破低光照图像增强瓶颈!你只需要一个HVI色彩空间

点击下方卡片,关注“CVer”公众号

AI/CV重磅干货,第一时间送达

点击进入—>【顶会/顶刊】投稿交流群

添加微信号:CVer2233,小助手会拉你进群!

扫描下方二维码,加入CVer学术星球!可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料,及最前沿应用!发论文/搞科研/涨薪,强烈推荐!

图片

HVI: A New Color Space for Low-light Image Enhancement

作者:Qingsen Yan, Yixu Feng, Cheng Zhang, Guansong Pang, Kangbiao Shi, Peng Wu, Wei Dong, Jinqiu Sun, Yanning Zhang

论文:https://arxiv.org/abs/2502.20272

代码:https://github.com/Fediory/HVI-CIDNet

Hugging Face Demo:

https://huggingface.co/spaces/Fediory/HVI-CIDNet_Low-light-Image-Enhancement_

819df9abcb61adff999b489088cc2138.png

目前,所有的代码,算法,训练权重,基于11个数据集(LOLv1, LOLv2-real, LOLv2-synthetic, , DICM, LIME, NPE, MEF, VV, Sony-Total-Dark, SICE, LOL-Blur)的测试结果,均已开源。模型的demo也可以在hugging face网站上免费体验到,欢迎大家来使用我们的HVI-CIDNet方法。下面我们对我们的论文进行详细的介绍。         

1. 关键动机

低光图像增强(LLIE)旨在提升暗光环境下捕获图像的视觉质量,同时抑制噪声和颜色失真。   

传统的图像增强方法大多基于常见的sRGB色彩空间,但其有个致命缺点——颜色和亮度高度耦合,增强时易引发色偏和亮度伪影。         

后来,研究者改用HSV色彩空间(把颜色解耦为为色调、饱和度和亮度),虽然取得了一些进展,但增强效果始终不理想,会导致红色与黑暗区域产生严重伪影。我们认为是HSV中有两种特殊的噪点导致了这个问题(如图1b):

(1)红色间断噪点:在HSV中,红色色调(Hue)在色环的两端(0°和360°)是同一个颜色,但算法处理时容易割裂,导致噪点。

(2)黑色平面噪点:低光区域的像素亮度极低,而HSV的变换过度放大这些黑暗区域,把噪声也过度放大,导致信噪比极低。

286b243b9597f5e25ac4262fdf0c2da6.png

图1. sRGB->HSV->HVI的颜色空间变换过程与动机。

为了解决这两种噪声,我们基于HSV,设计了一个HVI色彩空间。只需简单两步就可以解决这个问题:

(1)极坐标化HS平面,让相邻的红色区域在数学上更连续,彻底消除断裂式噪点(见图1c),确保颜色空间内相似色彩的欧氏距离最小化,提高红色区域内的信噪比。

(2)HVI引入了一个可学习的光强压缩函数(Ck),动态压缩低光区域强度,抑制噪声,同时保留高光细节,维持色彩空间级别的更高信噪比(见图1d)。

基于HVI的特性,我们进一步设计双分支解耦网络CIDNet来作为一个新的低光增强基准线方法。具体来说,它由下面三个核心构成:   

HV分支:建模颜色不变性,分离噪声与真实纹理;

I分支:学习光照分布的物理约束,实现自适应亮度增强;

交叉注意力机制:通过跨分支特征交互,联合优化噪声抑制与光照恢复过程。

实验表明,HVI-CIDNet在10+1个基准数据集(外加一个LOL-Blur联合任务数据集)上均达到SOTA性能。例如,在极端暗光数据集Sony-Total-Dark上,PSNR相比最优基线提升6.68 dB,且模型参数量仅1.88M,计算量7.57 GFLOPs,显著优于现有方法。

2. HVI颜色空间变换

接下来,我将们介绍如何基于一张sRGB格式的图像,对其进行HVI正变换(sRGB->HVI)。

第一步:根据Max-RGB理论,计算每个像素的强度(Intensity)通道,构建I-Map:

c382f43a3c9223432c9e189d402d9cf4.png

第二步:利用I-Map中像素的值,来得到HSV中的色相(Hue)和饱和度(Saturation):

3fe6dc5dfccfdb54a1710f4b09e875f9.png

d423b07efb55f8e04cb2429c18ed6b88.png

如此,你可以发现在HSV空间中,红色在色相端点(h=0和h=6)上间断(数学不连续性),进而导致增强后出现红色断裂式噪声。因此我们只需要将h映射到两个新的正交分量H和V上即可解决这个问题:   

b5868f00eb3d2e5890e537457732f7c9.png

第三步:因为HSV低光区域的颜色空间级别噪声被过度放大,因此我们需要一个坍缩函数来保持相近的颜色具有更近的欧式距离。因此,我们设计了光强压缩函数(Ck):

4edd98587c0d77d2f6932645a2cda9e0.png

其中,k为一个可学习的参数控制低光区域的压缩强度;ε=10^-8避免梯度爆炸。

第四步:最终,我们将刚才的光强压缩函数,饱和度(S-Map),与I-Map逐元素相乘,得到两个最终的正交轴(HV)。将HV与I-Map按通道连接后,即可得到sRGB格式图像的HVI-Map。

d52949bc8b1d33a7371efdbff5ed0322.png

3. 双分支解耦网络CIDNet

b719b9ce752f9340606da229afcdb9e1.png

图2. HVI-CIDNet增强流程

CIDNet是为HVI色彩空间量身定制的双分支低光增强网络,旨在通过解耦建模颜色(HV通道)与亮度(I通道)信息,实现精准的噪声抑制与光照恢复。CIDNet基于编码器-解码器结构,包含三个下采样和三个上采样层,每层都嵌入了一个轻量化交叉注意力模块(LCA)。   

将低光图像变换到HVI颜色空间后,将光强图输入至I分支,建模光照分布的物理约束,自适应增强全局与局部亮度,避免过曝/欠曝;将HVI图输入至HV分支,学习颜色不变性特征,分离噪声与真实纹理,抑制色偏与局部伪影。         

LCA的作用:

HV → I:HV分支提供噪声分布先验,指导I分支在低光区域抑制过增强;

I → HV:I分支提供光照强度权重,引导HV分支在暗区加强去噪,亮区保留细节。

最后将增强后的HV图和I图按通道连接后,输入至HVI逆变换模块中(PHVIT),即可得到增亮后的sRGB图像。HVI逆变换和训练时损失函数详见论文。     

4. 实验结果

a318bb1824e2e35bef9824ef962b10f2.png

表1 LOL基准测试结果   

65e8d0cd595ea77fa127f72196c6cfe1.png

表2 CIDNet在DICM, LIME, NPE, MEF, VV, Sony-Total-Dark, SICE数据集上的结果

ad923d399652adf5318dcf1a29735b04.png

图3. LOL视觉效果对比

264f4311cf1877b41340437b55ba4f2d.png

图4. 五个非配对数据集上的定性实验结果对比

基准实验:首先是在十个数据集(LOLv1, LOLv2-real, LOLv2-synthetic, DICM, LIME, NPE, MEF, VV, Sony-Total-Dark, SICE)上的定量实验。如表1和表2,在LOL数据集上,CIDNet的PSNR/SSIM/LPIPS全面超越SOTA方法(如RetinexFormer、GSAD),且保持7.57GFLOPs的较低运算量。在Sony-Total-Dark和SICE这两个大型数据集上也取得了最佳的指标。尤其是Sony-Total-Dark,PSNR 22.90 dB(比第二名提升6.68 dB)。视觉对比   

虽然CIDNet在五个非配对数据集上(DICM, LIME, NPE, MEF, VV)的BRISQUE指标不如RetinexNet方法,但是却比它更接近真实世界(如图4)。         

11b312849cfb26428a1ad294d41d9b76.png

表3 HVI颜色空间在其它方法中的兼容性对比

跨方法兼容性:如表3,将HVI变换作为预处理模块应用于其他LLIE方法(如FourLIE、GSAD)后,平均PSNR提升1.2~3.5dB,且GSAD方法结合HVI后,SSIM与LPIPS均达到最佳效果。

138fde2b4ccbe9db8c837be80fb96e4e.png

表4 针对不同模块进行的消融实验   

65b11cdbf8abf3909b8061da1dd85e43.png

图5. 颜色空间消融实验

59a767a19b52a0c00ac2666e486a1489.png

图6. CIDNet模块消融实验

如表4,图5,和图6,消融实验表明,我们所提出的光强压缩函数,HS极坐标化,和CIDNet的子模块均有效,获得了很好的定性与定量实验结果。

285da1d9f9736f6d1cd53b0cf99ee336.png

图7. LOL-Blur视觉对比   

649f925f992401ec9a876a7df2c17f2f.png

表5 LOL-Blur基准测试结果         

附加:如图7和表5,在联合低光图像增强和去模糊LOL-Blur数据集上也取得了最先进的结果。

 
 

何恺明在MIT授课的课件PPT下载

 
 

在CVer公众号后台回复:何恺明,即可下载本课程的所有566页课件PPT!赶紧学起来!

 
 

CVPR 2025 论文和代码下载

在CVer公众号后台回复:CVPR2025,即可下载CVPR 2025论文和代码开源的论文合集

ECCV 2024 论文和代码下载

在CVer公众号后台回复:ECCV2024,即可下载ECCV 2024论文和代码开源的论文合集

CV垂直方向和论文投稿交流群成立

 
 
扫描下方二维码,或者添加微信号:CVer2233,即可添加CVer小助手微信,便可申请加入CVer-垂直方向和论文投稿微信交流群。另外其他垂直方向已涵盖:目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注:研究方向+地点+学校/公司+昵称(如Mamba、多模态学习或者论文投稿+上海+上交+卡卡),根据格式备注,可更快被通过且邀请进群

 
 
▲扫码或加微信号: CVer2233,进交流群
CVer计算机视觉(知识星球)来了!想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料,欢迎扫描下方二维码,加入CVer计算机视觉(知识星球),已汇集上万人!

▲扫码加入星球学习
 
 
▲点击上方卡片,关注CVer公众号
整理不易,请赞和在看
### CVPR 2025 中与医学图像分割相关的论文和技术 CVPR(Computer Vision and Pattern Recognition)作为计算机视觉领域的重要会议之一,每年都会吸引大量关于医学图像处理的研究成果。对于CVPR 2025而言,其投稿指南已经明确了重要的时间节点以及主题范围[^1]。 #### 关于医学图像分割的技术趋势 近年来,深度学习方法在医学图像分割中的应用取得了显著进步。特别是基于卷积神经网络(CNN)、U-Net架构及其变体的方法,在提高分割精度方面表现优异。此外,自监督学习和半监督学习也逐渐成为解决标注数据不足问题的有效手段。 以下是几个可能涉及的关键技术和方向: 1. **Transformer-based Models**: 越来越多的工作尝试将Vision Transformers引入到医学图像分析任务中,这些模型能够捕捉更全局的空间依赖关系,从而提升复杂结构的识别能力。 ```python import torch class MedicalImageSegmentationModel(torch.nn.Module): def __init__(self, input_channels=3, num_classes=1): super(MedicalImageSegmentationModel, self).__init__() # Example of a simple CNN layer followed by transformer layers. self.cnn_layers = torch.nn.Sequential( torch.nn.Conv2d(input_channels, 64, kernel_size=3), torch.nn.ReLU(), torch.nn.MaxPool2d(kernel_size=2) ) self.transformer_encoder = torch.nn.TransformerEncoder(...) def forward(self, x): cnn_output = self.cnn_layers(x) transformer_output = self.transformer_encoder(cnn_output.flatten(2).permute(2, 0, 1)) return transformer_output.permute(1, 2, 0).view_as(cnn_output) ``` 2. **Few-shot Learning & Meta-Learning**: 针对特定疾病或罕见病例的数据稀缺情况,少样本学习和元学习提供了灵活适应新场景的能力。这类技术允许算法仅通过少量样本来快速调整至新的分割目标上。 3. **Multi-modal Fusion Techniques**: 当前很多研究致力于融合多模态成像资料(如MRI与CT扫描),以获得更加全面的信息表示形式并改善最终预测效果。 #### 获取具体论文资源的方式 为了找到确切属于CVPR 2025内的medical image segmentation相关文章,可以采取如下策略: - 访问官方Open Access Library页面浏览最新收录列表; - 使用Google Scholar或其他学术搜索引擎输入关键词组合:"Medical Image Segmentation", "CVPR 2025"; - 加入专业论坛或者社交媒体群组讨论区分享心得体验;
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值