【低光图像增强】一个受生物启发(人类视觉系统HVS)的多曝光融合框架用于低光图像增强附Matlab代码

✅作者简介：热爱科研的Matlab仿真开发者，擅长数据处理、建模仿真、程序设计、完整代码获取、论文复现及科研仿真。

🍎 往期回顾关注个人主页：Matlab科研工作室

🍊个人信条：格物致知,完整Matlab代码及仿真咨询内容私信。

🔥 内容介绍

低光环境下的图像拍摄一直以来都是计算机视觉和图像处理领域的挑战性问题。在光照不足的情况下，图像容易出现亮度不足、对比度低、噪声明显以及色彩失真等问题，严重影响了图像的视觉质量和后续的计算机视觉任务（如目标检测、图像识别等）。为了解决这些问题，研究人员提出了各种各样的低光图像增强技术。传统的基于直方图均衡化、伽马校正等方法往往难以处理复杂场景，容易导致图像过曝或细节丢失。近年来，基于深度学习的方法取得了显著进展，通过训练复杂的神经网络模型来学习低光图像到正常光照图像的映射关系。然而，这些方法通常需要大量的配对低光/正常光照图像对进行训练，且模型的泛化能力在未知场景下可能受到限制。

本文旨在探讨一种新的低光图像增强方法，该方法受到生物视觉系统（人类视觉系统 - HVS）的启发，并利用多曝光融合技术来实现鲁棒有效的低光图像增强。人类视觉系统在复杂光照环境下展现出卓越的适应性和感知能力，其核心机制之一在于通过对不同光照水平下的信息进行整合来获取更丰富的视觉信息。受此启发，本文提出一个受生物启发的多曝光融合框架，旨在模拟HVS在不同光照条件下对视觉信息的处理方式，从而生成高质量的增强图像。

1. 人类视觉系统（HVS）对低光环境的适应性

人类视觉系统是一个高度复杂且精密的感知系统，其在不同光照条件下展现出强大的适应能力。在低光环境中，HVS通过一系列生理和神经机制来优化视觉感知。这些机制主要包括：

• 瞳孔调节：

   瞳孔能够根据光照强度自动调节大小，在低光下扩张以接收更多光线，在高光下缩小以减少光线进入，从而调节进入眼睛的光线总量。

• 视锥细胞和视杆细胞的协同工作：

   人类视网膜包含两种主要的光感受器：视锥细胞和视杆细胞。视锥细胞主要负责在亮光下感知颜色和精细细节，而视杆细胞则对光线极为敏感，负责在低光下感知亮度信息（灰度视觉）。在低光环境下，视杆细胞的贡献变得更为显著，尽管牺牲了颜色感知能力，但保证了基本的视觉功能。

• 视网膜和大脑的适应性处理：

   视网膜内部的神经网络以及大脑的视觉皮层会对光信号进行复杂的处理和整合。这包括信号的放大、噪声的抑制以及对局部对比度的增强等。例如，在低光下，视网膜神经元之间的侧抑制作用减弱，可能有助于提高对微弱光信号的敏感性。大脑则会进一步整合来自不同区域的视觉信息，并利用先验知识来解释模糊和有噪声的低光图像。

• 暗适应：

   当人从明亮环境进入黑暗环境时，需要一段时间来适应。这个过程称为暗适应，主要通过视杆细胞中感光色素（视紫红质）的再生以及视网膜和大脑的神经适应来实现，从而提高眼睛在低光下的敏感度。

这些机制共同作用，使得人类能够在广泛的光照条件下保持有效的视觉功能。受HVS在低光环境下信息整合和适应性处理的启发，我们可以思考如何将这些原理应用于低光图像增强中。多曝光融合技术正是模拟了HVS在不同光照水平下收集信息并进行整合的过程。通过获取同一场景在不同曝光参数下的多幅图像，我们可以捕获不同光照水平下的细节信息，并将其融合成一幅高质量的图像。

2. 多曝光图像融合技术

多曝光图像融合（Multi-Exposure Image Fusion - MEF）是一种将同一场景在不同曝光设置下拍摄的多张图像融合成一幅具有更佳动态范围、细节和色彩的图像的技术。其核心思想在于，欠曝图像能够保留高光区域的细节信息，而过曝图像则能够捕捉阴影区域的细节。通过将这些互补的信息有效地结合起来，可以生成一幅比任何单张曝光图像都更接近人眼感知的图像。

典型的多曝光图像融合框架通常包括以下几个主要步骤：

• 图像配准（Image Registration）：

   由于多张曝光图像可能存在轻微的位移或旋转，需要进行配准以确保对应像素的一致性。这对于后续的融合至关重要。

• 权重图生成（Weight Map Generation）：

   这是多曝光融合的关键步骤之一。权重图反映了每张输入图像中每个像素的可靠性或重要性。通常，权重图的计算基于像素的亮度、对比度、饱和度等特征。例如，在欠曝图像中，高光区域的权重较高；在过曝图像中，阴影区域的权重较高；在曝光适中的区域，权重也较高。常用的权重计算方法包括基于梯度、基于结构相似性（SSIM）以及基于显著性等。

• 图像融合（Image Fusion）：

   利用生成的权重图，将多张输入图像按照加权平均或其他融合规则进行结合。常见的融合方法包括线性加权、多尺度分解融合（如拉普拉斯金字塔、小波变换）以及基于学习的融合方法等。多尺度融合方法能够分别在不同尺度上处理图像信息，有利于保留细节和抑制噪声。

多曝光融合技术已被广泛应用于高动态范围（HDR）图像生成、图像增强以及计算摄影等领域。将其应用于低光图像增强，可以有效地提升图像的亮度、对比度，并恢复丢失的细节。

3. 受生物启发的多曝光融合框架用于低光图像增强

将人类视觉系统对低光环境的适应性和多曝光融合技术相结合，可以构建一个受生物启发的多曝光融合框架用于低光图像增强。该框架的核心思想是模拟HVS在不同光照水平下对信息进行整合和处理的过程。具体来说，我们可以通过生成多张具有不同“曝光”水平的图像来模拟HVS在不同光照条件下的输入，然后利用融合技术来整合这些信息，从而生成增强后的图像。

然而，对于单幅低光图像而言，我们并没有多张不同曝光的图像输入。因此，我们需要设计一种机制，能够从单幅低光图像中“生成”或“模拟”出多张具有不同曝光特性的图像。受HVS暗适应过程中视杆细胞和视锥细胞协同作用的启发，我们可以考虑将原始低光图像分解为不同的成分，这些成分对应于HVS在不同光照水平下感知的信息。

例如，一种可能的思路是利用图像分解技术，将低光图像分解为低频成分（代表光照或环境光信息）和高频成分（代表细节和纹理信息）。然后，我们可以对这些成分进行独立的增强和处理，最后再进行融合。这类似于HVS在低光下视杆细胞主要处理亮度信息，而视锥细胞在更亮区域处理细节信息。

另一种更直接的方式是利用图像处理技术，从单幅低光图像生成多幅模拟曝光图像。例如，可以通过伽马校正、局部直方图均衡化等方法，生成多幅具有不同亮度和对比度特性的图像。这些模拟曝光图像虽然不是真实拍摄的多曝光图像，但它们在一定程度上反映了同一场景在不同光照水平下可能呈现的视觉效果。例如，对原始低光图像进行一定程度的伽马校正，可以模拟“稍高曝光”的效果，提升整体亮度；而对局部区域进行对比度增强，可以模拟HVS对局部细节的感知增强。

基于以上思路，可以构建以下受生物启发的多曝光融合框架：

• 步骤一：输入图像预处理与多曝光模拟

  • 应用不同的伽马校正系数生成不同亮度的图像。

  • 应用不同的局部对比度增强算法（如CLAHE）生成不同细节突显程度的图像。

  • 结合基于 Retinex 理论的图像分解，将图像分解为光照成分和反射成分，并分别调整光照成分来模拟不同曝光水平。

  • 输入一幅低光图像。

  • 对输入图像进行预处理，例如噪声抑制（模拟HVS对噪声的抑制）。

  • 从预处理后的低光图像生成多幅模拟曝光图像。这可以通过多种方法实现，例如：

  • 关键在于生成的多幅模拟图像应该具有互补性，即在不同区域保留了不同的信息。例如，一张模拟图像可能在阴影区域更清晰，另一张则在高光区域保留更多细节。

• 步骤二：权重图生成

  • 对于生成的每一幅模拟曝光图像，计算其对应的权重图。权重图的设计应模拟HVS对不同光照水平下信息的可靠性评估。

  • 例如，对于模拟的“高曝光”图像，其在高光区域的权重应较低，而在阴影区域的权重应较高。反之亦然。

  • 权重计算可以基于像素的亮度、局部对比度、边缘信息以及色彩饱和度等特征。例如，在亮度适中、对比度高、色彩鲜艳的区域，对应的权重应较高。这与HVS更倾向于处理具有丰富信息和高对比度的区域相符。

  • 可以采用多尺度方法计算权重图，例如，在不同分辨率下计算权重图，并进行上采样和融合，以提高权重图的鲁棒性。

• 步骤三：图像融合

  • 利用生成的权重图对多幅模拟曝光图像进行融合。

  • 可以采用多尺度融合方法，例如拉普拉斯金字塔融合。首先将每一幅模拟曝光图像及其对应的权重图构建拉普拉斯金字塔。然后在每个金字塔层，根据权重图对对应的图像金字塔层进行加权平均。最后，将融合后的金字塔进行逆变换，得到最终的增强图像。多尺度融合有利于保留图像的细节和纹理信息。

  • 或者可以采用基于学习的融合方法，训练一个神经网络模型来学习最优的权重分配和融合策略。这需要构建合适的训练数据集。

• 步骤四：后处理（可选）

  • 对融合后的图像进行进一步的后处理，例如色彩校正、细节增强或轻微的噪声抑制，以进一步提升图像质量。

4. 受生物启发框架的优势与挑战

优势：

• 生物合理性：

   框架的设计受到了人类视觉系统的启发，具有一定的生物合理性，有望生成更符合人类视觉感知的增强图像。

• 鲁棒性：

   通过融合多幅模拟曝光图像，可以综合利用不同光照水平下的信息，提高对复杂低光场景的鲁棒性。

• 细节恢复：

   模拟不同曝光水平并进行融合有助于恢复欠曝区域的细节和阴影信息。

• 避免过度增强：

   通过权重图的引导，可以避免对图像的过度增强，例如过度提高亮度或对比度导致细节丢失。

• 适用于单幅图像：

   该框架能够处理单幅低光图像，无需多曝光序列输入，更具实用性。

挑战：

• 多曝光模拟的准确性：

   如何从单幅低光图像有效地模拟出多幅具有不同曝光特性的图像是关键挑战。不准确的模拟可能导致融合效果不佳。

• 权重图的设计：

   权重图的设计直接影响融合效果。如何设计能够准确反映 HVS 对不同区域信息可靠性评估的权重图需要深入研究。基于简单的特征可能难以适应复杂场景。

• 融合算法的选择：

   不同的融合算法对最终结果有影响。选择或设计合适的融合算法以最大限度地利用多幅模拟图像的信息是重要的。

• 计算复杂度：

   生成多幅模拟图像和进行多尺度融合可能增加计算复杂度，影响实时性。

• 缺乏生物学精确模型：

   目前对 HVS 在低光下的详细工作机制仍有很多未知，完全精确地模拟 HVS 是困难的。

5. 未来研究方向

基于受生物启发的多曝光融合框架，未来的研究可以在以下方面展开：

• 更精细的多曝光模拟方法：

   探索更先进的图像分解和增强技术，以生成更逼真、更具代表性的模拟曝光图像。可以考虑结合深度学习模型来学习从低光图像生成多曝光模拟图像的映射关系。

• 基于学习的权重图生成：

   利用深度学习模型来学习从输入图像到权重图的映射关系，从而生成更鲁棒和准确的权重图。可以考虑借鉴注意力机制的思想，让模型自动关注图像中重要的区域。

• 端到端的可学习融合框架：

   将多曝光模拟、权重图生成和图像融合整合到一个端到端的深度学习框架中进行联合优化，从而实现更优的增强效果。

• 考虑动态场景：

   目前框架主要针对静态场景。对于低光视频增强，需要考虑时序信息和运动估计，并将多曝光融合扩展到时域。

• 更深入的生物学模型整合：

   与神经科学和生物学领域的专家合作，更深入地理解HVS在低光下的工作机制，并将更精确的生物学模型融入框架设计中。例如，模拟不同类型视网膜细胞的响应特性，或者模拟大脑视觉皮层对信息的整合方式。

• 结合其他低光增强技术：

   将受生物启发的融合框架与基于物理模型的低光增强方法（如去雾）或基于其他深度学习的增强技术相结合，发挥各自优势，实现更全面的增强效果。

• 评价指标：

   开发更符合人类视觉感知的低光图像增强评价指标，以便更客观地评估不同方法的性能。

结论

低光图像增强是一个充满挑战但具有重要应用价值的领域。本文探讨了一个受人类视觉系统（HVS）启发的、基于多曝光融合的低光图像增强框架。该框架通过模拟HVS在不同光照水平下对信息进行整合的过程，利用多曝光融合技术来提升低光图像的亮度、对比度并恢复细节。通过从单幅低光图像生成多幅模拟曝光图像并进行加权融合，该框架能够有效地解决低光环境下的图像质量问题。尽管仍面临多曝光模拟准确性、权重图设计等挑战，但受生物启发的框架为低光图像增强提供了一个新的视角和研究方向，具有潜在的应用前景。未来的研究将致力于解决现有挑战，进一步提升框架的性能和鲁棒性，为创建更清晰、更具视觉吸引力的低光图像做出贡献。

⛳️ 运行结果

🔗 参考文献

[1] 王璠.图像质量评价与提升算法及应用研究[D].北京科技大学,2022.

[2] 赵晶晶.仿生视觉模型关键技术研究及应用[D].国防科学技术大学[2025-05-09].DOI:10.7666/d.D675413.

[3] 张华伟,郑娅峰,张巧荣.基于视觉注意机制的彩色图像分割[J].计算机工程与应用, 2011, 47(10):4.DOI:10.3778/j.issn.1002-8331.2011.10.044.

📣 部分代码

🎈 部分理论引用网络文献，若有侵权联系博主删除

 👇 关注我领取海量matlab电子书和数学建模资料 

🏆团队擅长辅导定制多种科研领域MATLAB仿真，助力科研梦：

🌈 各类智能优化算法改进及应用

生产调度、经济调度、装配线调度、充电优化、车间调度、发车优化、水库调度、三维装箱、物流选址、货位优化、公交排班优化、充电桩布局优化、车间布局优化、集装箱船配载优化、水泵组合优化、解医疗资源分配优化、设施布局优化、可视域基站和无人机选址优化、背包问题、 风电场布局、时隙分配优化、 最佳分布式发电单元分配、多阶段管道维修、 工厂-中心-需求点三级选址问题、 应急生活物质配送中心选址、 基站选址、 道路灯柱布置、 枢纽节点部署、 输电线路台风监测装置、 集装箱调度、 机组优化、 投资优化组合、云服务器组合优化、 天线线性阵列分布优化、CVRP问题、VRPPD问题、多中心VRP问题、多层网络的VRP问题、多中心多车型的VRP问题、 动态VRP问题、双层车辆路径规划（2E-VRP）、充电车辆路径规划（EVRP）、油电混合车辆路径规划、混合流水车间问题、 订单拆分调度问题、 公交车的调度排班优化问题、航班摆渡车辆调度问题、选址路径规划问题、港口调度、港口岸桥调度、停机位分配、机场航班调度、泄漏源定位

🌈 机器学习和深度学习时序、回归、分类、聚类和降维

2.1 bp时序、回归预测和分类

2.2 ENS声神经网络时序、回归预测和分类

2.3 SVM/CNN-SVM/LSSVM/RVM支持向量机系列时序、回归预测和分类

2.4 CNN|TCN|GCN卷积神经网络系列时序、回归预测和分类

2.5 ELM/KELM/RELM/DELM极限学习机系列时序、回归预测和分类

2.6 GRU/Bi-GRU/CNN-GRU/CNN-BiGRU门控神经网络时序、回归预测和分类

2.7 ELMAN递归神经网络时序、回归\预测和分类

2.8 LSTM/BiLSTM/CNN-LSTM/CNN-BiLSTM/长短记忆神经网络系列时序、回归预测和分类

2.9 RBF径向基神经网络时序、回归预测和分类

2.10 DBN深度置信网络时序、回归预测和分类

2.11 FNN模糊神经网络时序、回归预测

2.12 RF随机森林时序、回归预测和分类

2.13 BLS宽度学习时序、回归预测和分类

2.14 PNN脉冲神经网络分类

2.15 模糊小波神经网络预测和分类

2.16 时序、回归预测和分类

2.17 时序、回归预测预测和分类

2.18 XGBOOST集成学习时序、回归预测预测和分类

2.19 Transform各类组合时序、回归预测预测和分类

方向涵盖风电预测、光伏预测、电池寿命预测、辐射源识别、交通流预测、负荷预测、股价预测、PM2.5浓度预测、电池健康状态预测、用电量预测、水体光学参数反演、NLOS信号识别、地铁停车精准预测、变压器故障诊断

🌈图像处理方面

图像识别、图像分割、图像检测、图像隐藏、图像配准、图像拼接、图像融合、图像增强、图像压缩感知

🌈 路径规划方面

旅行商问题（TSP）、车辆路径问题（VRP、MVRP、CVRP、VRPTW等）、无人机三维路径规划、无人机协同、无人机编队、机器人路径规划、栅格地图路径规划、多式联运运输问题、 充电车辆路径规划（EVRP）、 双层车辆路径规划（2E-VRP）、 油电混合车辆路径规划、 船舶航迹规划、 全路径规划规划、 仓储巡逻

🌈 无人机应用方面

无人机路径规划、无人机控制、无人机编队、无人机协同、无人机任务分配、无人机安全通信轨迹在线优化、车辆协同无人机路径规划

🌈 通信方面

传感器部署优化、通信协议优化、路由优化、目标定位优化、Dv-Hop定位优化、Leach协议优化、WSN覆盖优化、组播优化、RSSI定位优化、水声通信、通信上传下载分配

🌈 信号处理方面

信号识别、信号加密、信号去噪、信号增强、雷达信号处理、信号水印嵌入提取、肌电信号、脑电信号、信号配时优化、心电信号、DOA估计、编码译码、变分模态分解、管道泄漏、滤波器、数字信号处理+传输+分析+去噪、数字信号调制、误码率、信号估计、DTMF、信号检测

🌈电力系统方面

微电网优化、无功优化、配电网重构、储能配置、有序充电、MPPT优化、家庭用电

🌈 元胞自动机方面

交通流 人群疏散 病毒扩散 晶体生长 金属腐蚀

🌈 雷达方面

卡尔曼滤波跟踪、航迹关联、航迹融合、SOC估计、阵列优化、NLOS识别

🌈 车间调度

零等待流水车间调度问题NWFSP 、 置换流水车间调度问题PFSP、 混合流水车间调度问题HFSP 、零空闲流水车间调度问题NIFSP、分布式置换流水车间调度问题 DPFSP、阻塞流水车间调度问题BFSP

👇