一、引言
暗光增强技术作为计算机视觉与移动影像领域的核心研究方向之一,近年来在算法创新、硬件适配及产品落地方面取得了显著进展。本文从技术研究与产业应用两个维度,系统梳理近三年(2023-2025)该领域的关键突破,并对比分析主流手机厂商的影像技术优劣势。
二、暗光增强技术研究进展
1. 算法创新:从传统模型到深度学习
(1)Retinex理论的深度结合
清华与ETH联合提出的Retinexformer(2023)首次将Transformer架构与Retinex理论结合,提出单阶段视网膜框架(ORF),通过光照估计器与退化修复器的协同,实现低光图像的去噪、对比度增强与颜色校正。其创新点包括:
- 光照引导多头自注意力(IG-MSA):利用光照信息动态调整注意力权重,显著降低计算复杂度(线性 vs. 传统二次复杂度)。
- 单阶段端到端训练:避免传统多阶段模型的繁琐流程,提升效率。
(2)多模态数据融合
北京大学提出的事件相机辅助增强技术(2023)通过事件相机的高时间分辨率捕捉运动信息,结合传统帧相机的空间信息,解决暗光视频中运动模糊与噪声问题。其多模态相关性建模模块突破设备空间对齐限制,在高速低光场景下表现突出。
(3)轻量化与实时性优化
2024年后,研究重点转向模型轻量化。例如,基于MobileNet的变体在保持PSNR 30dB以上的同时,推理速度提升至50ms/帧(1080p),适用于移动端实时处理。
2. 模型架构演进
- Transformer主导地位:2023年后,基于Transformer的模型(如Retinexformer)在13个主流榜单(LOL-v1、SID等)中全面超越CNN模型,PSNR平均提升1.5dB。
- 多任务联合学习:2024年出现同时优化增强、去噪、超分辨率的统一框架,如EnlightenGAN++,通过共享编码器减少参数冗余。
3. 数据集与评估标准
- 数据集扩展:新增ExDark(夜间目标检测)与SMID(动态场景)数据集,推动算法在复杂场景下的泛化能力。
- 评估指标优化:引入**LPIPS(学习感知图像块相似度)**替代传统SSIM,更贴合人类视觉感知。
4. 硬件协同创新
- 传感器技术:索尼IMX989(1英寸大底)与三星HP3(像素合并技术)提升进光量,为算法提供高质量原始数据。
- NPU加速:高通骁龙8 Gen3与联发科天玑9300集成专用AI单元,支持10bit RAW域实时处理。
三、手机厂商暗光增强技术对比分析
1. 华为:算法与硬件协同突破
- 技术亮点:
- RYYB传感器:通过黄色像素替代传统RGGB,进光量提升40%,搭配XD Fusion Pro引擎实现低至0.1lux的暗光拍摄。
- XMAGE影像系统:基于Retinexformer改进的端到端模型,支持10档动态范围压缩。
- 劣势:RYYB色彩偏差问题仍需后期算法补偿,极端场景下可能出现偏色。
2. OPPO:全链路影像优化
- 技术亮点:
- 双芯协同(马里亚纳X+骁龙):分离RAW域处理与ISP管线,减少信息损失。
- 暗光长焦技术:IMX890传感器+潜望式镜头组合,支持6倍变焦下噪点控制提升200%。
- 劣势:硬件成本较高,仅限旗舰机型搭载。
3. vivo:计算摄影创新
- 技术亮点:
- 微云台防抖:物理级防抖补偿长曝光抖动,夜景成片率提升至98%。
- V3影像芯片:定制化AI降噪算法,支持4K 30fps实时夜景视频。
- 劣势:算法锐化倾向明显,部分用户反馈细节过度处理。
4. 苹果:软硬一体化生态
- 技术亮点:
- ProRAW格式:保留12bit深度数据,为后期算法提供更大调整空间。
- 光子引擎(Photonic Engine):深度融合技术提前介入ISP管线,提升中低光场景色彩准确性。
- 劣势:硬件迭代保守(主摄尺寸长期维持1/1.28英寸),极限暗光依赖多帧合成导致动态模糊。
5. 三星:多帧合成与AI强化
- 技术亮点:
- AI多帧合成:单次拍摄16帧+深度学习去鬼影,夜拍亮度提升3倍。
- 自适应像素技术:根据光照条件动态切换像素合并模式(1.08μm→2.16μm)。
- 劣势:高光压制能力较弱,点光源易出现过曝。
四、技术落地挑战与未来趋势
1. 当前挑战
- 计算资源限制:4K视频实时增强需50TOPS算力,现有移动平台(最高35TOPS)仍存差距。
- 真实数据获取:暗光场景标注成本高,合成数据(如LOL-v2)与实际分布存在偏差。
2. 未来方向
- 多模态融合:事件相机、ToF与RGB数据联合建模,突破动态范围极限。
- 端侧大模型:基于DeepSeek-R1等开源框架,实现本地化低功耗推理(如魅族FlymeAIOS系统)。
- 感知-显示一体化:结合自适应刷新率屏幕(如2500nit峰值亮度),实现增强效果的实时可视化反馈。
五、结论
近三年暗光增强技术呈现算法轻量化、硬件专业化、评估人性化三大趋势。手机厂商中,华为与OPPO凭借传感器-算法协同设计占据先发优势,而苹果与三星则通过生态整合保持用户体验一致性。未来,随着6G通信与端侧AI算力突破,暗光增强将进一步向实时化、多模态化演进,成为智慧影像生态的核心支柱。