摩托罗拉、联想新作：MobileMEF 快速有效的多曝光融合方法

MobileMEF: Fast and Efficient Method for Multi-Exposure Fusion

https://arxiv.org/pdf/2408.07932

GitHub

Lucas Nedel Kirsten, Zhicheng Fu, Nikhil Ambha Madhusudhana

Abstract

Recent advances in camera design and imaging technology have enabled the capture of high-quality images using smartphones. However, due to the limited dynamic range of digital cameras, the quality of photographs captured in environments with highly imbalanced lighting often results in poor-quality images. To address this issue, most devices capture multi-exposure frames and then use some multi-exposure fusion method to merge those frames into a final fused image. Nevertheless, most traditional and current deep learning approaches are unsuitable for real-time applications on mobile devices due to their heavy computational and memory requirements. We propose a new method for multi-exposure fusion based on an encoder-decoder deep learning architecture with efficient building blocks tailored for mobile devices. This efficient design makes our model capable of processing 4K resolution images in less than 2 seconds on mid-range smartphones. Our method outperforms state-of-the-art techniques regarding full-reference quality measures and computational efficiency (runtime and memory usage), making it ideal for real-time applications on hardware-constrained devices.

Introduction

在光照极不均衡的环境中拍摄的照片，往往会因为曝光不足和曝光过度而导致图像质量不佳。这一问题源于数码相机动态范围的局限性，其远低于现实场景中的动态范围。为了克服这一限制，已经开发了高动态范围（HDR）成像技术，其中多曝光图像融合（MEF）是一个突出的解决方案。MEF方法将不同曝光级别下拍摄的多幅图像合并成一幅图像，旨在保留场景细节和色彩保真度[4]。尽管取得了进展，但许多现有的MEF方法仍依赖于手工设计的特征或变换，这在不同条件下会导致鲁棒性问题[5]。

传统的MEF方法，如基于拉普拉斯金字塔的方法，由于需要生成金字塔子图像而涉及多个操作，因此计算量大。这种计算开销对于智能手机等硬件受限的应用来说尤为成问题，尤其是在处理高分辨率4K图像时。为了减轻计算负担，已经提出了单尺度融合方法，但它们往往因为明显的接缝和灰度差异而产生质量较低的图像。此外，尽管基于深度学习的方法在改进MEF方面显示出潜力，但它们往往不考虑现实世界的部署限制，导致速度和质量之间的权衡，从而限制了它们在移动平台上的应用。

提出了一种基于编码器-解码器深度学习架构的新型MEF方法，旨在优化移动设备性能，命名为MobileMEF。MobileMEF借鉴了深度学习领域的最新进展，但引入了几个关键修改，以提高MEF任务的效率和有效性。如图1所示，与现有最先进（SOTA）方法相比，本文的方法以最低或接近最低的操作需求实现了卓越的图像质量结果。这种高质量图像输出和低计算需求的平衡使我们的方法非常适合在移动设备上部署，能够在不牺牲性能的情况下高效地处理4K分辨率图像。

对该领域的主要贡献包括：

• 为硬件受限的MEF应用设计了优化的模型架构；
• 基于单尺度融合和YUV色彩空间图像的旁路模块，该模块将输入帧中融合图像通道的估计值转发到模型输出预测；
• 基于裁剪的新梯度损失公式，能够捕获预测图像和真实图像之间的精细细节和整体图像上下文。

Method

本文提出的MobileMEF基于LPIENet [11]，但是本文的目标是在移动端做 4K 图像的修复，因此对一些网络部分做了修改。

输入是多曝光图像的YUV颜色空间图像，输入网络前下采样一次；

网络基本块是ConvNeXt，作为feature extraction层，编解码器的卷积层如图2中所示；

Single-Scale Fusion (SSF) 越过编码器和解码器；

Inverted residual (InvBlock，如图3所示)和Squeeze-and-Excitation attention置于解码器后面；

模型输出前上采样一次；

损失函数 L1 (mean absolute error) 和 Gradient loss [13]；

dataset SICE [24]

[11] M. V. Conde, F. Vasluianu, J. Vazquez-Corral, and R. Timofte, “Perceptual image enhancement for smartphone real-time applications,” in Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, 2023, pp. 1848–1858.

[13] C. Ma, Y. Rao, Y. Cheng, C. Chen, J. Lu, and J. Zhou, “Structurepreserving super resolution with gradient guidance,” in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2020, pp. 7769–7778.

[24] J. Cai, S. Gu, and L. Zhang, “Learning a deep single image contrast enhancer from multi-exposure images,” IEEE Transactions on Image Processing, vol. 27, no. 4, pp. 2049–2062, 2018.

Results