【图像融合专题】【综述】移动端影像摄影中的HDR技术

已于 2025-04-03 15:30:10 修改
阅读量586 收藏 3
点赞数
分类专栏： 图像处理 文章标签： 数码相机
于 2024-07-01 11:04:02 首次发布
原文链接：https://zhuanlan.zhihu.com/p/682732988
版权

1. 什么是High Dynamic Range

动态范围（Dynamic Range）通常指的是画面里对应真实世界中光亮度最大值和最小值的比值，这里光亮度描述物体单位面积辐射光强的能力，单位为 ）���(��/�2） 。我们生活的世界亮度范围很大，比如太阳的亮度达到20亿尼特（nit），室内白炽灯的亮度在200万尼特左右，而夜晚天空的亮度一般都在百分之几尼特。

人眼所能感觉的亮度范围非常宽，从百分之几尼特至几百万尼特，其原因在于眼睛的感光作用有随外界光的强弱而自动调节的能力。我们可以把瞳孔看成一个可变光阑，通过调节孔径大小控制通光量，但实际上这个调节也是有一定范围的，那么当物体亮度超出人眼能感受的亮度区间，会呈现出一种什么状态呢？

可以看到在超出了人眼的动态范围之外的亮度，不管上到1亿尼特还是10亿尼特，人眼已经区分不出来了，都是一片白茫茫的景象。同样在黑夜中也一样，非常暗的物体和稍微有点暗的物体对人眼来说都是一样的黑色，自然也看不到中间的信息了。

接下来介绍一下高动态范围的含义，顾名思义HDR就是指提高能感觉到的亮度范围，获取到更多信息。人眼能接受到的亮度范围在人类进化的过程中差不多已经定型了，因此高动态范围这个词其实是针对成像设备来说的。非常不幸的是，目前相机的感光元件能感受到的动态范围比人眼还要差一大截：

所以平时我们拍照的时候，要求相机把人眼看到的内容都记录下来都是一件相当困难的事情。即使是目前最强大的消费级相机，在拍摄大光比场景时仍然无法完全还原场景细节，比如下面这个场景楼房和地面亮度都在相机的动态范围之外：

相机拍摄阳光直射下的高对比度场景

回顾一下相机成像的原理，光学镜头将物体折射到cmos或ccd上，曝光时间、快门速度、光圈控制着传感器接收光子的一个数量：

举个例子，当曝光时间非常小的时候，传感器还没有充分接收到比较暗的物体，拍摄过程就结束了。最后暗区实际上拍下来就是一片漆黑。但好消息是亮区在传感器没有充分曝光的情况下，刚好可以保留高光处的细节（左图）：

同理当曝光时间很长的时候，虽然亮度高的地方传感器接收饱和，区分不出信息了，但亮度低的物体随着充分的曝光却可以获取有区分度的信息（右图）。

说到这里可以发现，虽然相机在单次曝光状态下只能获取一张低动态范围（LDR）的图像，但通过多次不同的曝光得到不同范围的动态区间，把多个LDR的动态区间信息组合起来似乎可以实现动态范围的提升（HDR），最终逼近人眼观察的效果。

2. 影像拍照中的HDR合成技术

首先建立一个表达式，描述真实场景亮度L和传感器接收后感受到的亮度I之间的关系：

ti代表曝光时间，这里暂时以固定的快门速度和光圈大小举例。不同的曝光时间可以采样不同真实场景亮度L的动态范围，曝光时间长暗区信息可以获取到而亮区信息却会丢失（称为过曝光），曝光时间短亮区信息可以获取到而暗区信息却会丢失（称为欠曝光）。超出相机动态范围的亮度最后都会被截断掉（clip），这部分被截断的区域反应在图像上就是全白的像素。

下面展示了在三段曝光时间中相机获取到的热气球这组场景的图像，第二列为图像中处于相机成像动态范围内区域的mask：

可以看到这三段曝光时间获取的图像通过互补的方式，完美涵盖了这组场景从天空到地面的动态范围，接下来我们根据表达式将三组图像都统一到一个曝光时间(0.025s)下对真实世界的采样，最后对于第一帧图像缺失的动态范围内容，依次用后续帧进行补充即可。

这里方便展示高bit位图像都是做了线性压缩，比如一张16bits的HDR图像要在8bit显示设备展示必须要进行压缩

实际上由于大部分显示设备的动态范围只有100:1甚至更低，相机拍摄到的高比特位LDR图像和拼接出来的更高比特位的HDR图像要想展示在显示器上需要做很大比例的压缩。这意味着我们辛辛苦苦的通过成像设备将获取的多帧LDR拼接出HDR图像，最后由于显示设备不给力还是要回归成LDR图像展现出来。

但是相较于单纯的一张LDR图像，拼接出来的HDR图像拥有更多的信息，我们可以灵活的去选择如何压缩。通过判断对重要的信息做保留，不重要的信息做压缩，可以得到一张质量更好的LDR图像，这里的压缩方法具体实现将在第三节的Tone mapping算法进行介绍。

3. 影调映射(Tone mapping)

如第二节结尾所讲，因为有着更丰富的图像层次，HDR处理得到的高动态范围图像位深度一般都是12~16bits，而成像设备的位深度通常只有8~10bits。

以LDR的形式在显示器显示HDR图像就需要对高动态范围数据进行压缩，Tone mapping技术应运而生。实际上如果拍摄到一些动态范围甚至小于影像系统动态范围的场景，tone mapping也可以对图像做拉伸，充分利用好显示设备的容深。

Tone mapping算法在对图像动态范围压缩的时候，需要最大程度的保留HDR图像的对比度和层次感，而且也不能产生如梯度翻转、颜色失真、光晕（halo）等问题。Tone mapping算法可以分为全局处理方法（global tone mapping）和局部处理方法（local tone mapping），GTM对全图所有像素值应用一个统一的映射规律，而LTM会在局部patch根据一定的规律进行映射。

4.多曝光融合（Multi-Exposure Fusion）

第二节提到根据不同曝光时间采样到的不同动态范围区间的LDR帧，它们和真实世界的亮度在非饱和区域是一个线性关系的，从成像设备到显示设备的过程可以描述为：

但是有时根据LDR帧在成像系统中的获取节点不同也会有一些调整，比如我们拿到的LDR数据并不是raw数据，而是经过ISP处理后的yuv或者rgb数据。它们经过一些图像处理后和真实世界亮度不再具有线性关系，这时为了能恢复帧间的线性关系通常会多做一个相机相应曲线的标定：

而多曝光融合（MEF）直接跳过了HDR的过程，直接将多张LDR输入根据一定的审美准则融合成单张LDR：

根据最经典的多曝光融合公式，考虑每个像素的对比度、饱和度、亮度赋予每个像素融合权重：

对比度和饱和度越大的区域，以及灰度值接近128的像素权重越高。实际上根据不同的审美准则和需求，权重公式可以灵活调整，去适应不同的喜好。

5. 主观与客观质量评价

不管是HDR还是多曝光融合，高质量的融合图像不仅要尽可能多地保留输入图像中的重要信息，而且要像场景一样自然。总体来说高质量的融合结果需要接近以下三点：

（1）融合图像需要完好提取不同帧图像之间的互补信息和有效信息。

（2）融合算法不会产生任何可能影响人类肉眼观察或进一步处理任务的artifact。

（3）融合算法应当对例如图像对齐不准和噪声等问题具有鲁棒性。

5.1 主观评价指标

主观上通常可以从摄影界的一些术语评价HDR图像的质量或者artifact：（1）通透感（2）影调（3）过曝/欠曝（4）色彩失真（5）光晕（halo）（6）运动伪影。

5.2 客观评价指标

实际应用中对融合后的每一幅图像进行观测是一项耗时费力的工作，具有不同的标准同时容易产生偏差估计，因此需要进行客观的定量评价，下面罗列一些常见的评价指标：

（1）Structural similarity index measure (MEF-SSIM)

（2）QAB/F

（3）Mutual information (MI)

（4） Peak signal-to-noise ratio (PSNR)

（5）Natural image quality evaluator (NIQE)

（6）Standard deviation (SD)

（7） Entropy (EN)

（8） Average gradient (AG)

（9） Visual information fidelity (VIF)

（10） HDR-VDP-2

6. 论文汇总

6.1 HDR

分类论文名称代码发表时间
综述High Dynamic Range Imaging- A Review2015
综述Learned Exposure Selectionfor High Dynamic Range Image Synthesis2021
综述Deep Learning for HDR Imaging:State-of-the-Art and Future Trends2021
综述Comparison of single image HDR reconstruction methods — the caveats of quality assessment2022
HDRBurst photography for high dynamic range and low-light imaging on mobile cameras2021
HDRHandheld Mobile Photography in Very Low Light2019

6.2 MEF

分类论文名称代码发表时间
综述Multi-Exposure Image Fusion Techniques:A Comprehensive Review2022
综述Multi-Exposure Image Fusion Algorithm Based on Improved Weight Function2022
MEFExposure Fusion: A Simple and Practical Alternative to High Dynamic Range Photography2009
MEFMulti-Exposure and Multi-Focus Image Fusion in Gradient Domainhttps://ww2.mathworks.cn/matlabcentral/fileexchange/48782-multi-exposure-and-multi-focus-image-fusion-in-gradient-domain2016
MEFFast Multi-Scale Structural Patch Decompositionfor Multi-Exposure Image Fusiohttps://github.com/xiaohuiben/fmmef-TIP-20202020
MEFImage Fusion with Guided Filteringhttp://xudongkang.weebly.com/2013
MEFMulti-Exposure Image Fusion by Optimizing AStructural Similarity Indexhttps://kedema.org/Publications.html2017
MEFMulti-scale Guided Image and Video Fusion: A Fastand Efficient Approachhttps://ww2.mathworks.cn/matlabcentral/fileexchange/72451-multi-scale-guided-image-and-video-fusion?s_tid=prof_contriblnk2019
MEFMulti-Scale Fusion ofTwo Large-Exposure-Ratio Imageshttps://github.com/emmmyiyang/MEF-Two-Images2018
MEFMulti-exposure image fusion a patch-wise approachhttps://kedema.org/Publications.html2015
MEFRobust Multi-Exposure Image Fusion: A StructuralPatch Decomposition Approachhttps://kedema.org/Publications.html2017
MEFA Precise Multi-Exposure Image Fusion MethodBased on Low-level Featureshttps://github.com/zhiqinzhu123/HDR-Multi-exposure-image-Fusion-Source-Code-2020
MEFDetail-Preserving Multi-Exposure Fusion withEdge-Preserving Structural Patch Decompositionhttps://github.com/xiaohuiben/MESPD_TCSVT-20212021
MEFGhost-free multi exposure image fusion technique using dense SIFTdescriptor and guided filterhttps://github.com/ImranNust/Source-Code2019
NNDeep Guided Learning for Fast Multi-Exposure Image Fusionhttps://github.com/makedede/MEFNet2020
NNMulti-exposure fusion with CNN featureshttps://github.com/xiaohuiben/MEF-CNN-feature2018

更多深度学习相关方法可以参照这个repo：

GitHub - Linfeng-Tang/Image-Fusion: Deep Learning-based Image Fusion: A Survey

6.3 Tone mapping

综述A review for Tone-mapping Operators on Wide Dynamic Range Image2021
综述HDR Tone mapping: System Implementations and
Benchmarking		2015
GTMReal-time noise-aware tone mappinghttps://github.com/NVIDIA/Q2RTX/blob/master/src/refresh/vkpt/shader/tone_mapping_histogram.comp2015
GTMPhotographic Tone Reproduction for Digital Images2002
LTMOptimizing a tone curve for backward-compatible high dynamic range image and video compression2011
【HDR】曝光融合（Exposure Fusion）
专注人工智能，主攻CV
12-22 1万+
在曝光融合（Exposure Fusion）算法问世之前，多曝光序列合成用于显示的HDR需要两个步骤，第一步是将多张不同曝光的低动态范围图像合成为HDR（例如Debevec提出的加权融合方法），通常HDR为12bit或者16bit；第二步是通过tonemapping对高动态范围HDR进行压缩以支持低动态范围显示设备（例如Durand提出的基于双边滤波的tonemapping算法），一般会压缩至8bit。
HDR多曝光融合
2301_80439532的博客
03-09 1463
HDR（High Dynamic Range）多曝光融合是从一组在同一场景下不同曝光设置下拍摄的图像中合成一张高动态范围图像。单次曝光的照片往往无法捕捉到场景中同时存在的明亮区域和阴暗区域的全部细节，而多曝光融合则可以综合这些不同曝光等级照片中的优势信息，使得合成出来的图像拥有更广的动态范围和更多的细节层次。以下是采用“曝光融合”方法的Python实现。
HDR图像融合程序
04-12
用于多帧不同曝光的图像融合
ISP-长短曝光融合生成HDR图像
AomanHao的博客
04-06 5726
根据Debevec等人提出的相机响应曲线(Camera Response Curve，CRV)，采集图像数据计算长曝光与像素值的关系，短曝光与像素值的关系，再利用权重函数，将长曝光、短曝光对应的低动态范围图像数据合成，得到高动态范围图像。第二，像素点亮度值与曝光时间成线性关系。2、**长短曝光融合：**指在同等增益的条件下，同时输出一路长曝光数据和一路短曝光数据，根据某种关系将两路数据进行融合。第三，一般的合成算法较为复杂，有的利用最小二乘法求解多个方程，有的进行分块融合，有的需要多次迭代处理。
基于OpenCV的多图像采集HDR融合
最新发布
u010659978的博客
05-07 349
Android平台实现HDR，输入图像为3张，可以根据需要添加输入图像数，相机可以按照不同曝光时间来获取不同亮度的图像传入hdr函数，经过函数融合后得到一张宽动态的图像。未经过HDR处理的图像，图像中有过曝的区域和比较黑暗的区域，这种情况下固定的曝光时间比较难拍出理想的图像。经过HDR处理的图像，过曝的区域已经不存在，黑暗的区域也可以得到亮度补偿。
多曝光图像合成HDR
09-21
使用短曝光，长曝光图像进行HDR图片的合成；里面有HDR所涉及的原理，以及合成方法的对比；
matlab_实现不同曝光成度的图像融合_HDR
06-21
在图像处理领域，HDR（High Dynamic Range）高动态范围图像技术是一种用于呈现更宽亮度范围的图像技术，它能够捕捉并再现人眼所能看到的真实世界中的亮部和暗部细节。MATLAB作为一种强大的数学计算和可视化工具，也...
显示/光电技术中的HDR和UHD技术区别揭秘
10-15
HDR，全称为High-Dynamic Range，即高动态范围显示技术，起源于摄影领域，旨在增强照片的动态范围，使图像中的亮部和暗部对比度更大，从而展现出更多的细节。例如，iPhone的HDR拍照模式，通过连续拍摄多张不同曝光的...
探索多曝光HDR图像融合技术
在实际应用中，由于单次拍摄无法同时捕获场景的亮部和暗部细节，因此摄影师或图像处理人员会采用连拍不同曝光度的多张图片，然后利用HDR图像融合程序将这些图片合成一张具有极高动态范围的图片。这种方法特别适用于...
HDR高动态图像处理技术教材-摄影师必备.docx
09-26
在摄影领域，HDR（High Dynamic Range）高动态范围图像处理技术已经成为后期制作中不可或缺的一部分。HDR技术能够捕捉并展示超过普通相机传感器所能记录的光线范围，从而使得照片具有更丰富的明暗细节，更接近人眼...
多曝光图像融合（基于显著性）
04-05
用于多曝光图像融合，本文算法，利用了人眼视觉识别的特点进行了显著性分析，并以此作为权重进行融合。
matlab精度检验代码-hdr-fusion:基于视觉显着性和堆栈扩展的强大的无鬼HDRI
05-21
matlab精度检验代码
matlab的代码在相机上实现-HDRFusion:我们的论文“使用低成本自动曝光RGB-D传感器的HDRSLAM”的C++实现
05-19
matlab的代码在相机上实现HDRFusion 介绍 这是[1]的开源C ++实现。 该代码已在Ubuntu和Windows平台上进行了测试。 [1] HDRFusion：使用低成本自动曝光RGB-D传感器的HDR SLAM。 李珊; 半田，A .； 杨志; 卡尔韦（A. arKiv.org），2016年。 如果您在自己的工作中使用此软件，请考虑引用上述出版物。 该存储库由Shuda Li（）维护。 如有任何问题或建议，请随时与我联系。有关更多详细信息，请参阅以下项目页面 执照 源代码是根据MIT许可发布的。 简而言之，您可以出于任何目的使用代码执行任何操作。 有关详细信息，请在源代码中查看许可证文件。 依存关系 OpenCV 3.0（BSD许可证） Eigen（GNU免费软件） Sophus（GNU免费软件） OpenNI 2（Apache许可证） Boost（BSD许可证） GLEW（免费商业使用） CUDA 校准说明 按照以下说明编译项目“ multi_expo_caputurer”和“ calc_crf”。 一种。 请参阅“ calibration \ Windows.txt
c语言实现hdr图像合成,怎样完成一张HDR照片的拍摄与合成
weixin_30461129的博客
05-24 1398
怎样完成一张HDR照片的拍摄与合成教程细节：程序：Photomatix Pro，Photoshop难度：中等完成时间：1到2小时不等最终效果图1.理解高动态范围照片(HDR Photography)当我们提到动态范围时会提到极限的不同。这也关系到摄影与曝光中高光部分与暗调部分的区别。动态范围用一种比例表示。人眼大概可以看到10000：1的范围。与之相比，一台优秀的数码相机也只能达到1000：1而已...
拉普拉斯金字塔在多图HDR算法中的应用以及多曝光图像的融合算法简介。
PixelDemon的博客
09-15 1133
在SSE图像算法优化系列二十九：基础的拉普拉斯金字塔融合用于改善图像增强中易出现的过增强问题(一)一文中我们曾经描述过基于几种高频融合法则的拉普拉斯金字塔融合算法，那里是主要针对2副图像的。实际的应用中，我们可能会遇到多帧图像的融合过程(图像都是对齐后的)，特别是多帧不同曝光度的图像的融合问题，在相机的应用中较为广泛，我们同时也可以认为这是另外一种的HDR算法。 这方...
Joint HDR Denoising and Fusion: A Real-World Mobile HDR Image Dataset
u013049912的博客
08-14 1116
手机已经成为我们日常生活中无处不在、不可或缺的拍照设备，而小光圈和传感器尺寸使得手机更容易受到噪点和过饱和的影响，导致动态范围(LDR)低、画质低。因此，为手机开发高动态范围(HDR)成像技术至关重要。然而，现有的HDR图像数据集大多是在白天由DSLR相机构建的，限制了其在手机HDR成像研究中的适用性。在这项工作中，我们首次利用手机摄像头开发了一个HDR图像数据集，即Mobile-HDR数据集。具体来说，我们利用三个手机摄像头在原始图像域中收集成对的LDR-HDR图像，涵盖了不同噪声水平的白天和夜间场景。
LDR图像融合HDR: RamenTMO方法
zengshaoqing的博客
04-26 1303
参考文献： "Bilateral Filter Based Compositing for Variable Exposure Photography" by Shanmuganathan Raman and Subhasis Chaudhuri in Eurographics 2009 Short papers program 算法流程： Gamma变换计算归一化的图像队列，范围[0...
全解HDR与Exposure Fusion
09-24 1560
一文读懂HDR与Exposure Fusion
HDR多帧曝光融合Python代码实现
qq_42032507的博客
01-23 8269
HDR多帧曝光融合Python代码实现
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值