HDR论文总结-CSDN博客

本文链接：https://blog.csdn.net/weixin_57159421/article/details/132250344

-- 主要针对多曝光HDR动态场景重建

定义：高动态范围成像(High Dynamic Range Imaging，简称HDRI或HDR)，在计算机图形学与电影摄影术中，是用来实现比普通数位图像技术更大曝光动态范围（即更大的明暗差别）的一组技术。指的是场景中最大光亮度与最小光亮度之比，其比值越大则相应的动态范围就随之越高。它旨在准确地表示从阳光到阴影的真实场景中捕获的各种强度水平。

获取：一种常见的方法是使用专门设计的算法从低动态范围(LDR)摄像机捕获的视觉内容中重建HDR图像。在这些算法中，有两种常用的方法。(a)通过融合同一场景在不同曝光时间下的多幅LDR图像来生成HDR内容。然而，由于在不同曝光下捕获LDR内容需要使用某些软件/硬件技术，因此通常很难创建数据集。(b)从单次曝光图像中生成HDR内容。

深度HDR成像利用LDR图像的特征学习恢复场景辐照度。重建的HDR图像必须满足高对比度、高位深和保留细节三个条件。

数据集：表1总结深度HDR成像常用的基准数据集，包括数据大小、数据类型、GT的可用性、空间分辨率和场景细节。一些数据集通过模拟CRF或使用CRF数据库获得LDR图像，而其他数据集则包含真实世界的LDR图像和ground-truth (GT) HDR图像。对于合成HDR数据集，HDR GT图像收集自不同的现实场景。

对于单曝光HDR图像重建，最常见的方法是使用一组CRF数据库[14]、[36]中的不同CRF函数来模拟LDR形成管道，或者使用虚拟相机根据随机选择的相机曲线来捕捉场景中的多个随机区域[10]、[38]、[47]。在[14]中，为了创建一个真实世界的单图像HDR数据集，600名业余爱好者被指示使用放置在稳定三脚架上的LDR相机拍摄多次曝光的场景。利用Photomatix将LDR曝光叠加融合得到HDR图像。

对于多曝光HDR图像重建，[9]的数据集采集过程具有代表性。对于静态场景，HDR图像的生成方法与[14]类似。对于动态场景，HDR图像与参考中曝光LDR图像对齐。使用参考LDR图像，通过要求主体移动模拟相机运动或不运动来捕获向上和向下曝光的LDR图像。

评价指标：(图像质量评估IQA)

1.峰值信噪比PSNR; PSNR越大，待测图像与参考图像的误差值越小，待测图像质量越好。

2.结构相似度SSIM; SSIM越大，待测图像与参考图像的误差值越小，待测图像质量越好。

3.高动态范围视觉感知质量预测HDR-VDP-2; 一种人类视觉感知图像质量评价指标，它主要用来测量亮度和对比度差异，值越大质量越好。

损失函数：（见表2）

多曝光HDR成像：关键步骤是LDR图像对齐和合并

1. Optical Flow-based Image Alignment(基于光流的图像对齐)--传统方法

①2017 ACM Trans. Graph.

Deep High Dynamic Range Imaging of Dynamic Scenes (ucsd.edu)

②2019 WACV Multi-Scale Dense Networks for Deep High Dynamic Range Imaging | IEEE Conference Publication | IEEE Xplore

2. Direct Feature Concatenation Alignment(直接特征连接的对齐)--编码解码

①2018 ECCV [1711.08937] Deep High Dynamic Range Imaging with Large Foreground Motions (arxiv.org)

②2020 ICASSP Attention-Mask Dense Merger (Attendense) Deep HDR for Ghost Removal | IEEE Conference Publication | IEEE Xplore

③2021 Neurocomputing Towards accurate HDR imaging with learning generator constraints - ScienceDirect

④2021 PR [1911.04762] Merging-ISP: Multi-Exposure High Dynamic Range Image Signal Processing (arxiv.org)

⑤2021 TIP [2007.01628] HDR-GAN: HDR Image Reconstruction from Multi-Exposed LDR Images with Large Motions (arxiv.org)

3. Correlation-Guided Feature Alignment(关联引导的特征对齐)--注意力机制+金字塔

①2019 CVPR [1904.10293] Attention-guided Network for Ghost-free High Dynamic Range Imaging (arxiv.org)

②2020 Sensors Sensors | Free Full-Text | Pyramid Inter-Attention for High Dynamic Range Imaging (mdpi.com)

③2020 ACCV

ACCV 2020 Open Access Repository (thecvf.com)

④2020 TIP Deep HDR Imaging via A Non-Local Network | IEEE Journals & Magazine | IEEE Xplore

⑤2021 CVPR [2105.10697] ADNet: Attention-guided Deformable Convolutional Network for High Dynamic Range Imaging (arxiv.org)

⑥2022 IJCV Dual-Attention-Guided Network for Ghost-Free High Dynamic Range Imaging | SpringerLink

⑦2022 Sensors Sensors | Free Full-Text | Multi-Scale Attention-Guided Non-Local Network for HDR Image Reconstruction (mdpi.com)

⑧2022 TIP [2107.06211v1] Attention-Guided Progressive Neural Texture Fusion for High Dynamic Range Image Restoration (arxiv.org)

4. Image Translation-Based Alignment(基于图像平移的对齐)

①2019 ICIP Deep Multi-Stage Learning for HDR With Large Object Motions | IEEE Conference Publication | IEEE Xplore

②2020 IEEE Access Exposure-Structure Blending Network for High Dynamic Range Imaging of Dynamic Scenes | IEEE Journals & Magazine | IEEE Xplore

总结：利用光流对准LDR图像是传统的方法;然而，这种对齐方法容易出错，并且在大运动时效果较差。相比之下，关联引导的特征对齐更加灵活和有效地排除不对齐的特征。然而，关联引导的特征对齐对过饱和区域很敏感，这往往会导致特征的排除而导致文本细节的丢失。一些方法，如[33]，在编码阶段使用注意，其他方法，如[75]，在合并阶段学习相关性。然而，需要更多的理论研究来确定最适合学习相关性的阶段。

这一研究领域仍存在许多挑战。首先，必须保证图像或特征的鲁棒性对齐。LDR图像的学习相关是一个很有前途的研究方向;然而，它通常需要相当大的计算成本。其次，需要许多标记数据集来训练DNN并使其具有鲁棒性。在多曝光HDR成像中，获取用于场景捕捉的相机和设备是比较昂贵的。因此，未来的研究需要对数据高效学习进行研究。一个有希望的方向是探索知识转移[83]或半监督学习[84]，[85]。第三，由于采用DNN学习显著特征，在大多数SoTA方法中，推理延迟是不可避免的。然而，实时HDR成像更适合实际应用。因此，开发基于轻量级DL的框架来平衡性能是至关重要的。

HDR Imaging with GAN(HDR成像与GAN)

●在HDR成像中使用GAN可以帮助估计光强和局部对比度的真实数据分布。

①2019 TIP MEF-GAN: Multi-Exposure Image Fusion via Generative Adversarial Networks | IEEE Journals & Magazine | IEEE Xplore

②2021 TIP [2007.01628] HDR-GAN: HDR Image Reconstruction from Multi-Exposed LDR Images with Large Motions (arxiv.org)

HDR Imaging with the Attention Mechanism(HDR成像与注意力机制)

●在HDR成像中使用注意力机制使HDR重建网络能够集中在LDR图像中最相关的区域。

①2019 CVPR [1904.10293] Attention-guided Network for Ghost-free High Dynamic Range Imaging (arxiv.org)

②2020 TIP Deep HDR Imaging via A Non-Local Network | IEEE Journals & Magazine | IEEE Xplore

③2020 ICDIP Multi-scale contextual attention based HDR reconstruction of dynamic scenes | Semantic Scholar

④2020 Neurocomputing Multi-exposure images coding for efficient high dynamic range image compression | IEEE Conference Publication | IEEE Xplore

⑤2021 CVPR [2105.10697] ADNet: Attention-guided Deformable Convolutional Network for High Dynamic Range Imaging (arxiv.org)

⑥2022 IJCV Dual-Attention-Guided Network for Ghost-Free High Dynamic Range Imaging | SpringerLink