HDR调研及模型测试

对前一段工作的总结记录，内容不完善，仅做参考。

1. 问题描述

HDR的Wikipedia定义 ：In photography and videography, high dynamic range (HDR) is a set of techniques used to increase the dynamic range of captured photos and videos. It typically consists of capturing multiple frames of the same scene but with different exposures and then combining them into one, resulting into a dynamic range higher than those of individually captured frames.It includes the compositing and tone mapping of images to extend the dynamic range beyond the native capability of the capturing device.（即在摄影技术中，捕获同一场景具有不同曝光的多个帧，然后将它们合并为一个，从而产生比单独捕获的帧更高的动态范围。）

HDR的主要好处 ：

• 高光（即图像中最亮的部分）可以同时显着更亮、更丰富多彩并具有更多细节。
• 低光（即图像最暗的部分）可以更暗并具有更多细节。
• 图像的彩色部分可以更加丰富多彩。

HDR的其他好处：

• 场景之间更逼真的亮度变化，例如阳光、室内和夜景。
• 更好的表面材料识别。
• 更好的深度感知，即使是 2D 图像。

【方法1】：多张不同曝光的LDR模拟camera的pipeline重建HDR

【方法2】：单张LDR重建对应HDR      符合使用场景，主要关注此类方法

2. 初步调研（只关注了单张图像重建HDR）

      < Single Image HDR Reconstruction >

• HDR image reconstruction from a single exposure using deep CNNs     已复现
  SiGGRAPH Asia 2017 | Paper | code

• ExpandNet: A Deep Convolutional Neural Network for High Dynamic Range Expansion from Low Dynamic Range Content   已复现
  Eurographics 2018/Computer Graphics Forum | paper | code

• Deep Chain HDRI: Reconstructing a High Dynamic Range Image from a Single Low Dynamic Range Image    未开源
  IEEE Access 2018 | Paper

• Deep Recursive HDRI: Inverse Tone Mapping using Generative Adversarial Networks    已复现
  ECCV 2018 | Paper | code

• Deep Reverse Tone Mapping    chainer框架，放弃
  SIGGRAPH ASIA 2017 | Paper | project & code

• Hybrid Loss for Learning Single-Image-based HDR Reconstruction    未开源
  ArXiv 2018 | Paper

• FHDR: HDR Image Reconstruction from a Single LDR Image using Feedback Network    已复现，测试输入需要hdr&jpg图像对
  Global SIP 2019 | Paper | Code

• Single Image HDR Reconstruction Using a CNN with Masked Features and Perceptual Loss    权重文件链接失效
  SIGGRAPH 2020 | Paper | Code

• Single-Image HDR Reconstruction by Learning to Reverse the Camera Pipeline      已复现
  CVPR 2020 | Paper | Code

• End-to-End Differentiable Learning to HDR Image Synthesis for Multi-exposure Images     未开源
  AAAI 2021 | Paper

• Beyond Visual Attractiveness: Physically Plausible Single Image HDR Reconstruction for Spherical Panoramas     未开源
  ArXiv 2021 | Paper

  【update】

• HDRUNet: Single Image HDR Reconstruction with Denoising and Dequantization        已复现
  CVPR 2021 | Paper | Code

•  UHD image HDR reconstruction via collaborative bilateral learning    ICCV2021

3. 数据集

主要两种，一种是单张LDR对应单张HDR，一种是多张不同曝光的LDR对应一张HDR。

• GoogleHDR+：http://www.hdrplusdata.org/dataset.html
• [Kalantari Dataset in SIGGRAPH17]
• [CVPR19 Single Frame]
• [NTIRE 2021 High Dynamic Range Challenge (Track 1 Single Frame)]
• [NTIRE 2021 High Dynamic Range Challenge (Track 2 Multi Frame)]

我查到的HDR图像下载网址：

     网站1（jpg格式）网站2（hdr格式）网站3（hdr/exr格式）网站4（jpg格式）

4. 查看图像

    转换软件下载地址： easy2convert  可以将hdr格式图片转换成常用的jpg，方便查看

    在线查看地址：OpenHDR   

5. 模型测试

 经测试，SingleHDR 和 FHDR 优于其他方法，训练都需要 hdr/exr 和 jpg/png 图像对作为ground truth 和 input，测试时SingleHDR只需输入LDR图像，FHDR需要有 hdr 和 jpg 图像对。

综合来看，个人观感FHDR泛化性最好，效果最佳。

前三张所有模型都测了，后两张过曝图只在SingleHDR和FHDR两个表现较好的方法 & 2021新方法HDRUNet上做了测试：

原图	SingleHDR（生成HDR格式）2020	FHDR（生成HDR格式） 2019	HDRUNet（生成HDR格式）2021	ExpandHDR（生成HDR格式）2018	Deep Recursive HDRI（生成PNG格式）2018	HDRCNN（生成PNG和EXR格式）2017

 补充测试了在不同曝光条件下的照片，通过FHDR处理的结果（不是训练时使用的数据集，是low-light增强任务的数据集）：

原始图像	测试结果