论文阅读笔记:Deep Chain HDRI: Reconstructing a HDR Image from a Single LDR Image

Lee, S., An, G. H., & Kang, S. J. (2018). Deep chain HDRI: Reconstructing a high dynamic range image from a single low dynamic range image. IEEE Access, 6, 49913-49924.

论文PDF: Deep chain HDRI: Reconstructing a high dynamic range image from a single low dynamic range image

摘要:

此论文提出了一种新颖的深度神经网络模型，该模型可从单个低动态范围（LDR）图像重建HDR图像。模型基于由膨胀的卷积层组成的卷积神经网络，并从同一场景的单个LDR图像推断具有各种曝光和照明的LDR图像, 然后，可以通过合并这些推断结果来形成最终的HDR图像。对于所提出的方法而言，找到相对不同比特深度(没有看懂文章中如何体现不同位深)的LDR与HDR之间的映射相对简单，这是因为链结构可推断给定LDR图像的亮（或更暗）曝光的LDR图像之间的关系。该方法不仅扩展了范围，而且具有恢复实际物理世界的光信息的优点。所提出的方法是端到端的重建过程(训练过程是分子网络并行训练)，并且能够轻松组合网络以扩展更多范围的优势。在实验结果中，与传统算法相比，该方法在性能上实现了数量和质量上的提高。

•  INVERSE TONE MAPPING (ITM)：逆色调映射

存在两个问题：一是从LDR到HDR的映射函数很难找到，因为范围变宽后缺少映射信息．二是如果输入图像的元数据不存在（光圈，快门，传感器灵敏度等），不可能准确估计HDR亮度，因为像素值可能会相同的对于曝光值，即使是来自不同的场景

•  论文主要思路：

从LDR图像生成不同曝光度的ＬＤＲ图像（６个曝光度），然后，将７个曝光度的ＬＤＲ图像融合得到ＨＤＲ图像．

生成不同曝光度ＬＤＲ图像的网络结构：

• 全局网络结构：

• 局部子网络结构：

•  每个子网络的损失函数：

pixel loss： 

Total variation regularization：为了提高预测图像的平滑度和防止过拟合．

在合并７个曝光度图片时，使用的是 P. E. Debevec and J. Malik, ‘‘Recovering high dynamic range radiance
maps from photographs,’’ in Proc. ACM SIGGRAPH Classes, 2008, p. 31.　文献中的方法．

文章使用自己的数据：

 

• 为什么使用连式结构：

相同  scene下不同ＥＶ(曝光值)之间平均ＰＳＮＲ情况：差异是因为随着ＥＶ的变化，进入相机的光量信息改变．

图７表示曝光值越大，离输入图像空间越远，因此，随着曝光值差的增大，在改变亮度的同时恢复图像细节变得越困难．需要较深的网络结构，来推理两个图像之间的关系．通过连式结构，依次推断出ＥＶ.