Single-Image HDR Reconstruction by Learning to Reverse the Camera Pipeline - CVPR - 2020

Single-Image HDR Reconstruction by Learning to Reverse the Camera Pipeline

一、概述

在现有的生成HDR图像的方法中，合并多张不同曝光的LDR图像生成HDR图像，对于静态图像的效果非常好，但在实际应用中基本不存在理想化的静态场景，目标物体的移动，手持拍摄的抖动导致在生成HDR图像时容易出现伪像。作者认为单张LDR图像生成HDR图像对于动态场景的HDR来说，也许是一种更好的思路。这篇paper的核心是将LDR图像成像过程的pipeline引入到模型中，对HDRtoLDR的过程进行建模，主要分为3个模块：
1）动态范围裁剪
2）来自相机响应函数的非线性映射，
3）量化。
作者将问题分解成3个子任务，使用3个网络分别学习这三个模块的逆过程，最后对整个模型进行调参优化。

二、主要内容

图（a）表示的是对LDR成像过程的建模，对于一张HDR图像经过动态范围裁剪、非线性映射、量化生成最终的8bit LDR图像。图（b）~ 图（e）是对single HDR方法模型框架的介绍。
图（b）ExpandNet 直接学习LDR图像到相应HDR图像的映射；
图（c）DrTMO就是学习single LDR图像到多张不同曝光的LDR图像的映射；
图（d）HDRCN做了一些改进使用CNN预测过度曝光区域的细节，但是忽略了曝光不足区域的量化误差。
图（e）是本文提出的模型，主要分为3个子模型分别对应相机成像3个模块的逆。

HDR图像重建

HDR图像的重建分为3个子任务，分别为反量化（dequantization）、线性化（linearization）、幻象（hallucination）。为这3个子任务训练3个CNN net，最后进行联合调参。

Dequantization: 量化经常导致在图像平滑区域出现散乱噪声和轮廓伪影，因此学习Dequantization-Net 减少输入LDR图像中的伪影。Dequantization-Net 模型采用6层的Unet结构，每一层由2层卷积层和一层 leaky Relu层组成。

Linearization：线性化（也叫做辐射校准）的目标是估计一个相机响应函数，并将非线性的LDR图像转换到线性的照度图。尽管每个相机的CRF都是不同的，但都具有一些相同的基本属性，CRF都是单调递增的，输入和输出是一一对应的，CRF的逆函数也具有相同的属性。图像的边缘特征和直方图特征被证明对模拟相机的CRF是有效的，从上一网络输出的非线性LDR提取边缘特征和直方图特征作为网络的输入。提取直方图特征的方式作者做了改进，根据到每个bin中心的的强度距离，每个像素值贡献给相邻的的2个bin。为了表示CRF，在[0,1]区间均匀采样1024个点离散化逆CRF，因此逆CRF可以由1024维向量表示。采用 Empirical Model of

Response (EMoR) model，通过K个PCA基向量的线性组合近似 逆CRF。同时为了满足CRF/逆CRF单调递增的要求，我们通过强制所有一阶导数非负来满足单调性的要求。Linearization Net的backbone采用ResNet-18。

Hallucination：在反量化、线性化之后，我们的目标为恢复由于动态范围裁剪造成的内容缺失（过曝光区域），采用带有skip connects编码-解码结构作为Hallucination Net。过曝光区域中缺失的像素值总是大于现有像素值，因此在网络的末端加一个Relu层来约束Hallucination Net预测正残差。在训练过程，将图像从线性域转换到Log域，这是因为HDR图像中高亮度区域的像素值通常比其他区域大几个数量级，在Log域训练数据能有效减少其影响并使网络能更多的恢复其他区域的细节。

在3个网络都训练完成后进行联合调参，联合调参减少了子网络之间的误差积累，进一步提高了模型重建HDR图像的能力。

三、结果

作者从主观和客观两个角度评价了该方法的效果。客观方面，在HDR-VDP-2指标下，该模型取得了最高的得分；主观方面，对于曝光不去图像还是过曝图像，该方法重建的HDR图像都取得了非常好的效果。

总结

这篇论文主要是利用LDR图像形成管道的领域知识来设计网络模块并学习如何逆转成像过程。对摄像机管道进行显式建模，使我们能够对网络训练施加物理约束，从而提高对不可见场景的泛化能力。大量的实验和比较验证了我们的方法的有效性，以恢复视觉上令人愉快的细节，为各种各样的具有挑战性的场景。