逆色调映射论文《Deep Reverse Tone Mapping》

读论文打发时间……
摘要
从一张简单的LDR图像来生成HDR图像是一个不适定^[1]的问题，我们需要补偿由曝光不足/过度曝光^[2]和颜色量化^[3]所带来的数据损失。为了解决这一问题，本文作者第一个提出使用深度学习框架来自动进行LDR图片到HDR图片的映射。由于训练难度的原因，简单的从8位的LDR图片转化为32位的HDR图片几乎不可行，本文作者采用了一种间接的方案：通过监督学习将不同曝光度的LDR图片合成，并融合得到对应的HDR图片。通过使用3D反卷积网络了解由于曝光增加/减少引起的像素值的相对变化，本方法不仅可以在不引入可见噪声的情况下再现自然色调，还可以再现饱和像素的颜色。本文作者通过与卷积生成的图片以及ground truth图片进行比较，从而证明了本方法的有效性。
关键词：逆色调映射；HDR图片（高动态范围图像）；卷积神经网络

简介
简介其实就是把摘要详细的说了一下……总结了几个QA
Q1：为什么从8位的LDR图片转化为32位的HDR图片训练难度大？
A1:原因如下：
1、即使LDR的曝光度不同，相同的HDR图片应具有输出一致性
2、HDR含有比LDR多得多的变量（3.4x10³⁸对比[0,255]）,训练数据集会多到爆炸
3、LDR数据集很多，但是HDR的数据集就很少了
4、即使loss上微小的变化也会影响输出结果，使得训练的模型不稳定

Q2:我们的方法是什么？
A2：合成bracketed images。我们找k张LDR图片融合，并通过这种方式获得HDR图片。实质是数据压缩，把32位的HDR图像压缩到$k\times 2^8$个像素。
我们同样使用3D反卷积网络了解由于曝光增加/减少引起的像素值的相对变化。

Q3:我们的贡献有哪些？
A3:第一个通过深度学习框架获得的从LDR到HDR的方法；设计了用于通过增加/减少曝光来推断bracketed images的网络模型，以及如何生成其训练数据的说明。

Related Work日后再看吧……这都是啥
算法设计的pipeline
这个算法流程可分为学习和推理阶段：在学习阶段中，bracketed LDR图片是由HDR的数据库中形成的。之后令我们的网络模型去研究bracketed image的曝光度的变化；在推理阶段中，本文通过神经网络模型可以将原始的LDR图像生成多张曝光度不同的LDR图片。更明亮/更暗的图片分别通过不同的网络生成（上/下曝光网络）。最终的HDR图片则由这些LDR图片生成。

生成训练用的Bracket Images
我们的训练数据集包括基准的HDR图像以及对应的LDR bracketed image数据集。为了解释由不同的非线性相机响应函数（CRF）引起的LDR图像的颜色变化，我们合成了一组具有不同CRF和来自HDR图像的曝光度的LDR图像。我们通过以下方法来激活相机：
$$Z_{i,j}=f(E_i\Delta t_j)$$
其中$Z_{i,j}$代表着像素i对应曝光时间指数j的像素值；对应的，$f,E_i,\Delta t_j$代表着CRF(计算相机响应曲线)、薄膜辐照度值（film irradiance value),以及曝光的持续时间。而在本文，$Z_{i,j}$和$E_i$代表LDR图片和HDR图片。
CRF：我们之前有一数据库[Grossberg and Neyar 2003]我们通过k means方法获得5个有代表性的曲线。在我们的实验中，我们使用这5个使用样条插值获得的CRF。如图所示，曲线已被归一化。

我们之后需要定义$E_i$,$\Delta t_j$的相对标准。例如如果$E_i$在[0,1000]的范围，$\Delta t_j$为1，那么许多$Z_{i,j}$上的像素点都会变成白色。这种白色的剪切区域几乎无法用于学习基于曝光的变化，因此应该避免。我们适当地调整观察信号$E_i$,$\Delta t_j$的范围。 具体而言，我们将$\Delta t_j$设置为停止之间的$\tau$的幂。