RawHDR:从单个原始图像重建高动态范围图像

论文介绍

解决问题

由于从低动态范围的图像生成HDR图像十分困难，本论文提出了一种专门针对Raw图像的模型，来生成HDR图像。

论文方法简述

采用曝光掩膜来将图像分为硬区和易区，采用双强度制导和全局空间制导来处理图像的硬区域。

掩膜估计

找出遮罩来区分一个场景中过度曝光、曝光不足和光照良好的区域。在这项工作中，我们使用可学习掩码来分离不同的区域，然后对这些区域进行不同的操作。我们使用深度神经网络来预测暴露掩模。我们的掩模估计模型结合了局部特征提取，并且像素强度值不是决定曝光掩模的唯一因素。

双强度制导

我们采用双强度引导模块来恢复高动态场景中硬区域的缺失细节。由于绿色通道对光更敏感，因此在曝光不足的区域具有更高的信噪比(SNR)。绿色信道具有较高的信噪比，在重构过程中可以引导其他信道，因为所有信道都有相同的边缘。此外，在我们的HDR重建案例中，过度曝光区域也需要引导，因为这些区域由于强度裁剪而丢失了很多信息。在这些区域，较不敏感的通道，即红色和蓝色，具有较小的强度值，并且不太可能过度曝光。所以我们使用红色和蓝色通道作为过度曝光区域的指导。

全局空间制导

我们使用一系列转换块来提取特征，我们称之为全局空间制导。我们采用类似u网的变压器结构来构建全局空间制导。全局空间制导由K级组成，每级包含2个local -enhanced Window (LeWin)变压器块。在这些阶段中，有下采样和上采样操作，以获得一个大的接受场。LeWin变压器块是用注意力操作来构建的，以利用像素之间的关系。基于Ushape结构和注意机制，全局空间引导将从全局接受野中寻找相似的硬区域斑块。这些额外的空间特征引入了更多可用的细节，并促进了硬区域的重建。此外，LeWin转换块将特征映射划分为不重叠的窗口，并在每个窗口内采用注意机制。虽然每个模块的注意力只集中在一个窗口上，但由于u形结构，该模块仍然达到几乎全局的接受场。

总结

优点

1. 更丰富的信息来源：相比于使用经过处理的低位深图像，该方法利用更丰富的原始传感器数据作为输入，可以获得更多的信息。原始数据包含了相机感光元件记录的原始光强度值，使得在重建过程中能够更好地保留场景中细节和动态范围。

2. 恢复困难区域细节：高动态范围场景通常包含极暗和极亮的区域，这些区域在传统方法中往往难以恢复。该方法通过利用原始数据中的更多信息，专门针对这些困难区域进行重建，能够更好地还原这些区域的细节和信息。

3. 自适应曝光掩模：该方法引入了曝光掩模，能够自动分离高动态场景中的困难区域和容易区域。通过学习曝光掩模，可以针对不同区域采用不同的重建策略，进一步提高重建质量和准确性。

缺点

1. 依赖原始传感器数据：该方法需要使用原始传感器数据进行HDR图像重建，这意味着需要具备拍摄原始图像的摄像设备。这对于一般的消费者相机来说可能不太实用，因为它们通常只能输出经过处理的低位深图像。

2. 处理复杂度：由于使用了更丰富的原始传感器数据，该方法可能需要更复杂的计算和处理步骤。这可能导致较长的处理时间和更高的计算资源要求。

3. 对暗区和亮区的限制：虽然该方法旨在从单个图像中恢复暗区和亮区的信息，但在极端高动态范围场景下，仍然存在一定的限制。暗区可能存在噪音和细节丢失，亮区可能难以完全恢复。