论文介绍
解决问题
由于从低动态范围的图像生成HDR图像十分困难,本论文提出了一种专门针对Raw图像的模型,来生成HDR图像。
论文方法简述
采用曝光掩膜来将图像分为硬区和易区,采用双强度制导和全局空间制导来处理图像的硬区域。
掩膜估计
找出遮罩来区分一个场景中过度曝光、曝光不足和光照良好的区域。在这项工作中,我们使用可学习掩码来分离不同的区域,然后对这些区域进行不同的操作。我们使用深度神经网络来预测暴露掩模。我们的掩模估计模型结合了局部特征提取,并且像素强度值不是决定曝光掩模的唯一因素。
双强度制导
我们采用双强度引导模块来恢复高动态场景中硬区域的缺失细节。由于绿色通道对光更敏感,因此在曝光不足的区域具有更高的信噪比(SNR)。绿色信道具有较高的信噪比,在重构过程中可以引导其他信道,因为所有信道都有相同的边缘。此外,在我们的HDR重建案例中,过度曝光区域也需要引导,因为这些区域由于强度裁剪而丢失了很多信息。在这些区域,较不敏感的通道,即红色和蓝色,具有较小的强度值,并且不太可能过度曝光。所以我们使用红色和蓝色通道作为过度曝光区域的指导。
全局空间制导
我们使用一系列转换块来提取特征,我们称之为全局空间制导。我们采用类似u网的变压器结构来构建全局空间制导。全局空间制导由K级组成,每级包含2个local -enhanced Window (LeWin)变压器块。在这些阶段中,有下采样和上采样操作,以获得一个大的接受场。LeWin变压器块是用注意力操作来构建的,以利用像素之间的关系。基于Ushape结构和注意机制,全局空间引导将从全局接受野中寻找相似的硬区域斑块。这些额外的空间特征引入了更多可用的细节,并促进了硬区域的重建。此外,LeWin转换块将特征映射划分为不重叠的窗口,并在每个窗口内采用注意机制。虽然每个模块的注意力只集中在一个窗口上,但由于u形结构,该模块仍然达到几乎全局的接受场。
总结
优点
-
更丰富的信息来源:相比于使用经过处理的低位深图像,该方法利用更丰富的原始传感器数据作为输入,可以获得更多的信息。原始数据包含了相机感光元件记录的原始光强度值,使得在重建过程中能够更好地保留场景中细节和动态范围。
-
恢复困难区域细节:高动态范围场景通常包含极暗和极亮的区域,这些区域在传统方法中往往难以恢复。该方法通过利用原始数据中的更多信息,专门针对这些困难区域进行重建,能够更好地还原这些区域的细节和信息。
-
自适应曝光掩模:该方法引入了曝光掩模,能够自动分离高动态场景中的困难区域和容易区域。通过学习曝光掩模,可以针对不同区域采用不同的重建策略,进一步提高重建质量和准确性。
缺点
-
依赖原始传感器数据:该方法需要使用原始传感器数据进行HDR图像重建,这意味着需要具备拍摄原始图像的摄像设备。这对于一般的消费者相机来说可能不太实用,因为它们通常只能输出经过处理的低位深图像。
-
处理复杂度:由于使用了更丰富的原始传感器数据,该方法可能需要更复杂的计算和处理步骤。这可能导致较长的处理时间和更高的计算资源要求。
-
对暗区和亮区的限制:虽然该方法旨在从单个图像中恢复暗区和亮区的信息,但在极端高动态范围场景下,仍然存在一定的限制。暗区可能存在噪音和细节丢失,亮区可能难以完全恢复。