HDR Imaging with Spatially Varying Signal-to-Noise Ratios读后感

---

前言

`

目前，已经有许多非常优秀的HDR图像融合算法能够完成多次曝光混合的任务，例如NHDRRNet等网络。但在微光情况下HDR成像仍然有着巨大的限制，原因主要有以下两点：（1）较暗区域存在过度噪声；（2）微光区域的存在使得整幅图像的亮度动态范围过大。作者针对此问题提出一种新方法，称为空间变化的高动态范围(SV-HDR)融合网络，同时对图像进行去噪和融合。

---

一、Introduction

由相机得到的夜景图像存在着过度噪声和高动态范围的问题，作者将此将此称为空间变化的信噪比 (SNR) 问题，其中较亮的像素具有更高的 SNR，较暗的像素具有较低的 SNR。

当前的HDR融合方法很少关注动态范围问题，主要是归一化为 [0, 1] 的色调映射图像，作者贡献出一种能同时解决噪声问题和动态范围问题的方法——SV-HDR网络，将三种曝光混合到单个HDR图像中。该网络是一种基于transformer的方法，具有三种独特的设计:(1)多曝光transformer块提取特征。这些transformer适应不同的信噪比。(2) 引入了一个曝光共享块来混合来自三个曝光的特征。(3) 结合了多尺度混合策略来捕获局部和全局变化。如下图展示了传统HDR方法能处理高信噪比，而本文方法能适用于动态范围。

二、Problem Formulation and Related Work

1.图像建模模型

其中最后的相加式子中分别是情景辐射度和暗电流，相加便得到原始图像数据，再乘以量化效率和曝光时间。

该模型的问题在于没有考虑实际中的干扰，如 ADC 阈值的不稳定性、像素响应非均匀性等。它还假设一个完美的颜色滤波器阵列，即电串扰和光学串扰可以忽略不计。

2.先前方法的缺陷

传统HDR融合方法如Debevec等人提出的由多个LDR图像来合成单张HDR图像，并且估计动态部分图像，但丢弃部分像素的过程中也使得图像信息丢失。另一类传统HDR融合是基于配准的，其中像素首先相对于参考帧对齐。采用方式有光流 、能量优化和秩最小化来完成对齐。这些方法可以处理小的运动，但它们仍然受到较大的前景对象运动的影响，无法处理噪声。

近年来也出现了一些针对微光条件下HDR融合的新传感器设计，随着Quanta图像传感器(QIS)和单光子雪崩二极管(SPAD)的普及，人们开始在弱光下探索新的HDR传感器，如下所示，可以看到QIS相较于CIS有着更大的动态范围，但还存在不足。

3.失败原因分析

作者认为导致以往方法不好的原因是散粒噪声的存在和动态范围过大，并且基于此猜想做了两个消融实验印证自己的想法。

第一个消融实验第一行图片采用的是每个像素100个光子，第二个图片采用的是每个像素10个光子来进行HDR融合实验。可以看到第二种情况噪声要大得多。正如我们从图中可以看出的那样，结果非常糟糕。它还证实，当一切都保持不变时，噪声的强度会对融合算法产生直接影响。

为了验证动态范围对于HDR融合的影响，作者设计了 一种基于REDNet模型的降噪器，其包含4个子降噪器。该系统将输入图像发送到四个子去噪器来处理四个不同的亮度范围。然后将去噪后的图像连接起来并发送到注意模块。生成五个权重掩码来组合去噪图像和输入以形成最终图像。

如上图，其中第一张就是噪声图像合成的HDR。第二张是用3个去噪器的合成的hdr。第三张是用了上面的网络的12个去噪器的合成的图像。可以看到，当把输入图像划分到足够详细的子动态范围当中，可以得到足够好的HDR融合图像，证实了动态范围对HDR图像融合的影响。

三、SV-HDR网络

1.网络结构

SV-HDR 是一种 U 形结构的编码器-解码器架构 。编码器从LDR中提取特征，解码器生成 HDR 结果。在SV-HDR中，为了减少网络容量，作者提出了单个编码器来处理所有曝光，本质上是基于transformer的自注意力实现的，它区分了曝光、增益和噪声方差的差异。此外，Expo-Share模块允许曝光之间的信息交换。在编码器的末尾，连接三组特征。解码器合并它们并执行HDR融合。

2.多尺度的实现

首先通过逆伽马校正和曝光归一化将图像映射到HDR尺度，归一化的处理方法是将输入的不同曝光时长的LDR图像除以各自曝光时长，然后将结果作为额外的一个channel附加到LDR图像数据中。后续在transformer获取深层特征的时候，每个层级末尾用到了Expo-Share模块，用于特征交换和motion mitigation。不同级别transformer之间的下采样通过3*3卷积和pixel-shuffling实现，在解码器中再进行上采样，并且用了skip connection（协助编码器到解码器的信息流）。最后，利用transformer和卷积操作进行特征重建输出HDR图像。

3.损失函数

均方误差等损失函数偏向于明亮像素。在黑暗区域中，像素值的细微变化不会反映在此类损失中，因此采用标准损失函数不能正确反映模型的效果，损失函数被表示为如上所示。T ( ˆH)为色调映射HDR图像，T (H)为真实色调映射HDR图像，当μ设为5000时，损失函数如上图第二个式子所示。

4.Expo-Share模块

该模块用于促进不同曝光之间的信息交互，这个block会在每个level之后共同处理所有曝光的特征。在 Expo-Share 之前在通道维度中连接，并在之后拆分，因为场景在不同帧之间是动态的，文章使用了可变性卷积，增加空间采样区域并隐式地对齐特征。每个Expo-Share 包含3个33的可变性卷积，然后是3个11的卷积层，聚合跨通道的像素级信息，用GELU激活。Expo-Share块处理的特征被添加回自身，并分别遍历剩余的编码器计算。

四、实验结果

1.定性分析

将性能与Kalantari、Wu、AHDRNet、NHDRRNet进行了比较，Kalantari 和 Wu 的方法会产生嘈杂的 HDR 结果。虽然在真实的传感器模型上进行微调，但NHDRRnet不能充分适应空间变化的信噪比，使得融合输出在弱光区域过度平滑。例如，顶部图像中的汽车被过度平滑。所提出的SV-HDR成功地去除了噪声，并在各种光照条件下保留了细节。

2.定量分析

使用 PSNR 和 MS-SSIM 指标定量分析性能，合成测试数据集上各种HDR融合算法的重建质量度量比较，结果如上图所示，SV-HDR图像取得了最好的效果。

四、总结

本篇论文主要创新点在于定制的多尺度transformer和新的曝光共享块，我认为比较巧妙的点在于作者想到划分动态范围给对应尺度的网络，从而解决微光情况下过度噪声的问题，提高了HDR图像融合的应用范围，并且Expo-Share模块也显著降低了网络参数量。