论文笔记44：ICCV2021-Hyperspectral Image Denoising with Realistic Data-新的数据集和噪声模型

引言

代码：未公布

基于模型的HSI去噪方法通常使用各种手工制作的先验条件迭代地解决优化问题，如光滑性、稀疏性、自相似性、低秩性等，然而，迭代优化过程非常耗时，手工制作的先验不能充分表示现实世界中的各种数据，只能模拟HSI的线性特性，因此不能充分利用现实世界中各种HSI的非线性。

然而，现有的基于学习的方法通常依赖于使用简单高斯噪声模型或复杂噪声模型合成的训练数据集。尽管在合成数据上取得了令人满意的结果，但由于缺乏真实的HSI数据，这些方法仍然无法在真实数据上很好地工作和评估。即使是复杂的噪声也不能有效地模拟真实测试HSI中的噪声，并导致性能显著降低。

有两种方法可以解决这个问题。一种是捕获成对的真实数据，用于HSI去噪网络学习和评估，但是，为学习HSI去噪网络而收集大量高质量的真实数据显然是昂贵的，并且需要大量的人力。二是生成真实的成对数据。这既方便又便宜，但这取决于实际HSI的噪声公式模型的准确性，捕获的HSI包含比异方差高斯噪声更复杂的噪声。这些方法要么过于简化传感器引起的噪声成分，要么不估计实际噪声HSI的噪声参数。

我们首先收集了一个在短曝光时间内捕获的噪声HSI的真实数据集，每个噪声HSI都有一个对应的长曝光干净HSI，然后，我们提出了一个精确的HSI噪声模型，它可以很好地描述真实数据的分布。我们还对所建立的噪声模型的参数进行了标定，标定后的噪声模型可用于合成真实的HSI去噪数据集。

真实HSI去噪数据集

使用SOC710-VP高光谱相机捕获HSI：696×520×256，该数据集包含62个长曝光干净HSI，其中每个HSI与用短曝光时间捕获的相应噪声HSI配对。捕获的真实HSI去噪数据集可以评估现有基于学习的方法的泛化能力，并验证我们在下一节中提出的噪声模型的有效性。

HSI的噪声模型

噪声公式

其中$\mathcal{X}$为干净HSI，$\mathcal{Y}$为噪声HSI，$\mathcal{N}$表示光和相机物理引起的所有噪声的总和，$\mathcal{L}$表示与场景照射成比例的光电子数，$k$表示系统增益，由于高光谱相机中的CCD传感器相同，我们假设捕获的HSI中所有元素的系统增益相同。

将噪声分为两类：信号相关噪声(与入射光相关)和信号无关噪声。

信号相关噪声：

其中${\mathcal{N}}_{sd}$为信号相关噪声(散粒(shot)噪声)，$p$为泊松分布，信号相关噪声是由光子到电子级引起的散粒噪声。

信号无关噪声：
像素噪声：

其中${\mathcal{N}}_d$为暗电流噪声，${\mathcal{N}}_r$为读取噪声，${\mathcal{N}}_q$为量化噪声，根据所有像素的零均值噪声假设，这些与信号无关的噪声可以表示为高斯分布

其中$g$表示高斯分布，${\sigma }_p(\lambda )$表示$\lambda$波段的尺度参数。

条纹图案噪声${\mathcal{N}}_{sp}$表示为

其中$h$和$v$表示水平和垂直，条纹图案噪声是由扫描相机设计引起的，与入射光无关，是与信号无关的噪声。我们分别将水平和垂直条纹图案噪声表示为

因此，全信号独立噪声可以描述为
$${\mathcal{N}}_{si}={\mathcal{N}}_p+{\mathcal{N}}_{sp}$$

因此，噪声模型为

其中$k$表示系统增益(system gain)。

噪声参数估计

需要校准：$k$，${\sigma }_p$，${\sigma }_h$，${\sigma }_v$

为了估计系统增益，我们在均匀光下记录了一个颜色检测器，根据光子转移方法，我们使用在光线充足的环境下捕获的色块序列来确定系统增益。

为了估计尺度参数，在无光条件下以最短的曝光时间拍摄偏置(bias)图像，即在黑暗的房间里，用相机镜头盖住。我们首先提取偏置图像中$\lambda$波段的每一列或每一行的均值，以估计垂直或水平条纹图案噪声的潜在强度。然后，我们可以通过近似高斯分布很容易地估计尺度参数${\sigma }_h$和${\sigma }_v$，进一步，我们从偏置图像中减去估计的条纹图案噪声，并通过最大化高斯分布的对数似然来估计像素噪声的尺度参数${\sigma }_p$.

为了使校正后的噪声模型更具鲁棒性，我们估计了一系列偏置图像的尺度参数，并在对数域中用高斯分布拟合它们。当我们使用校准的噪声模型时，我们可以对噪声参数进行采样

其中$a(\lambda )$和$b(\lambda )$分别表示$\lambda$波段高斯分布的估计均值和标准差。

噪声图像合成

我们首先将干净的HSI除以一个因子，以匹配短曝光噪声图像的强度。然后，我们通过将HSI $\mathcal{X}$转换为光电子数$\mathcal{L}$，在$\mathcal{L}$上施加泊松分布，并使用估计的系统增益$k$将信号还原为$\mathcal{X}$，来添加信号相关噪声${\mathcal{N}}_{sd}$.

此外，我们根据上式(三个log那个)对噪声参数进行采样，并生成像素噪声${\mathcal{N}}_p$和条纹图案噪声${\mathcal{N}}_{sp}$。这些生成的噪声将添加到缩放的(scaled)干净HSI中。最后，我们将噪声HSI乘以相同的因子，以匹配干净HSI的强度。

按照这些步骤，我们生成了一个具有丰富成对噪声和干净HSI的真实合成数据集，这有助于训练HSI去噪网络，并将其推广到真实世界中对噪声HSI的评估。

实验结果

实验设置：使用3D UNet，裁剪出256×256个重叠的空间区域，使用$L_1$损失。

对比方法：BM4D、ITSReg、LRTDTV、QRNN3D

表1提供了我们的真实HSI去噪数据集（室内和室外场景）上所有测试图像的平均恢复结果，图7中显示了两个具有代表性的场景。我们的方法可以产生视觉上令人愉悦的结果，伪影和锐利的边缘更少。图8显示了所选图像中两点的恢复光谱。我们比较了由不同噪声模型生成的合成数据集训练的网络的性能，包括复杂噪声模型、同方差(homoscedastic)高斯噪声模型和异方差(heteroscedastic)高斯噪声模型，结果见表2。图9提供了我们的噪声模型和其他噪声模型的视觉比较。