《A High-Quality Denoising Dataset for Smartphone Cameras》阅读笔记

智能手机相机的高质量去噪数据集

论文下载：http://openaccess.thecvf.com/content_cvpr_2018/papers/Abdelhamed_A_High-Quality_Denoising_CVPR_2018_paper.pdf

（就是简单的把文章地翻译一下）

摘要

        在过去的十年里，从DSLR和点射相机成像到智能手机相机成像的巨大转变。 由于孔径小和传感器大小，智能手机图像比DSLR图像具有明显的噪声。虽然智能手机图像去噪是一个活跃的研究领域，但研究界目前缺乏一个能代表高质量地面真相的智能手机相机真实噪声图像的去噪图像数据集。我们在本文中讨论了这个问题，并作出了以下贡献。 我们提出了一种系统的方法来估计噪声图像的地面真相，可用于衡量智能手机相机的去噪性能。使用这个过程，我们捕获了一个数据集-智能手机图像去噪数据集(Sidd)-在不同的照明条件下，使用五个有代表性的智能手机相机从10个场景中~3万幅噪声图像，并生成它们的地面真实图像。我们使用这个数据集来基准许多去噪算法。 我们表明，基于cnn的方法在我们的高质量数据集上训练时比使用替代策略训练时表现得更好，例如用作地面真相数据代理的低iso图像。

1.介绍

智能手机的年销售量超过15亿部，但令人惊讶的是，现在智能手机的图像数量远远超过了用dslr和定点相机拍摄的图像。但是，虽然智能手机的普及使它们成为一种方便的摄影设备，但由于摄像机中发现的传感器和镜头较小，它们的图像通常会被较高水平的噪声所降解。这一问题加剧了在图像去噪方面取得进展的必要性，特别是在智能手机图像方面。

这方面的一个主要问题是缺乏一个既定的基准数据集，用于智能手机相机的真实图像去噪。创建这样一个数据集对于将注意力集中在智能手机图像去噪上和对去噪技术进行标准化评估都是必不可少的。然而，许多用于产生无噪音地面真相图像的方法还不够充分，特别是在智能手机相机的情况下。例如，使用低ISO和长曝光获取“无噪声”图像[2，26]的通用策略不适用于智能手机相机，因为即使在最佳相机设置下，这些图像上的噪声仍然很大（例如，见图1）。最近在[25]中的工作朝着正确的方向发展，通过全局对齐和后处理低iso图像来匹配它们的高iso对应物。这种方法在DS LR相机上具有优异的性能；然而，它并不完全适用于智能手机图像。特别是，低iso图像的后处理不能充分消除剩余的噪声，并且对全局平移对齐的依赖已经证明不足以对齐智能手机图像。

贡献：这项工作为智能手机去噪研究建立了迫切需要的图像数据集。为此，我们提出了一种系统的方法来估计真实噪声图像的地面真相，可用于衡量智能手机图像的去噪性能。使用这个过程，我们使用五个有代表性的智能手机相机捕获了一个~3万个真实噪声图像的数据集，并生成了它们的地面真实图像。利用我们的数据集，我们对许多去噪方法进行了基准测试，以衡量各种方法的相对性能，包括基于补丁的方法和最近基于cnn的技术。从这一分析中，我们表明，对于基于cnn的方法，当使用我们的地面真相数据与传统的替代方案，如低iso图像时，可以取得显著的收益。

2.相关工作

我们回顾了与地面真实图像估计有关的工作，以进行去噪评估。 鉴于去噪研究的广泛范围，只引用了有代表性的作品。

噪音真实图像的地面真相：最小化随机噪声最广泛使用的方法是图像平均，其中场景点的平均测量在统计上收敛到具有足够多图像的无噪声值。图像平均已成为一种标准技术，在广泛的成像应用中，受到噪声的显著影响，包括低水平的荧光显微镜和昏暗天体的天文成像。这种方法最基本的形式是用固定相机和固定相机设置捕捉静态场景的一组图像，然后直接对图像进行平均。该策略用于产生无噪声图像，用于评估去噪方法[34]、评估噪声估计方法[5]、比较估计噪声级函数[21，22]的算法和确定交叉信道噪声模型的参数[24]。虽然每像素平均在某些情况下是有效的，但它在两种常见情况下是无效的：（一）图像序列不对齐，导致平均图像模糊的，（2）当由于低光条件或过度曝光而产生压缩像素强度时，导致噪声为非零均值且直接平均有偏[13，25]。这两种情况是典型的智能手机图像，据我们所知，没有先前的工作已经解决了地面真相估计通过图像平均在这些设置。我们展示了如何准确地估计这些情况下的无噪声图像，作为我们在第4节中的地面真相估计管道的一部分。

另一种常见的策略是假设来自在线数据集的图像(例如，tid2013[26]和Pascalvoc数据集[12])是无噪声的，然后综合产生噪声来添加到这些图像中。然而，几乎没有证据表明所选择的图像是无噪音的，以这种方式获得的去噪结果高度依赖于所使用的噪声模型的准确性。

用真实图像去噪基准：据我们所知，已经有两次尝试在真实图像上定量地基准去噪算法。一个是Renoir数据集[2]，它包含一对低/高iso图像。该数据集缺乏精确的空间对齐，低ISO图像仍然包含明显的噪声..此外，原始图像强度线性映射到8位深度，这对图像的质量产生了不利影响。

与我们的努力更密切相关的是关于Darmstadt噪声数据集(DND)[25]的工作。与Renoir数据集一样，DND包含一对低/高iso图像..相比之下，[25]后处理中的工作将低iso图像与（1）在空间上将它们与其高iso对应物对齐，（2）克服了环境光或人工光闪烁变化引起的强度变化。这项工作是第一次有原则的尝试，以产生高质量的地面真相图像。然而，大多数DND图像具有相对较低的噪声水平和正常的照明条件。因此，有少量的高噪声水平或低光条件的情况，这是图像去噪和计算机视觉的主要关切。此外，将图像之间的失调视为全局平移是不够的，包括透镜运动、径向畸变或光学图像稳定。

在我们关于地面真实图像估计的工作中，我们研究了与智能手机相机相关的问题，并且没有通过先前的策略得到适当的解决，例如由于透镜运动（即光学稳定）和径向畸变而导致的图