FBI-Denoiser: Fast Blind Image Denoiser for Poisson-Gaussian Noise

mytzs123

已于 2024-04-20 14:53:18 修改

阅读量645

点赞数 26

分类专栏：图像增强文章标签： python

于 2024-01-12 21:09:09 首次发布

本文链接：https://blog.csdn.net/mytzs123/article/details/135561508

版权

图像增强专栏收录该内容

31 篇文章 1 订阅

订阅专栏

参考：【论文笔记】FBI-Denoiser: Fast Blind Image Denoiser for Poisson-Gaussian Noise - 知乎

我们考虑泊松-高斯噪声的具有挑战性的盲去噪问题，其中没有关于干净图像或噪声水平参数的额外信息可用。特别是，当只有“单个”噪声图像可用于训练去噪器时，现有方法的去噪性能并不令人满意。最近，提出了盲像素仿射图像去噪器（BP-AIDE），并在上述设置中显著提高了性能，使其与利用附加信息的去噪器具有竞争力。然而，由于噪声水平估计过程和所使用的盲点网络（BSN）架构的低效性，BP-AIDE的推理时间非常慢。为此，我们提出了泊松-高斯噪声的快速盲图像去噪器（FBI去噪器），该去噪器由两个神经网络模型组成；1） PGE-Net估计泊松-高斯噪声参数的速度是传统方法的2000倍，2）FBI Net在参数数量和推理速度方面为逐像素仿射去噪器实现了更高效的BSN。因此，我们表明，与BP-AIDE相比，仅基于单个噪声图像盲训练的FBI去噪器可以在几个真实世界的噪声图像基准数据集上实现最先进的性能，推理时间（×10）要快得多。

基于卷积神经网络（CNN）的去噪器主要通过利用基于收集许多干净和有噪声图像对的监督学习方法，获得了令人印象深刻的最先进的去噪性能。性能增益首先显示在加性高斯白噪声设置[47，42，48，26，36，14]中，然后方法还扩展到泊松-高斯噪声设置，该设置更好地对真实世界的源相关噪声进行建模。研究表明，与更传统的基于先验或优化的方法[17，21]相比，不仅在DND[35]、SIDD[3]和FMD[49]等真实世界噪声基准上的定量度量（如PSNR或SSIM[44]）方面获得了增益，而且在去噪的推理时间（使用GPU）方面也获得了增益。

尽管取得了上述令人鼓舞的成就，但在更实际的现实世界环境中，纯监督学习方法存在一个关键缺点，因为假设能够轻松获取足够数量的干净-噪声图像对进行训练有时是一种奢侈。例如，在医学成像（CT或MRI）中，获取噪声图像的基础干净图像变得非常耗时和昂贵。为了克服这个缺点，近年来已经尝试了几种方法。

第一种方法是利用不成对的干净图像并生成合成噪声图像，然后再使用生成的图像对进行监督训练。例如，在[7, 46]中，基于相机信号处理（ISP）管道和特定的Poisson-Gaussian噪声参数，他们从干净的sRGB图像生成了合成噪声的sRGB或rawRGB图像。另一个例子可以在[45, 16]中找到，在这里，他们学习了一个模型来生成给定噪声图像中存在的噪声，然后使用该模型来破坏干净图像以构建配对的监督训练集。尽管这些方法在某些特定设置中表现出色，但它们要么缺乏普遍性，要么在真实世界噪声图像去噪方面性能有限。

最近的第二种方法是消除对干净-噪声图像对的要求，仅基于噪声图像训练去噪器[25, 23, 6, 24, 38, 34, 13, 41]。然而，这些方法也有其局限性，比如需要相同干净源的独立实现的噪声图像对[25, 50]、在基准数据集上性能较差[23, 6]、由于需要许多抽样而导致大量推断时间[38]、在真实世界噪声设置上有限或没有实验[24, 34, 41, 50, 13]

最近，BP-AIDE[10]扩展了框架[12，11]，被提出作为提高对干净图像的要求的另一尝试。也就是说，该方案将广义Anscombe变换（GAT）[5]、泊松-高斯噪声估计[28，20]和[11]中提出的像素仿射去噪器的MSE的无偏估计进行了独特的组合，以便在没有附加信息的情况下仅在单个噪声图像上训练泊松-高斯噪波的盲去噪器。与在相同设置下操作的方法[23，17]相比，该方法在现实世界噪声的几个基准[49，3，35]上实现了最先进的性能。然而，BP-AIDE有一个关键的局限性；由于以下两个原因，它的推理时间较慢。首先，对于每个给定的噪声图像，BP-AIDE必须分别进行泊松-高斯噪声参数估计，对于中等大小的图像，这通常需要几秒钟的时间。其次，该方法简单地利用[12]中提出的所谓盲点网络（BSN）架构作为去噪器，但相应的结构相当复杂，需要大的GPU内存，导致推理时间缓慢.为了解决上述限制，我们对BP-AIDE进行了两个显著的改进，并提出了快速盲图像去噪器（FBI去噪器）。首先，我们提出了PGE（PoissonGaussian Estimation）-Net，它通过将GAT和高斯噪声估计步骤转换为张量运算并提出一种新的损失函数，学习仅从噪声图像中估计泊松-高斯噪声参数。其次，我们设计了FBI Net，这是一种新的紧凑型全卷积BSN，其性能与[12]中的网络几乎相同，但显著减少了推理时间。FBI Denoiser分两个步骤进行训练；首先用噪声图像训练PGE-Net，然后按照BP-AIDE的过程，用相同的噪声图像和PGE-Net的输出再次训练FBI Net。因此，我们显著提高了BP-AIDE的推理时间（×10加速），并在真实世界的噪声基准上实现了最先进的盲去噪性能[49，3，35]。

Neural network based blind image denoising

如上所述，提出了几种盲图像去噪器来解决训练依赖于干净图像的问题。表1总结并比较了最近提出的方案的设置。提出了各种方案[24，41，33，34，13，50]，但它们对泊松-高斯噪声的适用性有限。Noise2Noise（N2N）[25]已被证明对PoissonGaussian噪声设置是有效的，但它仍然需要对同一源的噪声图像进行两个独立的实现，这是不现实的。为了解决N2N的这种限制，Noise2void（N2V）[23]、Noise2self（N2S）[6]和BP-AIDE[10]采用了自监督学习方法，该方法可以仅用泊松破坏的单个图像进行训练,它们的设置与我们的完全一致，但它们要么性能差，要么推理时间慢。最近，D-BSN[45]被提出用于具有未配对的干净和噪声图像的设置。它还包含自监督（self-sup）学习步骤，通过详细说明盲点网络架构和逐像素噪声水平估计网络来改进N2V，但我们表明我们的FBI去噪器明显优于它。

Traditional denoising method

经典的去噪方法，例如基于小波的[18]、基于滤波的[8，17]、基于优化的[19，29，21]和基于有效先验的[51]，通常能够仅用单个噪声图像去噪。然而，由于在这些方法中不存在具有多个图像的训练过程，因此它们的推理时间大，性能有限。

Noise estimation method

上面的大多数方法都假设给出了关于噪声特性的先验知识，但在实践中通常是不可用的。为了缓解这种不切实际的假设，已经提出了几种噪声估计方法，特别是对于两种众所周知的噪声模型：加性高斯白噪声（AWGN）和泊松高斯噪声模型。对于AWGN，假设图像的噪声方差在所有像素值上是恒定的，即，唯一的参数是噪声方差。最近，使用主成分分析（PCA）的低秩补丁选择方法[27，37]在AWGN情况下显示出了最先进的性能。[15] 通过对特征值的统计分析，解决了[27，37]的低估问题，进一步完善了这种方法。与AWGN的情况不同，泊松-高斯噪声模型[20]通常用于表征原始感测图像中的真实源相关噪声，它具有异质噪声方差和两个参数（α，σ）。大多数现有的估计泊松-高斯噪声的方法[20，4，43，28]首先获得局部估计的均值和方差，然后使用最大似然估计（MLE）用这些局部估计拟合噪声模型。[20] 首先提出了泊松-高斯噪声模型及其小波分解估计算法。最近，[28]通过提出迭代补丁选择方法，将该方法扩展到广义源相关噪声。

3. Problem Setting and Preliminaries
3.1. Notations