《Invertible Denoising Network: A Light Solution for Real Noise Removal 》论文阅读

摘要

可逆网络在图像去噪方面有各种各样的好处，因为它们是轻量级的，信息无损的，并且在反向传播过程中节省内存。然而，应用可逆模型去噪具有挑战性，因为输入是有噪声的，而反向输出是干净的，遵循两种不同的分布。我们提出了一个可逆去噪网络，InvDN，来解决这一挑战。InvDN将噪声输入转换为低分辨率的干净图像和包含噪声的潜在表示。为了去除噪声并恢复干净的图像，InvDN在还原过程中使用从先前分布中采样的另一个噪声代表来替换噪声代表。InvDN的去噪性能优于所有现有的竞争模型，为SIDD数据集实现了新的最先进的结果，同时享受更少的运行时间。而且，与最近提出的DANet相比，InvDN的大小要小得多，只有4.2%的参数数。此外，通过操纵噪声潜在表示，InvDN还能够产生更类似于原始的噪声。我们的代码可以在https://github.com/Yang-Liu1082/InvDN.git上找到。

介绍

图像去噪的目的是从噪声观测中恢复干净的图像。传统方法将去噪建模为最大后验概率优化问题，假设噪声分布[38，57，12]和自然图像先验[16，39，47]。虽然这些算法在去除合成噪声方面取得了令人满意的性能，但是它们对真实世界噪声的有效性受到了损害，因为它们的假设偏离了真实世界场景中的假设。最近，卷积神经网络(CNNs)已经实现了优越的去噪性能[53，54]。这些神经网络从大量干净和有噪声的图像对中学习图像的特征。然而，由于真实噪声非常复杂，为了获得更好的去噪精度，CNN去噪模型变得越来越大和复杂[50，51，52]。因此，尽管一些方法可以获得非常令人印象深刻的去噪结果，但它们在现实场景中可能不实用，例如在智能手机和运动传感设备等边缘设备上部署模型。

目前，大量的研究致力于开发可逆的神经网络[18，41，25，9]。对于图像去噪，可逆网络在以下三个方面具有优势:(1)模型是轻的，因为编码和解码使用相同的参数；(2)它们保留了输入数据的细节，因为可逆网络是信息无损的[36]；(3)它们在反向传播期间节省内存，因为它们使用恒定的内存量来计算梯度，而不管网络的深度如何[23]。因此，可逆模型适用于智能手机等小型设备。因此，我们研究采用可逆网络来解决图像去噪问题。然而，应用这种网络来消除噪声并非易事。传统可逆模型的原始输入和反向结果遵循相同的分布[19，31，46]。相比之下，对于图像去噪，输入是有噪声的，恢复的图像是干净的，遵循两种不同的分布。因此，可逆去噪网络需要在反转之前放弃潜在空间中的噪声。由于这个困难，噪声消除以前没有在可逆的文献和模型中被研究和部署。

为了解决上述问题，本文提出了一种可逆去噪网络InvDN。不像以前的可逆模型，涉及两个不同的潜在变量；一个包含噪声和高频清洁内容，而另一个仅编码清洁部分。在前向通道期间，InvDN将输入图像转换为具有更多通道的缩小潜在表示。我们训练InvDN，使潜像的前三个通道与低分辨率干净图像相同。由于可逆网络保留了输入[36]的所有信息，噪声信号位于其余通道中。为了完全消除噪声，我们会丢弃所有包含噪声的通道。然而，作为副作用，我们也丢失了一些与高分辨率干净图像相对应的信息。为了重建这样的缺失信息，我们从先验分布中抽取一个新的潜在变量，并将其与低分辨率图像相结合，以恢复干净的图像。我们的贡献如下:据我们所知，

• 我们是第一个为真实图像去噪设计可逆网络的人。
• 传统可逆网络的潜在变量遵循单一分布。相反，InvDN有两个遵循两种不同分布的潜在变量。因此，InvDN不仅可以恢复干净的图像，还可以生成新的噪声图像。
• 我们在SIDD测试集上实现了一个新的最先进的(SOTA)结果，使用了比以前的SOTA方法少得多的参数和运行时间。
• InvDN能够生成与原始噪声图像更相似的新噪声图像。

相关工作

在这一部分，我们总结和讨论了图像去噪的发展和最新趋势。广泛使用的去噪方法可分为传统方法和当前数据驱动的深度学习方法。

传统方法。模型驱动去噪方法通常构造一个带损失和正则项的映射优化问题。大多数传统的建模方法都需要假设噪声分布。一种假定的分布是高斯混合分布，它被用作自然斑块或斑块组上噪声的近似器[58，13，49]。正则项通常基于干净图像的先验。全变差[43]去噪是利用图像的统计特性去噪。稀疏性[37]在字典学习方法[20]中被加强，以从干净的图像中学习过完备的字典。非局部相似[11，21]方法使用共享相似模式的非局部补丁。著名的BM3D [17]和NLM [11]采用了这种策略。然而，由于对空间不变噪声或干净图像的先验假设，这些模型是有限的，这通常不同于真实情况，其中噪声是空间变化的。

数据驱动的深度学习去噪。近年来，深度学习方法取得了快速进展，在很大程度上提高了去噪性能。由于缺乏真实数据，早期的深度模型主要关注合成噪声图像去噪。由于一些大型真实噪声数据集，如DND [40]和SIDD [2]，目前的研究重点是盲真实图像去噪。真实图像去噪主要有两种流。一种是将在合成数据集上运行良好的方法应用于真实数据集，同时考虑这两个领域之间的差距[54，24]。在这个方向上，目前最有竞争力的方法是AINDNet [29]，它通过自适应实例归一化操作，将从合成到真实的传递学习应用到去噪。

另一个方向是用更复杂的分布来模拟真实噪声，并设计新的网络架构[10，14]。由尤等人提出的VDN [50]假设噪声遵循逆伽马分布，并且我们观察到的干净图像是不可用的真实干净图像的共轭高斯先验。他们基于这些假设提出了一个新的训练目标，并使用两个并行分支来学习同一网络中的这两个分布。它的潜在局限性是当噪声分布变得复杂时，这些假设是不合适的。后来，DANet [51]放弃了噪声分布的假设，并采用了GAN框架来训练模型。该架构中还采用了两个并行分支:一个用于去噪，另一个用于噪声生成。这种设计概念是三种图像对(干净和有噪声、干净和产生噪声以及去噪和有噪声)遵循相同的分布，因此它们使用鉴别器来训练模型。潜在的限制是基于遗传神经网络的模型训练不稳定，因此需要更长时间才能收敛[8]。此外