Brief review of image denoising techniques-图像去噪技术综述

摘要

  随着每天拍摄的数字图像数量的爆炸性增长，对更准确和视觉愉悦的图像的需求也在增加。然而，现代摄像机拍摄的图像不可避免地会受到噪声的影响，从而导致视觉图像质量下降。因此，需要在不丢失图像特征(边缘、角点和其他锐利结构)的情况下降低噪声。到目前为止，研究人员已经提出了各种降低噪声的方法。每种方法都有自己的优点和缺点。本文综述了图像去噪领域的一些重要研究成果。首先，我们给出了图像去噪问题的描述，然后介绍了几种图像去噪技术。此外，我们还讨论了这些技术的特点。最后，我们对未来的研究提出了几个有希望的方向。

关键词

图像去噪，非局部均值，稀疏表示，低阶卷积神经网络

引言

  由于环境、传输信道等因素的影响，图像在采集、压缩和传输过程中不可避免地受到噪声的污染，导致图像信息失真和丢失。由于存在噪声，可能的后续图像处理任务（如视频处理、图像分析和跟踪）会受到不利影响。因此，图像去噪在现代图像处理系统中起着重要的作用。

  图像去噪是从噪声图像中去除噪声，从而恢复真实图像。然而，由于噪声、边缘和纹理是高频分量，在去噪过程中很难区分它们，并且去噪后的图像不可避免地会丢失一些细节。总之，在噪声去除过程中从噪声图像中恢复有意义的信息以获得高质量的图像是当今的一个重要问题。

   事实上，图像去噪是一个经典问题，已经研究了很长时间。然而，这仍然是一项具有挑战性和开放性的任务。其主要原因是，从数学角度来看，图像去噪是一个逆问题，其解不是唯一的。近几十年来，在图像去噪领域取得了巨大的成就[1-4]，下面将对其进行回顾。

  本文的其余部分组织如下。在“图像去噪问题陈述”一节中，我们介绍了图像去噪的问题。“经典去噪方法、图像去噪中的变换技术、基于CNN的去噪方法”部分总结了迄今为止提出的去噪技术。“实验”部分介绍了广泛的实验和讨论。结论和未来研究的一些可能方向见“结论”一节。

图像去噪问题陈述

  数学上，图像去噪问题可以建模如下：

  其中y是观察到的噪声图像，x是未知的干净图像，n表示具有标准偏差σn的加性高斯白噪声（AWGN），在实际应用中可以通过各种方法进行估计，例如中值绝对偏差[5]、基于块的估计[6]和基于主成分分析（PCA）的方法[7]。降噪的目的是减少自然图像中的噪声，同时最小化原始特征的损失并提高信噪比（SNR）。图像去噪的主要挑战如下：

• 平坦的区域应该是光滑的
• 边缘应得到保护而不模糊
• 纹理应该保留，并且
• 不应该生成新的工件

  由于从等式（1）中求解干净图像x是一个不适定问题，我们无法从带噪声的图像模型中获得唯一解。为了获得良好的估计图像^x，在过去几年中，图像去噪在图像处理领域得到了很好的研究。通常，图像去噪方法可以大致分为[3]：空间域方法、变换域方法，这些方法将在接下来的几节中详细介绍。

经典去噪方法

  空间域方法旨在通过基于原始图像中像素/图像块之间的相关性计算每个像素的灰度值来去除噪声[8]。通常，空域方法可分为两类：空域滤波和变分去噪方法。

空间域滤波

由于滤波是图像处理的主要手段，大量的空间滤波器被应用于图像去噪[9–19]，可以进一步分为两类：线性滤波器和非线性滤波器。

最初，线性滤波器被用来去除空间域中的噪声，但它们无法保留图像纹理。均值滤波[14]已被用于高斯噪声降低，然而，它可以过平滑高噪声图像[15]。为了克服这一缺点，进一步采用了维纳滤波[16，17]，但它也可以容易地模糊尖锐边缘。通过使用非线性滤波器，例如中值滤波[14，18]和加权中值滤波[19]，可以抑制噪声而不需要任何识别。作为一种非线性、边缘保持和降噪平滑滤波器，双边滤波[10]被广泛用于图像去噪。每个像素的强度值被替换为来自附近像素的强度的加权平均值。关于双边过滤器的一个问题是其效率。蛮力实现需要O（Nr2）时间，当内核半径r较大时，这个时间非常高。

空间滤波器利用像素组上的低通滤波，声明噪声占据频谱的更高区域。通常，空间滤波器在合理的程度上消除噪声，但代价是图像模糊，而图像模糊又会丢失锐利的边缘。

变分去噪方法

现有的去噪方法使用图像先验并最小化能量函数E来计算去噪图像^x。首先，我们从有噪图像y中获得函数E，然后通过映射过程将低数对应于无噪图像。然后，我们可以通过最小化E:

等式（2）的变分去噪方法的动机是最大后验（MAP）概率估计。从贝叶斯的角度来看，x的MAP概率估计为

其可以等价地表示为

其中第一项P（y|x）是x的似然函数，第二项P（x）表示图像先验。在AWGN的情况下，目标函数通常可以表示为

其中||y−x||^2，2是表示原始图像和噪声图像之间的差异的数据保真度项。R（x）=-logP（x）表示正则化项，λ是正则化参数。对于变分去噪方法，关键是找到合适的图像先验（R（x））。成功的先验模型包括梯度先验、非局部自相似（NSS）先验、稀疏先验和低阶先验。

在本小节的剩余部分，总结了几种常用的变分去噪方法。

总变异正则化

从Tikhonov正则化[20，21]开始，非二次正则化的优点已经被探索了很长时间。尽管Tikohonov方法[20，21]是用L2范数最小化R（x）的最简单方法，但它过度平滑了图像细节[22，23]。为了解决这个问题，基于各向异性扩散的[24，25]方法被用于保存图像细节，然而，边缘仍然模糊[26，27]。

同时，为了解决平滑性问题，提出了基于全变分（TV）的正则化[28]。这是图像去噪领域最有影响力的研究。TV正则化基于统计事实，即自然图像是局部平滑的，并且像素强度在大多数区域中逐渐变化。其定义如下[28]：

哪里∇x是x的梯度。

它在图像去噪方面取得了巨大的成功，因为它不仅可以有效地计算最优解，而且可以保留锐利的边缘。然而，它有三个主要缺点：纹理往往过于平滑，平坦区域由分段恒定的表面近似，导致楼梯效果，图像存在对比度损失[29-32]。

为了提高基于TV的正则化模型的性能，已经通过采用偏微分方程对图像平滑进行了广泛研究[33-36]。例如，Beck等人[36]提出了一种用于约束TV的基于梯度的快速方法，这是覆盖其他类型非光滑正则化器的通用框架。尽管它提高了峰值信噪比（PSNR）值，但它只考虑了图像的局部特征。

非局部正则化

虽然局部去噪方法具有较低的时间复杂度，但当噪声水平较高时，这些方法的性能受到限制。其原因是相邻像素的相关性受到高电平噪声的严重干扰。最近，一些方法应用了NSS先验[37]。这是因为图像在不同位置包含大量相似的补丁。一项关于非局部均值（NLM）的开创性工作[38]在实现图像去噪之前使用了NSS的加权滤波，这是对图像去噪问题最显著的改进。其基本思想是建立图像的逐点估计，其中每个像素作为以与以估计像素为中心的区域相似的区域为中心的像素的加权平均而获得。对于图像x中的给定像素xi，N L M（xi）表示NLM过滤值。设xi和xj分别是以xi和xj为中心的图像块。设wi，j为xj到xi的重量，其计算方法为。

其中ci表示归一化因子，h表示滤波器参数。与局部去噪方法不同，NLM可以充分利用给定图像提供的信息，从而对噪声具有鲁棒性。从那时起，人们提出了许多改进版本。一些研究侧重于算法的加速[39-44]，而其他研究侧重于如何提高算法的性能[45-47]。

通过考虑NLM的第一步[38]（像素相似性的信息），已经开发了正则化方法[48]。根据等式（5），NSS先验定义为[49]。

其中κi和wi表示列向量；前者包含xi周围的中心像素，后者包含所有相应的权重wi、j。

目前，大多数关于图像去噪的研究已经从局部方法转向非局部方法[50-55]。例如，参考文献中提出了非局部方法到TV正则化的扩展。[37, 56]. 考虑到TV和NLM方法各自的优点，已经提出了NLM（R-NL）的自适应正则化[56]，以将NLM与TV正则化相结合。结果表明，这两种模型的组合在去除噪声方面是成功的，然而，这些方法没有很好地保留结构信息，这降低了视觉图像质量。此外，NSS方法的进一步突出扩展和改进基于学习图像块的可能性[57]，并使用加权核范数最小化（WNNM）[58，59]利用低阶属性。

稀疏表示法

稀疏表示仅要求每个图像块可以表示为来自过完整字典的几个块的线性组合[12，60]。许多当前的图像去噪方法利用了自然图像的稀疏性先验。

基于稀疏表示的方法使用编码向量上的L1范数稀疏正则化在过完备字典D上对图像进行编码，即，最小αkαk1 s:t:x¼Dα，从而得到一般模型：

其中α是包含稀疏系数向量的矩阵。等式（9）将等式（5）中x的估计转化为α。

作为字典学习方法，稀疏表示模型可以从数据集学习，也可以使用K奇异值分解（K-SVD）算法从图像本身学习[61，62]。K-SVD去噪背后的基本思想是通过解决以下联合优化问题，从噪声图像y中学习字典D：

其中Ri是从图像x的位置i提取补丁xi的矩阵。

由于学习词典可以更灵活地表示图像结构[63]，因此使用学习词典的稀疏表示模型比设计词典表现得更好。如参考文献[61]所示，与所有其他字典相比，K-SVD字典在比特率小于1.5比特/像素（稀疏性模型成立）的情况下实现了高达1-2 dB的性能。然而，这类方法都是局部的，这意味着它们忽略了图像的非局部信息之间的相关性。在高噪声情况下，局部信息受到严重干扰，去噪效果不佳。

结合NSS先验[37]，自然图像自相似特性的稀疏性在图像处理界受到了广泛关注，广泛应用于图像去噪[64-66]。一项代表性工作是非局部集中式稀疏表示（NCSR）模型[66]。

其中βi是α的良好估计。然后，对于每个图像块xi，βi可以计算为αi，q的加权平均值：

其中wi，q¼1ci expð− k^ xi− ^xiqk 2 2hÞ，^{xi是对xi的估计，} xi；q是搜索窗口Si中^xi的非局部类似补丁。

NCSR模型自然地将NSS集成到稀疏表示框架中，是目前最常用的图像去噪方法之一。如参考文献[66]所述，NCSR在重建平滑和纹理区域方面非常有效。尽管成功地结合了上述两种技术，但迭代字典学习和未知稀疏系数的非局部估计使得该算法的计算要求很高，这在很大程度上限制了其在许多应用中的适用性。

图像去噪中的变换技术

基于CNN的去噪方法

通常，等式（7）中目标函数的求解方法建立在图像退化过程和图像先验的基础上，可以分为两大类：基于模型的优化方法和基于卷积神经网络（CNN）的方法。上面讨论的变分去噪方法属于基于模型的优化方案，它可以找到重建去噪图像的最优解。然而，这种方法通常涉及耗时的迭代推理。相反，基于CNN的去噪方法试图通过优化包含退化干净图像对的训练集上的损失函数来学习映射函数[99，100]。

最近，基于CNN的方法得到了迅速发展，并在许多低级计算机视觉任务中表现良好[101102]。使用CNN进行图像去噪可以追溯到[103]，在那里开发了五层网络。近年来，已经提出了许多基于CNN的去噪方法[99，104–108]。与参考文献[103]相比，这些方法的性能大大提高。此外，基于CNN的去噪方法可以分为两类：多层感知（MLP）模型和深度学习方法。

MLP模型

基于MLP的图像去噪模型包括Vincent等人提出的自动编码器。[104]和Xie等人[105]。Chen等人[99]提出了一种称为可训练非线性反应扩散（TNRD）模型的前馈深度网络，该模型实现了更好的去噪效果。这类方法有几个优点。首先，由于推理步骤较少，这些方法有效地工作。此外，由于优化算法[77]能够导出有区别的体系结构，因此这些方法具有更好的可解释性。然而，可解释性会增加性能成本；例如，MAP模型[106]限制所学习的先验和推理过程。

基于深度学习的去噪方法

最先进的深度学习去噪方法通常基于CNN。基于深度学习的去噪方法的一般模型表示为

其中F(⋅) 表示CNN，参数集为Θ，损失(⋅) 表示损失函数。损失，损失(⋅) 由于其出色的去噪能力，基于深度学习的去噪方法受到了相当大的关注。

Zhang等人[106]首次将残差学习和批量标准化引入图像去噪；他们还提出了前馈去噪CNN（DnCNNs）。DnCNN模型的目的是学习函数^{x¼Fðy；θσÞ在y和}x之间映射。在固定方差σ下训练噪声图像的参数θσ。DnCNN有两个主要特点：该模型应用残差学习公式来学习映射函数，并将其与批次归一化相结合，以加快训练过程，同时改善去噪结果。具体而言，结果表明，残差学习和批次归一化可以相互受益，并且它们的集成在加快训练和提高降噪性能方面是有效的。尽管训练的DnCNN也可以处理压缩和插值误差，但σ下的训练模型不适用于其他噪声方差。

当噪声水平σ未知时，去噪方法应使用户能够自适应地在噪声抑制和纹理保护之间进行权衡。引入了快速灵活的去噪卷积神经网络（FFDNet）[107]以满足这些期望的特性。特别是，FFDNet可以建模为^x¼Fðy；MθÞ（M表示噪声水平图），这是主要贡献。对于FFDNet，M表示输入，而参数集Θ对于噪声水平是固定的。另一个主要贡献是FFDNet作用于下采样的子图像，这加快了训练和测试的速度，也扩展了感受野。因此，FFDNet对不同的噪声非常灵活。

尽管这种方法有效且运行时间短，但学习过程的时间复杂度非常高。基于CNN的去噪方法的发展通过使用分层网络增强了高级特征的学习。

实验

为了进行比较研究，现有的去噪方法采用两个因素（视觉分析和性能度量）来分析去噪性能。

目前，我们无法找到任何数学或具体的方法来评估视觉分析。通常，视觉分析有三个标准：（1）明显的伪影程度，（2）保护边缘，（3）保留纹理。对于图像去噪方法，采用几个性能指标来评估准确性，例如PSNR和结构相似性指数测量（SSIM）[109]。

在本研究中，所有的图像去噪方法都在三种不同的噪声方差σ∈ [30, 50, 75]. 对于测试图像，我们使用两个数据集进行全面评估：BSD68[110]和Set12。BSD68数据集由来自BSD数据集的单独测试集的68个图像组成。图1所示的Set12数据集是广泛使用的测试图像的集合。前七幅图像的大小为256×256，后五幅图像的尺寸为512×512。

结论

随着图像去噪的复杂性和要求的提高，这一领域的研究仍有很高的需求。本文介绍了几种图像去噪方法的最新进展，并讨论了它们的优缺点。最近，NLM的兴起取代了传统的局部去噪模型，该模型创建了一个新的理论分支，导致图像去噪方法取得了重大进展，包括稀疏表示、低秩和基于CNN（更具体地说是深度学习）的去噪方法。尽管近年来图像稀疏性和低阶先验已被广泛使用，但基于CNN的方法（已被证明是有效的）在这一时期得到了快速发展。

尽管有许多关于去除AWGN的深入研究，但很少有人考虑过真实图像去噪。主要障碍是真实噪声的复杂性，因为AWGN比真实噪声简单得多。在这种情况下，彻底评估去噪器是一项困难的任务。相机内管道中包含多个组件（例如，白平衡、颜色去马赛克、降噪、颜色变换和压缩）。输出图像质量受到一些外部和内部条件的影响，例如照明、CCD/CMOS传感器和相机抖动。

尽管深度学习发展迅速，但它不一定是解决去噪问题的有效方法。其主要原因是真实世界的去噪过程缺少用于训练的图像对。据我们所知，现有的去噪方法都是通过将AWGN添加到干净图像中生成的模拟噪声数据来训练的。然而，对于真实世界的去噪过程，我们发现，由此类模拟数据训练的CNN不够有效。

总之，本文旨在概述现有的去噪方法。由于不同类型的噪声需要不同的去噪方法，因此对噪声的分析可以用于开发新的去噪方案。对于未来的工作，我们必须首先探索如何处理其他类型的噪音，尤其是现实生活中存在的噪音。其次，在不使用图像对的情况下训练深度模型仍然是一个开放的问题。此外，图像去噪方法也可以扩展到其他应用。