Image Denoising by Sparse 3-D Transform-Domain Collaborative Filtering

Image Denoising by Sparse 3-D Transform-Domain Collaborative Filtering

BM3D算法论文翻译

摘要

我们提出了一种基于变换域中增强的稀疏表示的图像去噪策略。通过将相似的2-D图像片段（例如，块）分组为3-D数据阵列（我们称为“组”），可以提高稀疏度。协作过滤是为处理这些3-D组而开发的特殊过程。我们使用三个连续的步骤来实现它：一个组的3-D变换，变换谱的收缩和3-D逆变换。结果是一个3-D估计值，该估计值由联合过滤的分组图像块组成。通过衰减噪声，协作过滤甚至可以揭示分组块共享的最精细的细节，同时，它保留了每个单独块的基本独特功能。然后，已过滤的块将返回其原始位置。因为这些块是重叠的，所以对于每个像素，我们获得许多需要组合的不同估计。聚合是一种特定的平均过程，可利用此冗余功能。通过专门开发的协作式维纳过滤器，可实现重大改进。详细介绍了一种基于这种新型去噪策略的算法及其有效实现。还开发了彩色图像降噪的扩展。实验结果表明，该计算可扩展算法在峰值信噪比和主观视觉质量方面均达到了最新的降噪性能。
索引词-自适应分组，块匹配，图像降噪，稀疏性，3-D变换收缩。

一，引言

存在大量的降噪方法，这些方法来自各种学科，例如概率论，统计学，偏微分方程，线性和非线性滤波以及光谱和多分辨率分析。 所有这些方法都依赖于一些关于真实（无噪声）信号的显式或隐式假设，以便将其与随机噪声正确分离。
特别是，变换域去噪方法通常假设可以通过少量基本元素的线性组合很好地逼近真实信号。 即，在变换域中稀疏地表示信号。 因此，通过保留少量的高幅变换系数，并丢弃主要是由于噪声引起的其余部分，可以有效地估计真实信号。 表示的稀疏性取决于转换和真实信号的属性。
对于诸如边缘和奇点之类的空间局部细节，多分辨率变换可以实现良好的稀疏性。 因为这样的细节通常在自然图像中很丰富，并且传达了嵌入其中的很大一部分信息，所以这些转换已在图像去噪中找到了重要的应用。 近来，已经开发了许多基于多分辨率变换的高级去噪方法，它们依赖于典型的超完整（例如平移不变和面向乘法）变换的系数之间的详尽的统计依赖性。 这种图像去噪方法的例子可以在[1] – [4]中看到。
不限于小波技术，传统上，过完整的表示在提高甚至最基本的基于变换的方法的恢复能力方面也起着重要作用。 这通过滑动窗口得以体现
变换域图像去噪方法[5]，[6]，其基本思想是在局部（窗口式）变换域中应用收缩。 在那里，连续窗口之间的重叠说明了过度完成，而变换本身通常是正交的，例如2-D DCT。
但是，如果采用的变换无法获得某些图像细节的稀疏表示，则仅靠过度完成本身不足以弥补无效的收缩。 例如，二维DCT在表示尖锐的过渡和奇异点方面无效，而小波通常在纹理和平滑过渡方面表现不佳。 自然图像种类繁多，使得任何固定的二维变换都不可能在所有情况下都实现良好的稀疏性。 因此，通常使用的正交变换仅对于特定的图像图案可以实现稀疏表示。
Muresan和Parks [7]提出了局部图像块的自适应主成分作为克服标准正交变换所提到的缺点的工具。 对于高度结构化的图像图案，此方法可产生良好的结果。 但是，正确的PCA基础的计算实质上会由于存在噪声而恶化。 出于类似的意图，Elad和Aharon的K-SVD算法[8]利用了通过初步培训程序获得的高度不完整的词典。 这些技术的缺点是PCA和学习词典都施加了很高的计算负担。
另一种方法[9]是在形状适合于显着图像细节的邻域中利用形状自适应变换，从而包含大部分均匀信号。 形状自适应变换可以在这些自适应邻域中获得非常稀疏的真实信号表示。
最近，引入了一种精心设计的自适应空间估计策略，即非局部均值[10]。 此方法与变换域方法不同。 其基本思想是建立图像的逐点估计，其中获得每个像素作为以与估计像素为中心的区域相似的区域为中心的像素的加权平均值。 估计是非局部的，因为原则上可以在图像的所有像素上计算平均值。 这种方法的一个重要扩展是基于样本的估计器[11]，它利用成对假设检验来定义自适应非局部估计邻域，并获得与最佳基于变换的技术所产生的结果相竞争的结果。
在本文中，我们提出了一种基于变换域中增强的稀疏表示的图像去噪策略。 稀疏性的增强是通过将图像的类似2D片段分组为3D数据数组（我们称为“组”）来实现的。 协作过滤是为处理这些3-D组而开发的特殊过程。 它包括三个连续的步骤：组的3-D变换，变换谱的收缩和反3-D变换。 因此，我们获得了由一组联合过滤的2D片段组成的3D估计值。 由于分组片段之间的相似性，该变换可以实现真实信号的高度稀疏表示，从而可以通过收缩很好地分离噪声。 通过这种方式，协作过滤甚至可以揭示分组片段共享的最佳细节，同时保留每个片段的基本独特功能。
开发并详细描述了基于这种新颖策略的图像去噪算法。 它概括并改进了我们在[12]中介绍的初步算法。 开发了一种提供有效复杂性/性能折衷的非常有效的算法实现。 实验结果表明，它在峰值信噪比（PSNR）和主观视觉质量方面均达到了出色的降噪性能，优于当前的最新技术。 还提出了基于[13]的彩色图像去噪扩展。
本文的结构如下。 我们将在第二节中介绍分组和协作过滤概念。 第三部分介绍了开发的图像去噪算法。 在第四节中可以找到该算法的有效且可扩展的实现，第五节中给出了对彩色图像去噪的扩展。第六节中给出了实验结果。 第七节对开发的方法进行了全面讨论，第八节包含了相关的结论。

二 分组和协作过滤

我们将给定信号的相似d维片段收集到一个d + 1维数据结构中的概念分组，我们称之为“分组”。 例如，在图像的情况下，信号片段可以是任意的2-D邻域（例如，图像块或块）。 在那里，一组是通过将相似的图像邻域堆叠在一起而形成的3-D阵列。 如果邻域具有相同的形状和大小，则形成的3-D数组是广义圆柱体。 分组的重要性在于能够对每个组使用更高维度的过滤，该过滤利用分组片段之间的潜在相似性（相关性，亲和力等），以便估计每个片段中的真实信号。 我们将这种方法称为协作过滤。

A.分组

分组可以通过各种技术来实现。 例如，K均值聚类[14]，自组织映射[15]，模糊聚类[16]，矢量量化[17]等。 关于这一主题有大量文献。 我们请读者参考[18]，以详细，系统地概述这些方法。
通常将信号片段之间的相似度计算为某个距离量度的倒数。 因此，较小的距离意味着较高的相似性。 可以采用各种距离度量，例如两个信号片段之间差异的lp范数。 其他示例是非局部均值估计器[10]中使用的加权欧几里得距离（p = 2），以及基于样本的估计器[11]中使用的归一化距离。 处理复杂或不确定（例如，嘈杂）的数据时，可能有必要首先从信号中提取某些特征，然后仅测量这些特征的距离[18]。

B.按配对分组

诸如矢量量化或K-means聚类之类的分组技术基本上是基于分区的思想。 这意味着它们建立了不相交的组或簇（类），使得每个片段都属于一个且只有一个组。 构建元素相互之间具有高度相似性的不相交的组通常需要递归过程，并且可能需要进行计算[18]。 此外，划分会导致对不同片段的不平等对待，因为与组质心最接近的片段比远离质心的片段更好地表示出来。 即使在信号的所有片段均等距分布的特殊情况下，这种情况也总是发生。
相互相似的信号片段的更简单有效的分组可以通过匹配来实现，其中与上述划分方法相比，形成的组不一定是不相交的。 匹配是一种用于查找类似于给定参考信号的信号片段的方法。 这是通过成对测试参考片段和位于不同空间位置的候选片段之间的相似性来实现的。 距参考点的距离（即相异度）小于给定阈值的片段被视为相互相似，然后进行分组。 相似性对于所考虑的组起隶属度函数的作用，并且参考片段可以被视为该组的某种“质心”。 任何信号片段都可以用作参考信号，因此可以为其构造一个组。
我们注意到，对于大多数距离度量而言，在参考片段与所有匹配片段之间的距离上建立界限意味着该组中任何两个片段之间的距离也有界。 粗略地说，此界限是组的直径。 虽然对于任意距离量度来说，这样的陈述可能并不精确，但对于度量（例如lp范数）而言，这只是三角不等式的直接结果。

图1.由高斯白噪声（标准偏差为15，平均值为零）破坏的嘈杂自然图像的分组块示意图。 每个片段都显示一个标有“ R”的参考图块，以及与之匹配的几个图块。
块匹配（BM）是一种特殊的匹配方法，已广泛用于视频压缩（MPEG 1、2和4，以及H.26x）中的运动估计。 作为分组的一种特殊方式，它用于查找相似的块，然后将它们堆叠在一起以3-D阵列（即一组）的形式。 在图1中给出了通过块匹配对图像进行分组的说明性示例，其中我们显示了一些参考块，匹配的参考块与它们相似。

C.协同过滤

给定一组片段，对该组的协同过滤会产生估计值，每个分组片段一个。 通常，这些估计可能会有所不同。 术语“协作”是从字面上理解的，因为每个分组的片段都会协作以过滤所有其他片段，反之亦然。
让我们考虑从被加法零均值独立噪声破坏的观察结果（未示出）中，对图2中的图像进行估计的协作滤波的说明性示例。 特别是，让我们关注同一图中已分组的块。 这些块表现出完美的相互相似性，这使得逐元素平均（即，在相同相对位置的像素之间平均）是合适的估计器。 因此，对于每个组，该协作平均产生所有分组块的估计。 因为假定相应的无噪声块相同，所以估计是无偏的。 因此，最终的估计误差仅归因于残余方差，该残余方差与组中的块数成反比。 无论信号片段有多复杂，只要这些组包含大量片段，我们就可以获得很好的估计。
但是，自然图像中不可能出现完全相同的块。 如果在同一组中允许使用不同的片段，则通过元素平均获得的估计值将产生偏差。 偏差误差可以在估计中占整体最终误差的最大份额，除非使用的估计器允许对每个分组片段产生不同的估计。 因此，应采用比平均更有效的协作过滤策略。

D.变换域中的收缩协作过滤

有效的协同过滤可以实现为变换域中的收缩。 假设已经形成了类似信号片段的d + 1维组，则协作收缩包括以下步骤。
•对组应用d + 1维线性变换。
•缩小（例如，通过软阈值和硬阈值或维纳滤波）变换系数以衰减噪声。
•反转线性变换以生成所有分组片段的估计。
当应用于自然图像片段组（例如图1中的图像组）时，这种协作的变换域收缩可能特别有效。
•片段内相关性出现在每个分组片段的像素之间-自然图像的独特性；
•片段间相关性出现在不同片段的相应像素之间，这是分组片段之间相似性的结果。
3-D变换可以利用两种相关性，从而在组中生成真实信号的稀疏表示。 这种稀疏性使收缩非常有效地衰减了噪声，同时又保留了信号的特征。
让我们通过考虑图1所示的分组图像块来简单说明这种协作收缩的好处。让我们首先考虑不执行协作过滤，而是分别对每个个体应用2-D变换的情况在给定的n个片段组中进行分块。由于这些分组的块非常相似，因此对于它们中的任何一个，我们都应获得大约相同数量的有效变换系数，即α。这意味着整个n个片段组由nα系数表示。相反，在协作过滤的情况下，除了2-D变换外，我们还对分组的块应用了1-D变换（相当于对整个组应用了可分离的3-D变换）。如果此一维变换具有基于DC的元素，则由于块之间的相似度很高，因此只有大约1个代表整个组的α有效系数而不是nα。因此，分组增强了稀疏性，稀疏性随分组块的数量而增加。
如图1所示，在不同空间位置的小图像块之间的强烈相似性在自然图像中确实非常普遍。 它是属于均匀区域，边缘，纹理，平滑强度梯度等的块的特征。因此，在对自然图像进行建模时，可以将相互相似的块的存在视为非常现实的假设，这强烈地激发了分组的使用。 以及针对图像降噪算法的协同过滤。

三， 算法

在提出的算法中，分组是通过块匹配实现的，而协同过滤是通过在3-D变换域中缩小来实现的。 使用的图像片段是固定大小的正方形块。 该算法中执行的一般过程如下。 通过从输入噪声图像中依次提取参考块并对每个这样的块进行处理：
•查找与参考块相似的块（块匹配），并将它们堆叠在一起以形成3-D阵列（组）；
•对组执行协作过滤，并将获得的所有分组块的二维估计返回到其原始位置。
在处理所有参考块之后，所获得的块估计可以重叠，因此，每个像素有多个估计。 我们将这些估计值汇总起来，以形成整个图像的估计值。
此通用过程以两种不同的形式实现，以组成一个两步算法。 该算法在图3中示出，并且如下进行。
步骤1）基本估算。
a）逐块估算。 对于嘈杂图像中的每个块，请执行以下操作。
i）分组。 查找与当前处理的块相似的块，然后将它们堆叠在一起形成3-D数组（组）。
ii）协同硬性阈值化。 对形成的组应用3-D变换，通过对变换系数进行硬阈值化来衰减噪声，对3-D变换进行反转以生成所有分组块的估计，然后将这些块的估计返回到其原始位置。
b）聚集。 通过对所有获得的重叠的块式估计值进行加权平均，计算出真实图像的基本估计值。
步骤2）最终估算：使用基本估算，进行改进的分组和协同维纳滤波。
a）逐块估算。 对于每个块，请执行以下操作。
i）分组。 在基本估算范围内使用BM查找与当前处理的块相似的块的位置。 使用这些位置，形成两组（3-D阵列），一组来自噪声图像，另一组来自基本估计。
ii）协同维纳过滤。 在两个组上应用3-D变换。 使用基本估计的能量谱作为真实（先导）能量谱，对嘈杂的噪声进行Wiener滤波。 通过对滤波后的系数应用3-D逆变换来生成所有分组块的估计，并将块的估计返回到其原始位置。
b）聚集。 通过使用加权平均值汇总所有获得的局部估计值，计算出真实图像的最终估计值。